As Particularidades dos Indicadores de CT&I

Toda a discussão apresentada na seção anterior é de grande importância para o estudo dos indicadores de CT&I. Contudo, algumas particularidades destes indicadores devem ser sublinhadas. A primeira e mais relevante delas se refere à capacidade de impacto dos indicadores de CT&I no comportamento e discursos dos diversos atores sociais. Evidentemente, esta capacidade é variável entre as diferentes estatísticas. Indicadores já fortemente consolidados e legitimados, como o PIB, por exemplo, possuem uma capacidade muito maior de conformação da realidade social do que indicadores mais recentes e ainda carentes de ampla legitimação, como é o caso de vários dos indicadores de CT&I, por exemplo. Talvez a única exceção seja o famoso indicador de intensidade tecnológica de dispêndio interno bruto em P&D sobre o PIB (P&D/PIB), o qual foi incorporado ao SNC em sua versão de 2008 e tem sido alvo de diversas metas governamentais (GAULT, 2011).

No que se refere, porém, às influências sociais e políticas e de seus respectivos interesses e visões de mundo, a situação dos indicadores de CT&I não é diferente. Nem poderia sê-lo, visto que, tal como qualquer outro indicador, os indicadores de CT&I são construídos a partir de um modelo conceitual de mensuração que concebe idealmente como

18

as interações no âmbito da CT&I ocorrem. De acordo com Barré & Papon (1993), construir indicadores de CT&I implica em escolhas que se voltam aos modelos conceituais do sistema ciência-tecnologia-sociedade. Qualquer que seja o modelo escolhido, ele estará voltado a uma certa concepção da realidade a ser mensurada, isto é, envolverá hipóteses sobre a maneira segundo a qual a realidade se organiza e funciona (BARRÉ; PAPON, 1993).

Na prática, não existe nenhum modelo capaz de estabelecer relações causais entre ciência, tecnologia, economia e sociedade de maneira clara e sintética, de modo que a referência então se dá a esquemas teóricos parciais (SIRILLI, 1998). Isto ocorre, pois, modelo nenhum seria capaz de abarcar a complexidade real da relação ciência-tecnologia- sociedade, visto que o papel dos modelos é justamente o de fornecer esquemas simplificados para abordar diferentes problemas. No entanto, as limitações e deficiências de tais modelos não devem ser consideradas obstáculos intransponíveis para a elaboração e aplicação de um conjunto de indicadores, mas, sim, uma parte natural do processo de geração de conhecimento que já rendeu significantes resultados para a compreensão do sistema ciência-tecnologia-sociedade (SIRILLI, 1998).

Uma vez que cada uma das etapas de construção de um indicador de CT&I se apoia, explícita ou implicitamente, sobre um modelo parcial de concepção do sistema ciência- tecnologia-sociedade, é natural, como já discutido nas seções anteriores, que os interesses e visões de mundo subjacentes a tais modelos possam fazer com que determinado indicador induza a erros (GAULT, 2011). Deste modo, segundo Barré & Papon (1993), é imprescindível que efetuemos uma avaliação crítica dos indicadores e de sua confiabilidade, sobretudo a partir de duas dimensões: i. validade do modelo conceitual subjacente; ii. adequação entre aquilo que se pretende mensurar e aquilo que de fato é mensurado.

Abordando esta problemática da indução ao erro, Freeman & Soete (2009) afirmam que, bem como quaisquer outros indicadores, os indicadores de CT&I podem ser tanto usados quando abusados. Freeman & Soete (2009) discorrem sobre dois tipos de abuso: primeiramente, um abuso oriundo de mera ignorância das fontes, definições e métodos usados na confecção do indicador; em segundo lugar, um abuso originado pela variante de

19

CT&I da Lei de Goodhart8, isto é, uma vez que os indicadores de CT&I passam a serem vistos como metas de políticas públicas, tais indicadores perdem a maior parte da informação significativa que os qualificava enquanto dignos de embasar metas.

Ademais, Freeman & Soete (2009) também chamam atenção para o fato de que, tais como em casos de outros indicadores compostos (vide o próprio PIB, por exemplo), boa parte dos indicadores de CT&I também está sujeita a vieses de composição, ou seja, à tendência por parte dos produtores das métricas em se concentrar no desenvolvimento de indicadores sustentados por variáveis mais facilmente mensuráveis, as quais podem não ser as mais relevantes para a compreensão do fenômeno ou para a gestão e a política de CT&I. Para os autores, este constitui o chamado efeito do “bêbado procurando suas chaves perdidas sob um poste de luz”, o qual aponta para a dependência da geração de conhecimento (estatístico ou não) com relação às ferramentas que mais facilmente proporcionam uma “melhor iluminação”, embora não necessariamente iluminem nos lugares onde as verdadeiras respostas se encontram.

Para além das situações de uso e de abuso dos indicadores de CT&I apontadas por Freeman & Soete (2009), acreditamos, porém, ser também essencial sublinhar uma terceira situação: a de desuso, isto é, a subutilização de indicadores de CT&I. A literatura dos estudos de C&T apontava já na década de 1990 uma subutilização sistemática destes indicadores na tomada de decisão governamental. Foi diagnosticado que, apesar de serem diversas as opções metodológicas, os modos de interpretação e as bases de dados de C&T que haviam sido desenvolvidas e colocadas à disposição dos potenciais usuários deste tipo de informação, a influência efetiva que tais informações exerciam no âmbito de política pública, depois de quase 20 anos de intensa mensuração das atividades de C&T, ainda era muito pequena (VELHO, 1992).

Velho (1992) destaca também que uma pesquisa extensiva, feita no final da década de 1980 no Reino Unido, na Alemanha, na França, no Canadá e nos Estados Unidos, sobre o desenvolvimento e uso de indicadores de C&T em políticas públicas, concluiu que em todos estes países a avaliação da ciência era baseada no sistema de revisão por pares e os

8 _{A Lei de Goodhart possui como formulação mais popularizada a ideia de que “quando uma métrica se torna}

uma meta, ela deixa de ser uma boa métrica”. A noção subjacente a esta ideia é a de que, a partir do momento em que um indicador passou a ser uma meta cobiçada, medidas procurando afetar esse indicador da maneira mais simples e menos custosa serão executadas, de modo que a métrica passa a ser artificialmente inflada e perde o significado que tinha antes de se tornar meta (cf. GOODHART, 1975).

20

indicadores quantitativos eram praticamente desconsiderados. Além disso, esta pesquisa também destacou que a alocação de recursos entre áreas, setores e instituições era feita principalmente com base em razões e padrões históricos, de modo que a importância dos indicadores de C&T para o desenvolvimento de políticas públicas poderia ser considerada desprezível (VELHO, 1992).

Alguns dos possíveis motivos por trás desta subutilização são apontados por Velho (1992), tais como: i. a decisão em políticas de C&T ser também uma decisão política, isto é, de politics e não simplesmente de policy, refletindo mais um processo de negociação do que a tomada de decisão racional baseada em acuradas informações; ii. os indicadores serem necessariamente baseados em pressupostos teóricos e modelos de mensuração, fazendo com que controvérsias conceituais permeiem a discussão acerca da sua validade; iii. as dificuldades técnicas e metodológicas de mensuração ainda persistirem frente ao avanço do desenvolvimento e da capacitação tecnológica para compilar e processar informações; iv. o desenvolvimento e sofisticação dos indicadores se darem alheios às necessidades da política de C&T; v. os indicadores de C&T restringirem a análise da C&T aos seus próprios limites, quando na verdade as atividades de C&T são bastante transversais, estando cada vez mais ligadas a amplos objetivos sociais e econômicos.

No que toca o âmbito específico dos chamados surveys de inovação, no qual a PINTEC está inserida, também há apontamentos da literatura acerca de uma subutilização dos indicadores provenientes destes surveys na formulação de políticas públicas. Arundel (2006, 2007) verifica a ocorrência deste fenômeno por meio de estudo sobre a utilização dos indicadores do Community Innovation Survey (CIS), conduzido pelo Gabinete de Estatísticas da União Europeia (EUROSTAT), e de surveys de inovação similares por parte da comunidade de política pública de diversos países europeus e não-europeus (Canadá, Japão, Austrália e Nova Zelândia). Com dados disponíveis de diversas séries consecutivas, se esperaria que estes países estivessem ativamente utilizando os indicadores provenientes destes surveys para avaliar e aprimorar suas políticas de inovação, fazendo uso especialmente daqueles indicadores não relacionados à P&D, visto que os surveys de inovação foram desenhados justamente com o intuito de superar as limitações dos surveys de P&D.

21

O resultado de uma série de profundas entrevistas com analistas políticos destes diversos países revelou, contudo, que suas políticas de inovação ainda repousavam sobre os tradicionais indicadores de P&D, tendo como pano de fundo conceitual o chamado modelo linear de inovação (ARUNDEL, 2006; 2007). Esta evidência levou os autores a falarem da existência de um “paradoxo de Oslo”, segundo o qual, apesar de haver diversos indicadores provenientes de surveys de inovação, fundamentados nas diretrizes metodológicas do Manual de Oslo da OECD, há uma subutilização sistemática de tais indicadores em prol daqueles embasados no modelo linear de inovação, sobretudo dos tradicionais indicadores de P&D, para subsidiar a formulação, acompanhamento e avaliação de políticas públicas em inovação (ARUNDEL, 2006; 2007).

Este fenômeno, todavia, não parece se restringir aos países nos quais os surveys de inovação seguem as diretrizes metodológicas do Manual de Oslo. Em estudo do Banco Interamericano de Desenvolvimento (BID) acerca das fontes de informação dos tomadores de decisão em políticas de CT&I de alguns países latino-americanos (Argentina, Chile, Colômbia e Uruguai), Baptista et al. (2010) constataram que, em termos gerais, os surveys de inovação não são centralmente considerados entre a comunidade de política pública de CT&I destes países enquanto subsídios relevantes na tomada de decisão de formulação, monitoramento e avaliação de políticas públicas. Uma vez que dentre os surveys de inovação destes países há tanto aqueles baseados no Manual de Oslo da OECD quanto aqueles baseados no Manual de Bogotá da Red de Indicadores de Ciencia y Tecnología –

Iberoamericana e Interamericana (RICYT), o qual foi desenvolvido com o intuito de

estabelecer diretrizes metodológicas adequadas à captação das especificidades da inovação nos países latino-americanos, vê-se que o fenômeno da subutilização dos indicadores de inovação vai além de um “paradoxo de Oslo”.

22