Preparação do Delph

5.2.1 Constituição da amostra inicial de especialistas

Pela revisão da literatura percebemos que o número de especialistas num painel Delphi pode ser muito variado. Por exemplo, Powell (2002) encontrou na literatura painéis de 10 a 1685 membros. As características específicas do estudo ditam o número ótimo de especialistas, no entanto, parece consensual que o número não deve ser menor do que 10 e, na maioria da literatura, os painéis têm no máximo algumas dezenas de membros (entre 10 e 60). Um número abaixo de 10 pessoas limita a confiança dos resultados consensuais e gera pouca

145 informação. Já um número excessivo de elementos torna a administração e análise muito complexas (MIRANDA, NOVA e CORNACCHIONE JR., 2012). Por outro lado, Osborne et

al (2003) argumentam, a partir de Delbecq et al (1975), que há pouca produção de novas

ideias quando os grupo excedem os 30 membros, bem escolhidos. No nosso caso, uma vez que procuramos representatividade das diferentes regiões do país e dos diferentes perfis, apontamos para um número ideal um pouco superior. É importante não esquecer que é normal que algumas pessoas desistam a meio do processo, por isso é melhor começar com um painel ligeiramente maior do que o necessário.

A definição de especialista também não é consensual e vai depender do estudo que se quer realizar. Fahey, King e Narayanan (1981), alertam para o fato de que faltam critérios para distinguir um especialista de um não-especialista e de que não há evidências suficientes que indiquem que o julgamento/opinião de especialistas é mais confiável do que a de não- especialistas. Porém, a esmagadora maioria da literatura consultada recusa este ponto de vista ou nem sequer o põe em questão. Ainda assim, na sua revisão, Yousuf (2007) informa que alguma literatura indica que um elevado grau de especialidade não é necessário, ou seja, o painel deve ser constituído por especialistas, mas estes não precisam ser os melhores entre os melhores.

Neste projeto consideramos especialistas em ENF e DC de Astronomia pessoas que publiquem sobre esta temática e/ou que desenvolvam atividades de Educação e divulgação ao público em alguma instituição como museu, associação, clube, planetário, observatório, etc, ou na mídia. Procuramos ter representação dos diferentes perfis (acadêmicos, participantes nas OBAs, representantes de museus, planetários e observatórios, astrônomos amadores, divulgadores na mídia, entre outros) uma vez que procuramos um panorama abrangente da área. Além disso, é sabido que grupos heterogêneos produzem, normalmente, soluções de maior qualidade e aceitação (POWELL, 2002). Assim, é importante que o painel seja variado em termos de experiência, áreas de especialidade e perspectivas em relação ao assunto. A inclusão de acadêmicos e práticos da área no painel, normalmente ajuda a preencher estes critérios (GRISHAM, 2009) e no nosso caso isso foi feito.

Inicialmente estava previsto que contataríamos pessoas selecionadas a priori, mas abandonamos esse caminho por várias razões:

146

• percebemos que estávamos a introduzir um viés na amostra, pois em muitos casos não dispomos de dados suficientes para escolher entre um ou outro especialista;

• a distribuição de especialistas pelas diferentes regiões não é uniforme e nalgumas nem há representantes com diferentes perfis;

• contatar os especialistas faseadamente implicaria grandes períodos de espera que atrasariam muito a pesquisa.

Assim, uma vez que a área é pequena e tendo em conta que o número ideal de especialistas seria em torno de 40, decidimos contatar todas as pessoas encontradas com o perfil desejado (cerca de 320 contatos). Pela revisão da literatura sobre índices de resposta a questionários (surveys) enviados via e-mail, percebemos que estes podem ser baixos, na ordem dos 13% (HAMILTON, 2009). Também DEUTSKEN et al (2004) fizeram um estudo sobre fatores que influenciam os índices de resposta em surveys online e os índices situam-se sempre entre 12,5% e 25%. É sabido que não estamos a trabalhar com surveys, mas a literatura Delphi não é muito esclarecedora neste quesito, pois não há um estudo sistemático sobre este assunto, há muitos tipos de Delphi diferentes e, também por isso, são encontrados todos os tipos de valores de índices de resposta, ou nem são referidos pois o painel é escolhido de outra maneira ou o artigo omite esta informação. Assim, apoiamo-nos nos dados sobre surveys e, pensando no pior cenário de um índice de resposta de 12,5%, necessitaríamos de cerca de 320 contatos para ter um retorno de 40 ao primeiro questionário (uma vez que está descrito que ao longo das rondas vão havendo desistências), que está de acordo com o número de contatos que conseguimos recolher.

A pesquisa dos contatos dos possíveis participantes deu-se de várias maneiras:

• procura dos contatos dos nós locais da Rede Brasileira de Astronomia - RBA (fonte que fornecia os nomes das pessoas);

• procura de nomes e contatos de pessoas nas instituições de ENF e DC de Astronomia da nossa lista (fora as que já estavam contempladas por estarem associadas a algum nó local);

147 • pesquisa dos autores das publicações na área e participantes em congressos. Pesquisou-se nas listas de todos os participantes nas seções de ensino e divulgação dos últimos congressos na área (SNEA 2012, alguns EREAs 2013, ENAST 2010) e nos autores dos artigos da área por nós triados;

• contatos fornecidos pontualmente pelos participantes no pré-teste e por outras pessoas;

• pesquisa solta na internet e nos sites de entidades relacionadas com a área (LIADA, SAB, etc);

• posteriormente foram adicionados alguns contatos fornecidos pelos próprios participantes no questionário 1.

Terminamos com uma lista inicial com 323 contatos, cuja distribuição está representada na tabela 7:

Tabela 7: Tabela com distribuição dos contatos de especialistas por região e

comparação com a distribuição das instituições.

Fonte: Própria pesquisa. Legenda: N-Norte; NE-Nordeste; CO-Centro-Oeste; SE-

Sudeste; S-Sul

Comparando com a distribuição regional das instituições pensamos que conseguimos obter uma amostra inicial de contatos muito próxima das realidades regionais, pelo menos em número de instituições.

Região Total por região % dos contatos % das instituições

N 8 2,5 2,6 NE 66 20,4 20,9 CO 15 4,6 3,5 SE 171 52,9 55,9 S 60 18,6 17,1 sem informação 3 0,9 0 Nº TOTAL 323 493

148

5

.2.2. Elaboração do e-mail de convite aos especialistas

As pessoas escolhidas para o painel têm de estar comprometidas com o processo das várias rondas. Para tal, é muito importante explicar em detalhe a estas pessoas em que consiste o estudo e o que lhes é pedido (GRISHAM, 2009). O mesmo autor sugere que a carta de convite ao painel deve responder às seguintes possíveis questões dos especialistas:

• O que é um painel Delphi? • Qual é o assunto da pesquisa? • O que faço se tiver comentários?

• Quanto do meu tempo o processo vai consumir? • Quantas rondas devo esperar?

• Quais são os prazos para completar cada ronda?

• O processo vai ser feito online ou tenho de responder em papel? • Terei acesso aos resultados?

• Porque devo participar?

Tendo em conta o que nos diz (GRISHAM, 2009) escrevemos um e-mail com as informações mais importantes de forma resumida e anexamos um arquivo com uma breve explicação do projeto e da metodologia Delphi. Uma vez que há ambiguidades nas definições dos termos, acrescentamos ainda uma definição de ENF e DC no âmbito do projeto. O e-mail padrão e o arquivo referido encontram-se nos apêndice C e D, respectivamente.

5

.2.3. Elaboração e pré-teste do questionário 1 e do TCLE

Em pesquisas Delphi, no que toca aos questionários, o mais comum é que o primeiro questionário que é apresentado ao painel seja constituído por questões abertas (POWELL, 2002). Esta estratégia faz sentido, pois se o que se procura é a opinião dos especialistas, há que deixá-los exprimi-la primeiro. Assim também são evitados vieses resultantes da intervenção do pesquisador ao estabelecer as perguntas. Por exemplo, Osborne et al (2003)

149 optaram por este método por também serem especialistas da área que queriam investigar, evitando assim que as suas próprias ideias e concepções sobre o tema fossem impostas ao painel. Até certa medida, esse também é o nosso caso.

Optamos assim por fazer um primeiro questionário com apenas 3 questões abertas. Uma primeira sobre o estado atual da área, uma segunda projetando o futuro e uma última relacionada com a importância da área no contexto brasileiro. Fizemos ainda duas perguntas fechadas, uma para saber o Estado em que o especialista está radicado e a outra sobre que tipo de atividades de ENF e DC de Astronomia realiza.

Uma vez que as perguntas eram de resposta extensa decidimos enviar o questionário em forma de formulário pdf por e-mail. Desse modo os respondentes poderiam gravar e retornar ao questionário, não tendo de o preencher de uma só vez como aconteceria num questionário online. Percebemos que assim o preenchimento seria muito mais confortável para os respondentes, e consequentemente poderia melhorar a qualidade das respostas. Outro fator que nos levou a optar por este formato no questionário 1 foi o fato de que os respondentes necessitavam também de ler, assinar e devolver-nos o Termo de Consentimento Livre e Esclarecido (TCLE) da pesquisa. Optamos por colocá-lo no mesmo documento, no início do questionário.

Esta escolha do formulário pdf acarretou alguns problemas técnicos de compatibilidade entre softwares e versões dos mesmos e sistemas operativos que, apesar de nos atrasarem, acabamos por conseguir resolver.

O documento enviado aos especialistas, com o TCLE e questionário 1, encontra-se no apêndice E.

Os pré-testes dos questionários não são referidos na maioria dos estudos Delphi consultados. Powell (2002) diz-nos que são opcionais, mas optamos por fazer com dois especialistas próximos, com os quais pudemos conversar presencialmente sobre o questionário. Apesar de as alterações terem sido mínimas, o pré-teste ajudou a identificar algumas ambiguidades nas questões e a melhorar a implementação do questionário em termos técnicos.

150