As técnicas estimuladoras foram selecionadas e adaptadas levando em consideração, além dos objetos do estudo, o histórico e perfil do grupo, como proposto por Colette (2001). Entre as principais técnicas estimuladoras utilizadas estão: a interpretação de imagens para discussão de conceitos como participação, mobilização e controle social, dentre outros; a utilização da dinâmica do zoom onde discutiu-se a relação do todo e suas partes no contexto da avaliação e a dinâmica “alma-gêmea” em que frases de autores dos campos da avaliação de projetos e da construção de indicadores para estimular o debate e, ao mesmo tempo, relembrá-los dos aspectos abordados durante o curso de capacitação.
Para construção das perguntas avaliatórias que sinalizaram os indicadores posteriormente construídos foram discutidas, a partir da exposição de tarjetas, frases de identificação das fragilidades e potencialidades do programa avaliado, coletadas durante as entrevistas individuais, onde, a partir da discussão destas, perguntas avaliatórias foram construídas.
Os trabalhos foram conduzidos por uma mediadora (proponente desse estudo) a partir de um roteiro pré-estabelecido (Apêndice G) e orientados por uma observadora e relatora que conduziu as observações e relatos baseados no roteiro de observação sistematizada do grupo focal (Apêndice H).
Para minimizar os desvios de interpretação, a análise dos dados foi realizada conjuntamente pela mediadora e observadora. Tal análise foi descritiva e se configurou no relato das interações dialógicas dos participantes do GF que sinalizassem ou sugerissem elementos que contribuíssem para a elaboração dos indicadores. Os dados foram complementados por outros extraídos das anotações da observadora/relatora. Finalmente, durante a interpretação dos dados analisados, procedeu-se a aproximação dos mesmos com os autores que subsidiaram o referencial teórico do presente estudo.
3.5.1 O Método Delphi
Esse método apresenta como principal característica a busca progressiva de um consenso em um tema complexo e específico entre especialistas, através de questionamentos sucessivos, cujas respostas são cumulativamente analisadas com respeito à obtenção ou não de um consenso (SANTOS e outros, 2005).
Segundo Minayo (2009), o método Delphi é um dos instrumentos mais utilizados na construção de indicadores com abordagem qualitativa e tem um valor fundamental para validação tanto dos instrumentos como dos resultados da investigação, visto que, apresenta o respaldo dos conhecimentos de pessoas experientes sobre um determinado tema.
Tal método pode ser operacionalizado de duas formas: (1) reunião dos especialistas para discutirem o assunto simultaneamente; (2) de forma individualizada (mais comum). Adotou-se a segunda opção, diante da distância geográfica entre os especialistas acadêmicos.
Na literatura pesquisada o número de especialistas que deve compor o Painel Delphi pode variar de três a mais de uma centena e o nível de consensualidade entre os mesmos a respeito das questões investigadas pode assumir um intervalo entre 50% e 85% não seguindo assim, uma estrutura padronizada.
Nesse estudo o Painel Delphi foi constituído de 11 especialistas acadêmicos e o nível de consensualidade (NC) para validação dos indicadores foi a média aritmética percentual simples dos cinco atributos (AT) sugeridos aos especialistas: efetivo (AT1), relevante (AT2), contextual (AT3), inteligível (AT4) e exequível (AT5). Considerou-se válido o indicador com NC ≥ a 80%.
Para efeito de cálculos das porcentagens individuais de cada um dos atributos foram consideradas as escalas de validação 1(Contempla o atributo) e 2 (Contempla o atributo com correções), visto que, a grande maioria das correções (77,2%) sugeridas pelos especialistas foram acatadas. Todos os atributos tiveram peso igual, como demonstra a fórmula a seguir:
A seleção do Painel de Especialistas15 para o Delphi foi realizada a partir da análise do Currículo Lattes visto que, no período, não foram identificados especialistas não-acadêmicos que pudessem contribuir com essa investigação.
Os critérios de seleção para especialistas acadêmicos foram a diversidade de vivências, olhares e formações que o presente estudo solicita, a saber: experiência em Educação Ambiental, em saneamento, na execução de programas/projetos e na elaboração de Indicadores de avaliação, bem como, a disposição em contribuir com a pesquisa via correio eletrônico.
Nesse estudo, o método Delphi teve como finalidade proceder à validação da matriz preliminar de indicadores proposta para que os indicadores e seus elementos fossem aperfeiçoados, validados ou até mesmo invalidados.
Nessa fase, cada especialista recebeu, via correio eletrônico, uma carta informativa com o objetivo da pesquisa e os procedimentos de validação da matriz (Apêndice I), anexados ao termo de consentimento livre e esclarecido (TCLE) (Apêndice J) e a matriz de indicadores configurada em planilha Microsoft Excel em modo de compatibilidade 97-2003.
Os especialistas avaliaram cada um dos indicadores e seus respectivos elementos (perguntas norteadoras, descritores e meios de verificação) em relação ao atendimento de cinco atributos pré-estabelecidos e adaptados de Silva (2005), a saber: Efetivo (mede ou sinaliza o que se propõe a medir ou a sinalizar), Relevante (sinaliza aspectos importantes da avaliação de projetos de EA em saneamento), Contextual (se aplica ao contexto indicado), Inteligível (de fácil entendimento para os interessados do processo avaliativo), Exequível (Os meios de verificação estão adequados e de baixo custo).
O julgamento foi pautado na escala de validação psicométrica adaptada de Silva (2005): (1) Contempla o atributo; (2) Contempla o atributo com correções; (3) Não contempla o atributo. A escala “Não respondeu” (NR) foi criada devido ao fato de que alguns dos atributos e/ou indicadores terem sido reenviados sem preenchimento, apesar da solicitação de preenchimento e reenvio da matriz, alguns especialistas não o fizeram.
Foram também solicitados comentários e sugestões nos casos em que as escalas 2 ou 3 fossem escolhidas. No canto superior direito de algumas células da tabela que compunham a matriz encontravam-se estruturas na cor vermelha. Ao passar o mouse nessas células puderam-se visualizar referências, conceitos de determinados termos, além de outras informações relevantes como ilustra a Figura 06:
15 Segundo Minayo(2009, p.88) um especialista não tem a ver com títulos e sim com experiência no tema.
Figura 06: Formato da planilha com a matriz de indicadores enviada aos especialistas para proceder à validação externa.
O prazo total para proceder ao processo de julgamento da matriz foi de 35 dias, sendo 20 dias de prazo inicial, mais 15 dias de prorrogação a pedido de alguns especialistas. A consulta foi realizada em uma rodada, considerado o nível de consensualidade atingido.
Finalmente, a versão final da matriz de indicadores com as modificações sugeridas, bem como os níveis de consensualidade foram enviados a todos os juízes especialistas que contribuíram com essa etapa da pesquisa em questão.