Validade e Confiabilidade do Estudo

Estudos de natureza qualitativa historicamente atraem uma diversidade de críticas metodológicas e, portanto, demandam esforços suplementares na intenção de definir parâmetros claros de validade e confiabilidade das pesquisas. Todos os dados primários coletados a partir da aplicação de métodos e instrumentos próprios desenvolvidos exclusivamente para a realização do presente estudo estão associados à perspectiva qualitativa da pesquisa. Os dados quantitativos foram obtidos a partir de fontes secundárias

de estudos já realizados e serviram de coadjuvantes para o melhor entendimento do contexto estudado. Neste sentido, o primeiro aspecto relevante para o bom andamento da pesquisa, bem como para o alcance dos resultados com aproximação o mais fiel possível da realidade, é a questão da relação política de quem pesquisa com o objeto pesquisado e com os sujeitos. Nesta perspectiva, buscou-se considerar e dar primazia a princípios éticos em todas as etapas do estudo (PUNCH, 1994; CHRISTIANS, 2005).

O paradigma da Teoria Crítica prevê que questões éticas estejam intrinsecamente consolidadas durante o processo da pesquisa, visto que deve haver inclinação natural para manifestação moral (DENZIN; LINCOLN, 2005). A credibilidade de quem pesquisa é desenvolvida a partir de treinamentos, experiências rigor intelectual, integridade profissional e competência metodológica (PATTON, 2002), aspectos que foram considerados do início ao fim deste estudo. Sobretudo no tocante ao desenvolvimento da etapa da aplicação de entrevistas, preocupou-se com a preservação da identidade dos participantes, bem como com a proteção e sigilo com relação a informações confidenciais que não poderiam ser reveladas. A mesma preocupação foi tida durante as atividades de observação, já que estas muitas vezes podem se configurar em armadilhas, a partir do envolvimento em excesso do pesquisador com o objeto pesquisado, no sentido de ter sua formação de opinião influenciada pelo contexto observado e, assim, contaminar os resultados (BRANDÃO, 2017).

Superado o argumento voltado a aspectos éticos de pesquisa, esta pesquisa parte do argumento de que é possível estudar fenômenos sociais relevantes com vistas à boa governança de sistemas complexos, cujo entendimento destes está fundamentado, como apontado no quadro teórico de referência, na teoria apresentada por Ostrom, envolvendo sistemas de recursos de propriedade comum. Contudo, acredita-se que para alcançar objetivos propostos em estudos de natureza qualitativa, as explicações devem ser precisas e bem especificadas. Para tanto, as evidências precisam ser teoricamente relevantes e identificar mecanismos que relacionem as explicações com os resultados.

Diante do exposto, cabe considerar aspectos associados à validade da pesquisa, que é traduzida pela combinação entre método e interpretação dos dados coletados. Apesar de não haver método que expresse de forma absoluta certas realidades, conforme virada pós- moderna, aplicável como uma “receita de bolo” ou “posologia de bula de remédio”, é a

associação dos métodos com os processos interpretativos o mecanismo de sustentação para que se alcance resultados o mais fieis possíveis do que se deseja verificar dos contextos estudados (SCHWANDT, 2003).

O desenho final deste estudo que, portanto, se caracterizou como pesquisa qualitativa, interdisciplinar e multifacetada se fundamentou na tentativa de contemplar a lacuna voltada à necessidade do desenvolvimento de pesquisas mais sistêmicas que venham a superar a polarização do debate acadêmico e político em segurança alimentar (SONNINO et al., 2014). Assim, o Quadro 5 aponta as estratégias metodológicas de alcance que foram pretendidas para aplicar associadas a cada variável secundária de análise.

Ao final das etapas de levantamento de dados, buscou-se desenvolver a articulação dos métodos selecionados através do processo de triangulação metodológica, a fim de se buscar validação da pesquisa (DENZIN, 1989; DENZIN; LINCOLN, 2005). A facilitação do trabalho de validação foi parcialmente contemplada a partir do enquadramento entre o modelo teórico de pesquisa, objetivos de pesquisa e técnicas de análise de dados, considerando aspectos inerentes ao objeto de estudo, inclusive como uma forma de síntese e demonstração didática de tudo o que fora discutido nesta seção.

O presente estudo foi submetido a triangulação de fontes de dados, bem como de métodos adotados para a coleta daqueles. Nesse sentido, foram realizadas comparações entre as falas obtidas nas entrevistas com documentos e publicações oficiais, como boletins, relatórios, legislações, bem como com a verificação de práticas, quando possível. Realizou- se triangulação também com relação à aplicação metodológica, ao se utilizar diversos métodos para o alcance de dados, como análise pragmática da linguagem, observação (análise de contexto) e análise documental (análise de conteúdo).

Esta estratégia pode ser melhor verificada a partir da matriz de amarração metodológica proposta por Mazzon (1981), que contém todas as etapas deste estudo expostas no Quadro 6. A matriz de amarração metodológica teve por finalidade contribuir, através de uma visualização sistemática da pesquisa, para análise de consistência e coerência da intervenção sugerida em relação às estratégias metodológicas selecionadas

para o alcance dos objetivos propostos. Além disso, tornou possível favorecer o entendimento e a avaliação de terceiros (TELLES, 2001).

Quadro 5 - Categorias Secundárias de um Sistema Socioecológico Agrícola

Categorias Primárias Categorias Secundárias Estratégias Metodológicas de Alcance

Configurações Sociais,

econômicas e políticas (S)

Sistemas de Recursos (SR)

Sistemas de Governança (SG)

Unidades de Recurso (UR)

Atores (A)

S1 – Desenvolvimento Econômico S2 – Tendências Demográficas S3 – Estabilidade Política

S4 – Políticas de recursos governamentais S5 – Incentivos Mercados

S6 – Organizações de Mídia S7 - Tecnologia

SR1 – Setor de Agricultura

SR2 – Clareza dos limites do sistema SR3 – Tamanho do sistema de recursos SR4 – Instalações construídas por humanos SR5 – Produtividade do Sistema

SR6 – Propriedades de equilíbrio

SR7 – Previsibilidade da dinâmica do sistema SR8 – Características de armazenamento SR9 – Localização

SG1 - Organizações governamentais SG 2 - Organizações não governamentais SG 3 - Estrutura de rede

SG 4 - Sistemas de direitos de propriedade SG 5 - Regras de escolha operacional SG 6 - Regras de escolha coletiva SG 7 - Regras de escolha constitucional SG8 - Regras de monitoramento e sanção UR1 - Mobilidade da unidade de recursos UR2 - Taxa de crescimento ou de substituição UR3 - Interação entre unidades de recursos UR4 - Valor econômico

UR5 - Número de unidades UR6 - Características distintivas UR7 - Distribuição espacial e temporal

Análise Documental Análise Documental Análise Documental

Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Entrevistas

Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas

Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas

Situações de ação: Interações (I) → Resultados (R)

Ecossistemas relacionados (ECO)

A1 – Número de atores relevantes A2 – Atributos socioeconômicos A3 – História ou experiências passadas A4 – Posição dos atores

A5 – Liderança; empreendedorismo

A6 – Normas (confiança / reciprocidade) / capital social

A7 – Conhecimento do Sistema Socioecológico / Modelos mentais

A8 – Importância do Recurso (dependência) A9 – Tecnologias disponíveis I1 - Colheita I2 - compartilhamento de informações I3 - Processos de Deliberação I4 - Conflitos I5 - Atividades de investimento I6 - Atividades de lobby I7 - Atividades auto-organizadas I8 - Atividades de rede I9 - Atividades de monitoramento I10 - Atividades de avaliação R1 - Medidas de desempenho social R2 - Medidas de desempenho ecológico

R3 - Externalidades para outros Sistemas Socioecológicos

ECO1 - Padrões climáticos ECO2 - Padrões de poluição

ECO3 - Fluxos para dentro e para fora do SES focal

Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Entrevistas

Entrevistas Entrevistas Entrevistas

Análise Documental / Entrevistas Análise Documental / Entrevistas Análise Documental / Entrevistas Entrevistas Entrevistas Entrevistas Entrevistas Entrevistas Entrevistas Entrevistas Entrevistas Entrevistas

Observação / Análise Documental / Entrevistas Observação / Análise Documental / Entrevistas Observação / Análise Documental / Entrevistas Observação / Análise Documental / Entrevistas Observação / Análise Documental / Entrevistas

Quadro 6 - Matriz de Amarração Metodológica Modelo teórico-metodológico de pesquisa Objetivos Categorias de análise associadas à questão da pesquisa Estratégias de Levantamento e análise de dados Caracterizar o contexto de vulnerabilidade em análise. Configurações sociais, econômicas e políticas; Sistemas de Recursos; Unidades de Recursos; Ecossistemas relacionados. Análise Documental (Análise de Conteúdo) Entrevistas (Análise pragmática da linguagem) Observação Científica (Análise de contexto) Identificar os principais

atores, seus papéis e formas de organização social do Sistema de Segurança Alimentar do contexto de vulnerabilidade voltados à produção e consumo para a sustentabilidade. Atores; Situações de Ação e interação; Ecossistemas relacionados. Análise Documental (Análise de Conteúdo) Entrevistas (Análise pragmática da linguagem) Observação Científica (Análise de contexto) Examinar dinâmicas, conflitos e relações existentes nos espaços coletivos de deliberação entre os atores identificados. Sistemas de Governança; Situações de ação / interação. Análise Documental (Análise de Conteúdo) Entrevistas (Análise pragmática da linguagem) Observação Científica (Análise de contexto) Explicitar eventuais formas de monitoramento vigentes voltadas para a boa governança em segurança alimentar. Sistemas de Governança. Princípios da Boa Governança. Análise Documental (Análise de Conteúdo) Entrevistas (Análise pragmática da linguagem)

Fonte: Elaborado pela autora. Caracterização do contexto

Identificação dos atores e respectivos papeis e formas de

organização social do sistema

Exame de dinâmicas institucionais, conflitos e

relações existentes nos espaços deliberativos

Explicação de eventuais formas de monitoramento

Este estudo foi norteado por uma pergunta macro, cujo desenvolvimento de pesquisa apontou indicativo de compreensão do problema com vistas à reflexão de soluções exequíveis. No que diz respeito a certas tipologias de pesquisas qualitativas, há recomendações de critérios específicos para a análise da qualidade da pesquisa. Strauss e Corbin (2008) orientam que é necessário rigor desde o processo de codificação até o desenvolvimento da pesquisa e análise de resultados e tal rigor se traduz sobremaneira na qualidade com que se elabora conceitos, se desenvolve relacionamentos sistemáticos entre tais conceitos e profundidade teórica, bem como se demonstra significância de achados e de confiabilidade teórica. Genericamente, Creswell (2010) argumenta que a validade da pesquisa perpassa por todas as fases do desenvolvimento da pesquisa, configurando-se como a especificação do rigor adotado para a elaboração de cada etapa, cujos procedimentos adotados devem contribuir para resultados precisos.

Além disso, a credibilidade da pesquisa está associada à coerência dos dados com o contexto analisado (MERRIAM; TISDELL, 2016; BRANDÃO, 2017), cuja preocupação foi legítima do início ao fim do estudo. Dentre as possibilidades de metodologias para validação de pesquisas existentes (triangulação, validação por respondentes, reflexividade e participação adequada do pesquisador no processo de coleta de dados, revisão por pares, auditoria, densa descrição do fenômeno analisado, variação máxima na aplicação de achados), foram adotadas a triangulação de fontes de informação (primárias e secundárias), bem como a triangulação de métodos. A primeira se caracterizou pela comparação entre as opiniões apontadas nas falas das entrevistas e documentos oficiais, bem como em práticas observadas. A própria utilização de diferentes métodos de coleta de dados se traduziu como método de triangulação e melhor alcance de entendimento do contexto analisado.

No tocante à coleta primária de dados, sobretudo aquela oriunda da aplicação de entrevistas, a dimensão central da validade envolveu a correspondência entre as produções geradas pelas entrevistas e o modelo teórico SES Framework apontado por Ostrom e colaboradores. O processo foi realizado a partir de revisão de conteúdo por pares, realizada por quatro especialistas acadêmicos atuantes nas áreas de governança e/ou gestão.

O procedimento consistiu em submeter a análise de fragmentos das entrevistas e vinculação às categorias propostas pelo SES Framework, na intenção de confirmar se havia

relação entre trechos e categorias e em que nível a relação seria relevante (numa escala de 1 a 5, onde 5 seria de maior relevância e aderência). As contribuições dos especialistas nesta etapa foram relevantes para reavaliação de determinadas associações de trechos de textos a categorias anteriormente realizadas, bem como para a realização de novos ajustes. Além disso, as avaliações de maior frequência foram consideradas as mais significativas para o estudo, considerando o grande volume de dados para análise (em decorrência de muitos itens relevantes apontados nos roteiros, também em virtude de muitas categorias preestabelecidas), e foram utilizadas para o desenvolvimento da seção de resultados, ao passo em que aquelas menos significativas foram realocadas ou aperfeiçoadas. Este procedimento foi baseado no modelo utilizado por Brandão (2017), cuja relevância de sua aplicação residiu na maneira pela qual o pesquisador conduziu a triangulação das fontes de informação e dos métodos adotados na pesquisa qualitativa, permitindo melhor entendimento do processo de triangulação e, consequentemente, servindo de orientação para novos estudos. O modelo utilizado por Brandão (2017) foi adaptado para este estudo, considerando o aspecto de que as categorias de análise foram estabelecidas previamente a partir da aplicação de modelo teórico existente. Os instrumentos utilizados no processo de revisão por pares encontram-se em apenso a este documento (Apêndices E e F).

A seguir, estão apresentadas as principais limitações encontradas ao longo do desenvolvimento da pesquisa.