Validade de Conteúdo e de Face

Conforme proposto por Malhotra (2012, p. 265) “a validade de conteúdo, às vezes chamada de validade nominal, é uma avaliação subjetiva porém sistemática da exatidão com que o conteúdo de uma escala representa o trabalho de medição em andamento.”. No entanto, o conceito abrangente da validade de conteúdo, por vezes gera conflito com a definição de validade de face, outra verificação necessária às escalas. Nunnaly (1994), ao abordar esse conflito realiza a seguinte diferenciação:

É fácil confundir validade de face, com validade de conteúdo. Validade de face refere-se aos julgamentos sobre itens após um instrumento ser construído. Como discutido anteriormente, a validade de conteúdo é mais adequadamente assegurada por meio do planejamento do conteúdo e da construção do indicador antes dele ser constituído. Assim, validade de face pode ser considerada como um aspecto limitado de validade de conteúdo, relativo a uma inspeção do produto final para se certificar de que nada deu errado em transformar planos em um instrumento completo.

(NUNNALLY; BERNSTEIN, 1994, p. 110)

Ainda sobre a diferença existente entre os termos, Devellis (2003) argumenta que enquanto a validade de conteúdo caracteriza-se por estar associada ao que a ciência ou seus autores propõem como indicadores, a validade de face seria uma avaliação mais pragmática do que científica; sendo diferenciadas em termos do que a escala mede para o pesquisador (validade de conteúdo) e o que ela parece medir para o respondente (validade de face). Dessa forma, a construção da escala foi pautada por trabalhos de cada uma das áreas abordadas, sendo ainda adaptadas para a área pública. Assim, serão abordados inicialmente os procedimentos relativos à validade de conteúdo e depois à validade de face. A primeira, apoiada tanto pela revisão de literatura, quanto por especialistas doutores na área de administração, especificamente da linha de estratégia de marketing. A segunda, embasada por especialistas que atuam na área pública da população pesquisada, assim como os especialistas acadêmicos citados anteriormente e a realização de pré-teste.

Conforme definições operacionais apresentadas anteriormente, o construto de capacidades de marketing foi desenvolvido a partir do estudo de Morgan e Vorhies (2005), que já previa a coleta com organizações industriais, mas também de serviços. Como a intenção desta pesquisa concentra-se nas capacidades especializadas, definida pelo composto de marketing, foram utilizados da pesquisa original, apenas os indicadores referentes a essas dimensões. Respeitando as particularidades do serviço (LOVELOCK, 2011), ainda foi adotada a responsividade, sugerida por Santos-Vijande et al. (2012) como uma dimensão complementar do composto de marketing.

A tradução foi realiza por meio da técnica de tradução paralela (MALHOTRA, 2012), com o auxílio de dois especialistas na área de marketing, além do autor, que pautaram possíveis adequações. Após a tradução, foi iniciada analise de conteúdo do construto, tendo como base a proposição de Buurma (2001) e Kaplan e Haenllein (2009), que sugerem como o composto de marketing pode ser trabalhado na área pública. Dessa forma, as escalas originais

foram adequadas semanticamente para contemplar as particularidades do setor, prezando pela manutenção do conteúdo original e item do composto que se pretendia medir.

Com relação ao construto de fontes de inovação foi adotada a escala utilizada pela Community Innovation Survey (CIS, 2013), que sofreu o mesmo processo de tradução com especialistas, considerando particularidades da área de atuação, sem alterações nessa primeira etapa de análise do conteúdo. No que tange à escala, como já proposto por Yam (2011) foi ampliada para sete pontos, permitindo maior detalhamento dos dados.

Para o construto de desempenho organizacional, devido à sua multidimensionalidade (OECD, 2009; VAN DOOREN et al., 2010; ZHONGHUA; YE, 2012) e pluralidade nas proposições (ZHONGHUA; YE, 2012) foram propostos indicadores subjetivos tendo em vista o acesso aos dados da população investigada. Assim, a escala contempla especificamente variáveis manifestas de qualidade, desempenho financeiro, percepção da satisfação do usuário e percepção de outras organizações públicas (DUBNICK, 2005; POLLITT, 2006;

ZHONGHUA; YE, 2012). Essa escala teve sua validade de conteúdo também conferida por dois especialistas na área de administração, como a escala seguinte de desempenho de inovação.

Para o desempenho de inovação, a The Gallup Organization (2011) já adota perguntas diretas em sua avaliação. Essa escala foi decomposta em inovação radical e incremental, devido ao direcionamento para serviços (OECD, 2005) e englobou não apenas inovação em comunicação, mas a inovação em marketing de forma abrangente e a inovação organizacional, mantendo as dimensões de produto e processo, tendo em vista as proposições de estudos como OECD (2005), Bloch e Bugge (2013) e CIS (2013).

Após as adequações nas escalas originais, o instrumento foi submetido à validade de face em três momentos distintos: especialistas acadêmicos, especialistas atuantes no setor de estudo e pré-teste do instrumento. Essas etapas ocorreram cumulativamente, sendo encerrada uma etapa para iniciar a outra, capaz de realizar a validação de face das alterações anteriores.

Na primeira etapa, dois doutores da área de marketing avaliaram a facilidade de compreensão do instrumento, em que sugeriram as seguintes alterações: separar a fonte de inovação interna em dois indicadores, em que o primeiro seria apenas funcionários e o segundo pesquisas realizadas pela organização; separar os clientes em dois indicadores, em que o primeiro seria pessoa física e o segundo pessoa jurídica; modificação no texto inicial

que explica a pesquisa, tornando-o mais direto e acessível; assim como a alteração do bloco de perguntas referente ao perfil do respondente para o final da pesquisa, ampliando a coerência com a explicação sobre inovação contida no início do texto.

Em reunião na sede da Diretoria Regional dos Correios no Paraná no dia 07/07/2014, a segunda etapa de validade de face, contou com a presença do gestor responsável pela Assessoria de Desenvolvimento de Mercado, uma estatística da equipe e ainda uma administradora da organização. Nessa fase, foram discutidas as particularidades da população, explicados os construtos, assim como o objetivo da pesquisa e os meios de operacionalização disponibilizados pelos Correios.

Após uma semana de análise do questionário, os responsáveis que deram prosseguimento à análise realizaram modificações conforme segue: especificação do item Suporte Técnico da Regional, adequação do item Conferências, feiras comerciais e exibições para Eventos locais (feiras, festas e comemorações), adequação do item Normas técnicas industriais ou de serviços para padronização e melhoria de atendimento e manuais de serviços, todos referentes às fontes de inovação. No construto de desempenho organizacional, sugeriram a inclusão de comparação com a meta proposta para os indicadores de qualidade e desempenho financeiro, assim como especificaram as possíveis organizações públicas com relação direta com as agências, na dimensão de percepção de outras organizações públicas.

Após essa etapa foi realizado um pré-teste, com o instrumento de coleta digital, com dez respondentes da população, que foram excluídos dos dados finais desta pesquisa. Eles foram solicitados a questionar eventuais dificuldades no preenchimento ou na compreensão das questões. Dessa etapa, foram possibilitadas as seguintes contribuições ao instrumento de coleta: especificação do período de um ano contido nos enunciados, diferenciando entre os últimos doze meses ou o ano de 2013, além da inclusão de dois enunciados para o construto de capacidades de marketing, uma vez que a ferramenta digital não possibilitava a nomeação das extremidades da escala e a quantidade de indicadores dificultava a lembrança do respondente. Dessa forma, o instrumento de coleta foi finalizado e é disposto no Apêndice 1, conforme apresentado aos respondentes na intranet dos Correios.