Método de coleta e análise de dados

A coleta de dados durante as dinâmicas do Involvision foi realizada de dois modos: via observação direta do pesquisador e via questionário.

A observação direta do pesquisador visou coletar dados em um diário de campo durante as dinâmicas de aplicação do Involvison. A ideia foi coletar, por meio da observação direta, nuances como expressões proferidas e comportamentos dos usuários acerca das dinâmicas e do método em si.

O outro modo de coleta de dados foi via questionário aplicado aos usuários após as dinâmicas com o Involvision. O questionário é composto por 21 questões (apêndice 3). Essas questões são baseadas nas dimensões de avaliação apresentadas no modelo conceitual para a avaliação e são dividias em: 3 questões direcionadas para a dimensão 1 (processo), 8 questões para dimensão 2 (propriedades da visão), 6 questões para a dimensão 3 (comportamento) e 4 questões para a dimensão 4 (cognição).

A avaliação e coleta de dados foram realizadas em 2 grandes etapas. A primeira etapa composta pelos casos 1 e 2, foi a de testes dos instrumentos (questionários) e de verificações in vitro, segundo Frey e Dym, (2006). A segunda etapa se deu por meio um teste de campo do tipo estudo de caso (YIN, 2001; MIGUEL, 2007). A etapa 1 constituída pelos casos 1 e 2 e a etapa 2 constituída pelo caso 3 são apresentadas em detalhes nas seções 7.1 e 8.1 respectivamente.

Para análise dos dados das dimensões de avaliação propostas no modelo conceitual utilizou-se como embasamento o trabalho de James, Demaree e Wolf (1984).

A técnica proposta por James, Demaree e Wolf (1984) é denominada de “Índice de Concordância” e seu objetivo geral é verificar se há ou não consenso entre respondentes quando questionados sob algum aspecto.

Os respondentes são estimulados externar suas opiniões sobre os construtos em avaliação. Esses construtos são operacionalizados em formas de questões na qual os respondentes devem atribuir uma nota variando de 1 a 10 onde: 1 significa a discordância total com a questão e 10, a plena concordância.

Segundo James, Demaree e Wolf (1984), o índice de concordância ( ) é calculado conforme a equação 1.

(Equação 1) Onde: J é o número de itens que descrevem o requisito, é a média das variâncias observadas nos J itens e é a variância esperada devido a erro puramente aleatório, assumindo distribuição uniforme. Calcula-se a variância de acordo com a equação 2.

(Equação 2)

Onde A é o número de alternativas na escala de resposta dos questionários.

Segundo James, Demaree e Wolf (1984), o índice de concordância ( calculado conforme a Equação 1 pode assumir valores que variam entre 0,00 e 1,00 onde: valores próximos de 1,00 indicam maior homogeneidade ou alta concordância entre os respondentes e, valores que se aproximam de 0,00 indicam heterogeneidade ou baixa concordância entre os respondentes.

Segundo LeBreton e Senter (2008), valores de 0.70 tem sido tradicionalmente usados com ponto de corte para demonstrar baixa e alta concordância entre jurados. Para os autores, o índice de concordância ( ) é interpretado como sendo a redução proporcional na variância do erro. Ou seja, altos índices indicam grandes reduções na variância do erro e, assim, altos níveis de concordância. Segundo LeBreton e Senter (2008), o valor de 0.70 para o índice de concordância sugere que exista 70% de redução no erro de variância.

LeBreton e Senter (2008) apresentam na Tabela 18 algumas diretrizes para facilitar a interpretação do Índice de Concordância.

Tabela 18 - Interpretação dos Índices de Concordância Índice de concordância (valor) Interpretação

0 a 0.30 Sem concordância

0.31 a 0.50 Concordância fraca

0.51 a 0.70 Concordância moderada

0.71 a 0.90 Concordância forte

0.91 a 1.00 Concordância muito forte

Fonte: adaptado de LeBreton e Senter (2008)

LeBreton e Senter (2008) afirmam que os pesquisadores interessados em utilizar o Índice de Concordância devem se atentar para a qualidade psicométrica e evidência de validade para as medidas que pretendem agregar e, utilizar esta informação para guiar a determinação do nível mínimo de concordância aceitável.

Índices de 0.70 podem não ser altos o suficiente para medidas bem estabelecidas, que já tenham sido submetidas a mais testes psicométricos e possuam bastante evidência de validade como, por exemplo, um questionário para se medir clima organizacional de autoria de James e Jones (1974). (LeBRETON e SENTER, 2008).

Contudo, valores de 0.70 para o Índice de Concordância podem ser considerados aceitáveis para medias recentemente desenvolvidas (LeBRETON e SENTER, 2008). Este seria, portanto o caso do presente trabalho. As medidas como, por exemplo, propriedades da visão do produto, foram recentemente desenvolvidas e podem ser enquadradas dentro do Índice de Concordância com valor de 0.70.

Empregou-se, portanto, o Índice de Concordância de 0.70 como valor de corte para avaliação das dimensões propostas no presente trabalho. Índices abaixo de 0.70 mostram a discordância entre os jures e, portanto representam, em linhas gerais, que o Involvision não foi capaz de operacionalizar determinado construto.

A dimensão 2 que avalia a capacidade do Involvision operacionalizar as propriedades da visão do produto foi também analisada por meio da verificação do Coeficiente de Correlação Intraclasse (ICC) nos casos 1 e 2.

Uma das interpretações mais fundamentais para o ICC é dada por McGraw e Wong (1996) onde o índice é considerado uma medida da proporção da variância que é atribuída a

objetos de medida. Para o cálculo da concordância entre equipes dos casos 1 e 2 foram utilizados ICC´s de dois tipos.

O primeiro denominado de ICC(1) é definido como o nível de consenso absoluto entre medições feitas em objetos selecionados aleatoriamente, ou seja, ele avalia a correlação de duas medições quaisquer (McGRAW, WONG, 1996).

Segundo LeBreton e Senter (2008), o ICC (1) é calculado conforme a equação 3.

!"" #$%& #$'

#$%& ( #$'

(Equação 3) Onde: #$)&é o quadrado médio das notas atribuídas por cada equipe para um target, #$* é o quadrado médio para fontes residuais de variância (one-way random effects ANOVA) e, K é o número de observações por target.

De modo mais simples o ICC(1) pode de ser interpretado como sendo o tamanho estimado do efeito que revela a extensão na qual a classificação dos juízes22 foram afetadas pelo objeto avaliado (LeBRETON, SENTER, 2008). Em linhas gerais o ICC (1) pode servir como justificativa para a agregação de dados. Ou seja, em algumas áreas de pesquisa como a organizacional, psicológica e biológica, avaliam-se características de níveis macro por meio da agregação de percepções individuais (LÜDTKE, ROBITZSCH, 2009). Como exemplos podem- se citar: avaliação de clima de serviço agregando-se percepções de cada cliente sobre qualidade de serviço (MASTERSON, 2001; SCHNEIDER, WHITE, PAUL, 1998) e eficácia de grupos avaliada pelas classificações individuais dos próprios membros desses grupos (MORITZ, WATSON, 1998).

LeBreton e Senter (2008) adotam valores de ICC(1) como 0,01; 0,10 e 0,25 para indicar efeitos pequeno, médio e grande respectivamente para justificar a agregação dados. Sendo assim, valores de ICC(1) maiores ou iguais a 0,25 constatados nas propriedades da visão do produto dos Casos 1 e 2 podem justificar a agregação dos dados. Ou seja, mostram que os jurados dos casos 1 e 2 foram influenciados pelo Involvision e que, portanto seria possível agregar as percepções individuais na qual os construtos de baixo nível (propriedade avaliada) estariam presentes na visão criada devido à utilização do Involvision (construto de alto nível).

22 _{Os juízes ou jurados são considerados os participantes das equipes dos casos 1 e 2 que atribuíram notas}

O segundo tipo de ICC calculado é denominado de ICC(k). Segundo McGraw e Wong (1996) o ICC (k) é o nível de consenso absoluto para medições que são as médias de K medições independentes em objetos selecionados aleatoriamente. Segundo LeBreton e Senter (2008) o ICC (k) é calculado conforme a equação 4.

!"" + #$%& #$' #$%&

(Equação 4) Onde: #$)&é o quadrado médio das notas atribuídas por cada equipe para um target e #$*é o quadrado médio para fontes residuais de variância (one-way random effects ANOVA).

O ICC (k) informa a concordância e também quão confiável as médias das classificações (atribuídas pelos jurados) se distinguem entre grupos (BLIESE, 2000; HOFMANN, 2002). LeBreton e Senter (2008) estipula valores para o ICC (k) maiores ou iguais a 0,70 (índice que pode variar entre de 0 a 1) como indicativo de forte concordância e confiabilidade das médias das classificações dos juízes. Sendo assim, este valor indicaria que a variância das respostas entre os membros das equipes foi pequena e que, portanto, seria possível concluir que o Involvision conseguiu operacionalizar determinado construto (propriedade).

O cálculo dos valores dos ICC’s foi feito utilizando-se o software SPSS versão 17.0 da IMB e, o intervalo de confiança foi de 95%. Ao todo 8 equipes foram formadas nos dois casos de aplicação do Involvision. Três equipes no caso 1 e cinco equipes no caso 2. Para o cálculo do ICC considerou-se inicialmente todas as equipes dos casos 1 e 2 para verificar a concordância entre respondentes e confiabilidade das respostas. Entretanto, para a efetivação do cálculo do ICC foram consideradas 4 equipes (2 equipes de cada caso). Isso se deu, pois houve ocorrência de “dados ausentes” (missing data23) em 4 equipes e, nesses casos, o SPSS não considera-os para efeito de cálculo. Alternativamente os cálculos dos ICC’s foram também efetuados imputando-se valores da mediana de cada equipe para os “missing data” Os resultados desses cálculos podem ser observados no apêndice 4.

Os próximos capítulos apresentam as avaliações do Involvision bem como detalham os procedimentos utilizados e os resultados obtidos nas avaliações in vitro (casos 1 e 2) e no caso real de desenvolvimento de produto (caso 3).

23 _{“Missing data” ocorre quando há diferenças entre o número de respostas entre uma equipe (ou amostra) e}

outra. Isso pode ser ocasionado, por exemplo, quando algum dos respondentes de um questionário se esquece de responder uma questão ou a deixa de responder por outra razão específica.