Aula11 SeminarioPesquisaQuantitativaQualitativa Otávio e Ricardo

Programa de Pós-Graduação em Ciência

da Computação

Métodos e Técnicas de Pesquisa

Prof. Dr. Henrique Nou Schneider

Pesquisa em Computação:

Quantitativa e Qualitativa

Agenda

• Tipos de pesquisa qualitativa

• _{Observacional} • _{Pesquisa-ação}

• _{Métodos de pesquisa qualitativa} • _Publicação

• _{Modos de Análise} • Questões Éticas • _Referências

Metodologias de pesquisa em

computação

• _{Computação é uma das ciências do artificial:} • _{Programas novos}

• _{Modelos novos} • _{Sistemas novos}

• _{Técnicas e métodos novos}

• _{Como se avalia?}

• O artefato novo já pode ser o resultado

• Ou... O artefato resolve um problema? (mérito)

Metodologias de pesquisa em

computação

• _{Onde se usam as metodologias?}

• Mais comum: na avaliação de modelos,

programas, sistemas, técnicas e métodos;

• _{Também: para compreender um problema}

(e.g.: práticas de uma comunidade, contexto de trabalho);

• _{Finalmente: para criar leis gerais ou teorias} • _{têm caráter estatístico}

• _{são rasas (shallow)} • são datadas

Metodologias de pesquisa em

computação

• _{Pesquisa analítica:}

• _{pressuposições sobre os dados (axiomas) e provas} matemáticas (teoremas) de propriedades

• Pesquisa bibliográfica

• _{coleta sistemática de trabalhos científicos e} sintetização dos resultados

• _{revisão sistemática} • _{meta-análises}

• _{Pesquisa empírica} • _{Pesquisa qualitativa} • _{Pesquisa quantitativa}

Métodos quantitativos

• _{Variáveis observadas são poucas, objetivas e}

medidas em escalas numéricas

• Visão positivista da ciência

• _{Objetivas: diferentes observadores obterão os} mesmos resultados em observações distintas

• _{Acordo: sabe-se claramente o que é melhor ou pior} para os valores das variáveis

• _{Manipulação estatística: medidas numéricas são mais} adequadas que verbais

Métodos quantitativos

Dados sintéticos - Benchmarks

• _{Conjuntos de dados/exemplos são usados para avaliar o} artefato

• _{Representam a diversidade do mundo real} • _{Subconjunto ou benchmark completo}

• _{Técnicas estatísticas de comparação entre o artefato} novo e os competidores

• _{Tipos mais comuns:}

• _{Desempenho (e.g.: tempo usado, memória usada)} • _{Medidas binárias (e.g.: classificação)}

• _{Qualidade da resposta (e.g.: otimização)}

• _{Criação de benchmarks é atividade científica nobre}

Dados sintéticos - Simulações

• _{Simulações: dados gerados artificialmente para}

avaliar um artefato

• Técnicas estatísticas de comparação entre o

artefato novo e os competidores

• Viés da simulação: distribuição de

probabilidade da simulação pode não

corresponder aos dados reais

• _{Simulações experimentais: humanos são}

expostos a simulações, com eventos e sua temporização controlados pelo pesquisador

Dados sintéticos - Competições

• _{Competições ou desafios: objetivo é vencer os}

competidores

• Competidor pode ser humano ou outro artefato

(e.g.: xadrez)

• Competições geralmente são compostas por

partidas e campeonatos e a avaliação é dada pela pontuação (e.g.: futebol de robôs)

• _{Em alguns casos, são um caso especial de}

benchmark (e.g.: o robô que sobe o terreno

Significância estatística

• _{Pode ser utilizada em questionários,}

experimentos e até mesmo na comparação de

benchmarks

• _{Geralmente, é usada para comparar medidas}

com um grau de (in)certeza mais apropriado à pesquisa científica

• Tipos de medidas:

• _{Medidas categóricas ou nominais} • _{Medidas ordinais}

• _{Medidas intervalares} • _{Medidas de razão}

Significância estatística:

Hipótese

• Hipótese nula X Hipóteses alternativas • Condições do teste

• _{Significância do teste} • Intervalos de confiança • _{Força do teste}

• _{Testes paramétricos e não-paramétricos}

• Comparações simples X Comparações

múltiplas

Significância estatística:

exemplos de testes de hipótese

• Comparações simples (2 conjuntos de dados): • _{Teste T}

• _{Teste T pareado}

• _{Teste U de Mann-Whitney} • _{Teste Wilcoxon signed-rank} • _{Teste do Qui-Quadrado}

• _{Teste exato de Fisher}

• Comparações múltiplas (mais de 2 conjuntos): • _{one-way ANOVA}

• _{Kruskal-Wallis}

• _{Testes de comparações múltiplas (Bonferroni, Tukey} HSD, Scheffe, Studentized range, etc.)

Questionários

• _{Conjunto de perguntas com respostas pré-definidas} (closed questions)

• _{Auto-aplicados ou aplicados por observadores} • _{Fases :}

• _{elaboração de perguntas e respostas} • _{amostragem da população}

• _{aplicação do instrumento} • _{avaliação das respostas} • _{análise dos resultados}

• _{Propriedades de um bom questionários:}

• _{não desencorajar o usuário a respondê-lo} • _{confiabilidade (reliability)}

Questionários

• _{Validade de questionários}

• _{de conteúdo: os itens medem o conteúdo (variável latente)}

que se quer medir

• _{de critério: os resultados se correlacionam com outros}

instrumentos de medição da variável latente?

• _{de construto: diferentes formas de coletar dados produzem}

resultados similares

• _{Desenvolvimento de questionários}

• _{questões fraseadas de modo simples, conciso e direto} • _{questões são neutras}

• _{não se usam questões na negativa}

• _{questões contêm apenas uma pergunta ou conceito}

Questionários

• _Amostragem

• _{Identifique a população (cobertura)} • _{Amostragem simples ou multi-estágio} • _{Amostragem plana ou estratificada} • _{Processo de seleção de indivíduos} • _{Compute o tamanho da amostra}

• _{Dê soluções para a não-resposta (geral ou de itens)} • Análise dos resultados

• _{Relato dos resultados (descrição objetiva)} • _{Possível agregação das respostas em índices}

Experimentos

• _{Atividades caracterizadas pela manipulação de}

algumas variáveis e a observação de outras, em situações artificiais ou semi-artificiais

• Aspectos importantes em um experimento

• _{Design experimental} • _{Participantes}

• _Variáveis

• _{Instrumentação e materiais} • _{Ameaças à validade}

Experimentos

• _{Validade interna: confiança de que o efeito}

observado é devido à manipulação, e não a outros fatores

• _{Validade externa: confiança de que o efeito}

observado é generalizável

• Ameaças à validade interna na observação: • _{instrumentação}

• _testagem • _maturação • _história

Experimentos

• Ameaças à validade interna pela introdução de

grupo-controle: • _seleção • _{mortalidade seletiva} • _{contaminação} • _{comportamento competitivo} • _{comportamento compensatório}

• _{efeito da expectativa do sujeito - efeitos placebo e} hawthorne

• _{Outras ameaças:}

• _{efeito da expectativa do experimentador} • _{influência de parte da intervenção}

Experimentos

• _{Validade externa: confiança de que o efeito}

observado é generalizável

• Ameaças à validade externa:

• _{Assunção 1: o resultado vai valer para qualquer}

pessoa, em qualquer lugar, em qualquer ambiente, em qualquer tempo

• _{Assunção 2: o resultado vai valer para situações} não-experimentais (não-artificiais)

Tipos de Pesquisa Qualitativa

• Pesquisa observacional

• Objetivo: observar o ambiente sem modificá-lo;

• _{Pesquisa Ação (action research)} • _{Objetivo: modificar o ambiente}

Perspectivas Filosóficas

• _Positivista

• _{Há variáveis objetivas} no mundo (mesmo imensuráveis)

• _{Fala de teorias} (prová-las ou refutá-(prová-las) • _{Interpretativista} • _{Não há variáveis} objetivas • _{Depende-se de quem} interpreta • _Crítica • Mundo é construção histórica e social das relações de poder e dominação

Pesquisa Observacional

• No positivismo: = pesquisa descritiva ou

exploratória

• Descreve objetivamente e diretamente

eventos e fatos de interesse

• Pode propor novas teorias, observações e

métricas

• _{É explanatória (explicativa) se busca}

Estilos de pesquisa observacional

• _{Estudo de caso}

• _{interação com sujeitos}

semi-formal (entrevistas e conversas programadas, dados e documentos)

• _{busca descobrir o que as}

pessoas escrevem/dizem, seus valores e opiniões

• _{para investigar processos,}

decisões e opiniões (ES, SI, inf. médica, ...)

• _Etnografia

• _{pesquisador vive e trabalha}

com os sujeitos

• _{técnica da antropologia}

para entender culturas

• _{busca descobrir o que as}

pessoas fazem

• _{confiança e descontração} • _{usada em sistemas}

Técnicas de pesquisa observacional:

controlando subjetividade (viéis)

• Amostragem fundamentada em teoria ou

direcionada

• Separação da observação e da teorização

• _{Teoria fundamentada em dados (grounded}

theory)

• Triangulação (várias fontes para o mesmo dado) • _{Parceiro neutro}

Pesquisa-ação

• _{Pesquisador age modificando ambiente estudado} • _{Vem da psicologia}

• _{Pesquisador interage e vê problemas a resolver e formas de}

resolvê-los, pondo propostas em prática

• _Etapas: • _{infra-estrutura cliente-sistema} • _diagnóstico • _{planejamento da ação} • _{tomada da ação} • _avaliação • _aprendizado

Pesquisa-ação, desenvolvimento

de sistemas e consultorias

• Desenvolvimento não começa com diagnóstico;

• Em desenvolvimento a solução é sempre

desenvolver um sistema novo;

• Em pesquisa-ação avaliação é neutra;

• Artigos que discutem “lições aprendidas” podem

ser considerados formas de pesquisa-ação;

• Consultoria nem sempre é: exige-se solução

Outras Avaliações Qualitativas

•

Avaliação como crítica artística

• _{exemplo: uso de um sistema por um}

especialista, pesquisas em IHC;

•

Avaliação por comitê de especialistas

• _{exemplo: uso de sistema por grupo de}

especialistas, limitanto efeitos das subjetividades.

Métodos de pesquisa qualitativa

• _Entrevistas • Focus Groups

• Observação

• _{Coleta de documentação (cartas, diários, fotos, ...)} • Coleta de narrativas

Publicação

de

pesquisa

qualitativa

• _{Deve-se defender o mérito dos métodos qualitativos;}

• _{Características desejáveis (Competências) do pesquisador}

no “fazer” da pesquisa (como mostrar isso?):

• _{controle das idéias pré-pesquisa;}

• _{separação da coleta de dados da teorização;}

• _{Aproveitamento de oportunidades;}

• _{Tem habilidade de entrevistar;}

• _{mostra que está ciente da literatura em metodologia}

de pesquisa qualitativa;

Modos de Análise: coletando, analisando e

interpretando dados qualitativos

• Hermenêutica

• _{Relacionada à interpretação dos dados textuais}

• Semiologia

• _{Preocupa-se com o significado de sinais e símbolos} na liguagem (ex: frequência de uma idéia num texto)

• Narrativa e Metáfora

• _{Narrativa (histórica ou oral) é o recitar dos fatos} • _{Metáfora: a figura de linguagem}

Ética em pesquisa em computação

comportamento ético em pesquisa (≉ da saúde)

• Sujeito deve ser informado que ele participa

de experimento?

• E se o resultado lhe deixar desempregado?

• Ele deve concordar? Antes ou depois? Mesmo

quando organização autorizou?

Quantitativa x Qualitativa

• _{Variáveis não podem ser} medidas

• _{Origem nas ciências sociais}

• _{Fenômenos sociais e}

culturais

• _{Estudo aprofundado de} sistema no seu ambiente de uso

• _{Envolvem pessoas e} sistemas

• _{Variáveis mensuráveis}

• _{Origem nas ciências} naturais; • _{Inclui questionários,} experimentos de laboratório, métodos formais e métodos numéricos. ex:modelagem matemática)

Referências

• _{WEINER, J. Métodos de pesquisa quantitativa e qualitativa para}

a Ciência da Computação. In: KOWALTOWSKI, T., BREITMAN, K. (orgs.). Atualizações em Informática 2007. Porto Alegre: SBC, 2007.

• _{MYERS, M. D. Qualitative Research in Information Systems.}

http://www.qual.auckland.ac.nz/

• _{HANCOCK, B., OCKLEFORD, E. e WINDRIDGE, K. An Introduction}

to Qualitative Research. TRENT RDSU. 2007.

www.trentrdsu.org.uk/cms/uploads/Qualitative%20Research.pdf

• _{HAZZAN, O. et al. Qualitative Research in Computer Science}

Discussão

• Perguntas?

• Sugestões?