Rigor na pesquisa

A confiança em pesquisas em design science depende da aplicação de métodos rigorosos tanto na construção como na avaliação dos artefatos desenvolvidos, sendo que o artefato deve ser definido, formalmente representado, teoricamente coerente e internamente consistente. Diretriz 6

Projeto como um processo de busca

A busca por um artefato efetivo requer a disponibilidade e utilização de meios para alcançar os propósitos desejados, em um processo que incorpora ou habilita mecanismos para busca de soluções, ao mesmo tempo em que são satisfeitas as leis relacionadas ao contexto do problema.

Diretriz 7 Comunicação da

pesquisa

Os resultados de pesquisas em design science devem ser efetivamente comunicados tanto ao público interessado em seus aspectos técnicos (pesquisadores que podem dar continuidade à pesquisa e profissionais voltados para usa implementação) quanto àquele voltado para as questões gerenciais enfocadas (pesquisadores ligados ao contexto do problema e profissionais responsáveis pela decisão sobre a

implementação do artefato em suas organizações).

Quadro 4.1 – Linhas de orientação em Design Science Research (fonte: HEVNER et al., 2004)

Tratando de sua aplicação no âmbito da tecnologia da informação, March e Smith (1995) apontam que os artefatos criados no Design Science Research podem ser caracterizados em

quatro tipos: constructos, modelos, métodos e implementações19. Generalizando as definições apresentadas nesta publicação, tem-se:

− Constructos – Elementos básicos em uma determinada disciplina, representando o vocabulário, os conceitos e conhecimentos aplicados para descrição de problemas e especificação de soluções em um dado campo de aplicação;

− Modelos – Conjuntos de proposições ou afirmações que expressam relações entre constructos, buscando descrever e representar problemas e soluções em análise; embora possa apresentar simplificações e imprecisões nos detalhes envolvidos, a

Design Science Research propõe que os modelos desenvolvidos devem capturar a

estrutura da realidade de modo a se mostrarem, principalmente, úteis;

− Métodos – Conjuntos de atividades sequenciais orientados para a realização de atividades específicas, baseados em constructos e modelos correlatos, podendo ser identificados como criações características de design science;

− Implementações – Estabelecem-se a partir da aplicação dos artefatos em seu contexto, buscando demonstrar a viabilidade e efetividade dos constructos, modelos e métodos envolvidos na execução de determinada tarefa; as implementações podem ser operacionalizadas mesmo antes da completa definição dos artefatos que o fundamentam, servindo como base para o desenvolvimento destes.

Com base na análise de publicações sobre teoria e prática na aplicação do Design Science

Research, tanto na área de sistemas de informação como em engenharia,

Peffers et al. (2007) identifica seis etapas comuns nos métodos apresentados20. São eles:

19

March; Smith (1995) também utiliza o termo instantiation, normalmente aplicado na área de tecnologia da informação. Segundo Lacerda et al. (2013), a instanciação “consiste no conjunto coerente de regras que orientam a utilização dos artefatos (constructos, modelos e métodos) em um determinado ambiente real”, informando “como implementar ou utilizar determinado artefato e seus possíveis resultados”.

20

Os trabalhos que fundamentam Peffers et al. (2007) na definição destas etapas são Hevner et al. (2004) e: ARCHER, L.B. Systematic method for designers. In: N. Cross (ed.), Developments in Design

Methodology, p.57-82. London: John Wiley, 1984.

EEKELS, J.; ROOZENBURG, N.F.M. A methodological comparison of the structures of scientific research and engineering design: Their similarities and differences. Design Studies, v. 12, n. 4, p. 197-203, 1991. NUNAMAKER, Jay F., Jr.; CHEN, Minder; PURDIN, Titus D. M. Systems development in information systems research. Journal of Management Information Systems, v. 7, n. 3, p. 89-106, Winter 1990-1991. M. E. Charpe, 1991.

ROSSI, M.; SEIN, M.K. Design research workshop: A proactive research approach. Paper presented at the Twenty-Sixth Information Systems Research Seminar in Scandinavia, Information Systems Research in Scandinavia Association, Haikko, Finland, August 9-12, 2003.

− Identificação de problema e motivação: definição do problema relacionado à pesquisa, com a caracterização de seu contexto, e justificativa do valor de sua solução, tanto na motivação da pesquisa como no esclarecimento das razões do pesquisador no entendimento do problema;

− Definição de objetivos para uma solução: definição dos objetivos da solução envolvida na pesquisa a partir do problema identificado e do conhecimento disponível e aplicável, inclusive sobre o contexto atual do problema e sobre soluções existentes e sua eficácia;

− Projeto e desenvolvimento: criação do artefato, incluindo atividades de determinação de suas funcionalidades desejadas, sua arquitetura e, então, o artefato em si, tomando por base o conhecimento teórico existente;

− Demonstração: uso do artefato para solução de uma ou mais circunstâncias do problema, podendo envolver experimentos, simulações, estudos de caso, provas ou outras atividades apropriadas, com a demonstração de sua aplicação;

− Avaliação: observação, monitoramento e medição de como o artefato proporciona solução ao problema, envolvendo a comparação dos objetivos definidos para a solução e os resultados alcançados na demonstração do uso do artefato; ao final desta etapa, deve ser decidido se a pesquisa deve retornar à etapa de “projeto e desenvolvimento” para busca de melhorias na efetividade do artefato, ou se pode ser concluída, passando à etapa de “comunicação”, com eventuais melhorias deixadas para pesquisas futuras;

− Comunicação: divulgação do problema e sua importância, o artefato, sua utilidade e inovação, o rigor de seu desenvolvimento e sua efetividade, para pesquisadores e outros públicos pertinentes, inclusive profissionais das áreas relacionadas ao problema.

A pesquisa em design science possui um caráter iterativo e incremental, ocorrendo um aprendizado originado nos resultados da avaliação, com melhorias tanto para o artefato quanto para seu processo de desenvolvimento (HEVNER et al., 2004). A atividade de construção do artefato em si gera um ganho de entendimento, com ciclos envolvendo as

TAKEDA, Hideaki; VEERKAMP, Paul; TOMIYAMA, Tetsuo; YOSHIKAWA, Hiroyuki. Modeling design processes. AI Magazine, v. 11, n. 4 (Winter 1990), p. 37-48. American Association for Artificial Intelligence, 1990.

WALLS, Joseph G.; WIDMEYER, George R.; EL SAWY, Omar A. Building an information system design theory for vigilant EIS. Information Systems Research, v. 3, n. 1, p. 36-59. Institute of Management Sciences, 1992.

atividades de avaliação e desenvolvimento assim como a revisão de aspectos relacionados ao problema (VAISHNAVI; KUECHLER, 2004).

Nesta direção, Van Aken; Berends e Van Der Bij (2012) apresentam o termo “redesign reflexivo”, que busca generalizar uma solução inicialmente desenvolvida para determinado tipo de problema, específico de uma organização ou setor de negócio, para proposições sobre um escopo mais amplo relacionado ao problema em questão (ver Figura 4.1). Venable (2006) aponta a importância para pesquisas em design science da generalização dos artefatos produzidos, com sua aplicação em outros contextos.

Ciclo de Solução de Problemas Fenômeno organizacional (tipo de problema das organizações) Soluções não tratadas adequadamente na literatura acadêmica Seleção de um problema organizacional, envolvendo uma ou mais empresas, com influência sobre o desempenho do negócio Análise e diagnóstico Coleta de dados e análise Literatura acadêmica Solução Desenvolvimento Implementação (quando possível, como piloto) Avaliação Reflexão acadêmica Formulação de proposições para desenvolvimento Pesquisas futuras

Figura 4.1 – Redesign reflexivo (fonte: VAN AKEN; BERENDS; VAN DER BIJ, 2012)

A avaliação é um componente crucial do processo de pesquisa, sendo que a utilidade, qualidade e eficácia do artefato desenvolvido devem ser demonstradas a partir de métodos de avaliação bem aplicados, incluindo aspectos relacionados a funcionalidade, completude, consistência, acurácia, desempenho, confiabilidade, facilidade de uso, adequação e integração às organizações e outros atributos de qualidade pertinentes (HEVNER et al., 2004). O artefato também pode ser avaliado quanto a seus custos, praticidade organizacional e outros critérios, inclusive com relação a outras potenciais soluções tecnológicas para alívio dos mesmos problemas enfocados (VENABLE, 2006).

Hevner et al. (2004) apresentam diversos métodos disponíveis para avaliação de artefatos criados em design science, sumarizados no Quadro 4.2, e aponta que a seleção do método de avaliação deve ser condizente com o artefato desenvolvido e com a métrica de avaliação selecionada.

Tipos de Avaliação Métodos de Avaliação

Observacional

Estudos de caso – Estudo do artefato em profundidade no ambiente relacionado ao problema

Estudos de campo – Monitoramento do uso do artefato em múltiplos projetos

Analítico

Análise estática – Exame da estrutura do artefato quanto a aspectos estáticos (por exemplo, complexidade)

Análise estrutural – Estudo de adequação do artefato quanto a sua arquitetura técnica

Otimização – Demonstração das propriedades ótimas inerentes ao artefato ou caracterização dos limites de excelência em sua aplicação

Análise dinâmica - Estudo do artefato em uso quanto a aspectos dinâmicos (por exemplo, desempenho)

Experimental

Experimento controlado – Estudo do artefato em ambiente controlado quanto a suas qualidades (por exemplo, utilidade)

Simulação – Uso do artefato com dados artificiais

Testes

Teste funcional – Aplicação do artefato em suas interfaces para identificação de falhas e defeitos

Teste estrutural – Aplicação de testes quantitativos para análise de resultados na implementação do artefato

Descritivo

Argumento informado – Uso de informações relevantes da base de conhecimento disponível para construção de argumentos convincentes sobre a utilidade do artefato

Cenários – Construção de cenários detalhados para aplicação do artefato a fim de demonstrar sua utilidade

Quadro 4.2 – Métodos de avaliação empregados em Design Science Research (fonte: HEVNER et al., 2004)

Segundo Hevner et al. (2004), métodos descritivos de avaliação devem ser utilizados para artefatos particularmente inovadores para os quais outras formas de avaliação não possam ser aplicadas, sendo que avaliações quantitativas dependem sempre da existência de uma métrica de análise apropriada.