CERTIFICAÇÃO DA VALIDADE DO INSTRUMENTO DE PESQUISA

Nesta subseção, serão apresentados os processos de certificação da validade do instrumento de coleta de dados utilizados nesta pesquisa. A escala selecionada, foi originalmente desenvolvida por Janssen, Castaldi e Alexiev (2016), baseada no framework teórico elaborado por Hertog, Aa e Jong (2010), com o intuito de ser uma ferramenta para mensurar as Capacidades Dinâmicas de Inovação de Serviços (DSICs) presentes nos diversos tipos e portes de organizações, preferencialmente, aquelas provedoras de serviços. Dado a abrangência geral do instrumento e o contexto no qual foi desenvolvido (Holanda/Europa), entendeu-se a necessidade de certificar a validade desta escala para a realidade específica das startups brasileiras provedoras de serviços.

A primeira etapa deste processo foi a tradução da escala do idioma inglês (Quadro 7) para o português (Apêndice A). Em seguida, realizou-se a tradução reversa português-inglês (Apêndice B). Estas traduções independentes (realizadas por distintos profissionais contratados, fluentes nos dois idiomas) foram importantes para comparar as versões e encontrar algumas distorções semânticas, as quais, caso despercebidas, poderiam enviesar a compreensão das variáveis pelos respondentes e consequentemente os resultados do estudo. Essas pequenas divergências estavam relacionadas, principalmente, à escala de desempenho. Para corrigir tais desvios, recorreu-se à reuniões com os tradutores, à literatura específica e também consultou- se o professor Janssen. Deste modo, dirimiram-se as dúvidas e elaborou-se uma nova versão da escala, em português (Apêndice C).

Essa nova versão da escala (em português), foi encaminhada para avaliação de dez pesquisadores brasileiros especialistas da área, dos quais, três retornaram a avaliação, com valiosas recomendações. Dentre as principais sugestões encaminhadas, destacam-se:

a) Rever a utilização de termos que são comuns no cotidiano das startups mas que possam não ser entendidos pelos respondentes. Sugeriu-se, por sua vez, colocar explicações após estes termos ou simplificar a linguagem;

b) Rever a escala para medir desempenho, pois esta poderia não ser compreendida pelas startups e nem estar aderente à realidade das mesmas; c) Realizar pré-teste para verificar o entendimento do instrumento pelos

respondentes.

As recomendações dos especialistas foram todas acatadas e as devidas adequações realizadas. Primeiramente, ajustou-se alguns termos empregados nas variáveis e, em seguida, buscou-se na literatura uma escala capaz de mensurar eficientemente o desempenho de startups. Nesta procura, chegou-se a pesquisa de Huang, Lai e Lo (2012), os quais utilizaram cinco variáveis para avaliação da situação financeira e da posição de mercado, especificamente de startups.

Ao analisar a escala encontrada verificou-se que, apesar de guardar certa semelhança com alguns itens do instrumento de Janssen, Castaldi e Alexiev (2016), a escala de Huang, Lai e Lo (2012) visa mensurar a percepção do gestor em relação à evolução do desempenho da sua organização, ou seja, compara o ano corrente com o ano anterior. Em contrapartida, a outra escala busca mensurar a percepção do gestor em relação ao desempenho da sua organização comparado ao de seus concorrentes no ano anterior, assim como, avaliar a composição do faturamento para compreender a participação de produtos inovadores na receita da organização. Dado a complementariedade destas escalas, optou-se por agregar os novos itens e mantê- los concomitantemente para, posteriormente, avaliar os resultados obtidos na análise dos dados coletados. O Quadro 8 apresenta as duas escalas supracitadas.

Assim que efetivadas as adequações sugeridas pelos especialistas, selecionou-se, por critério de conveniência, sete startups residentes nas incubadoras tecnológicas da Universidade Federal de Santa Maria para a realização do pré-teste. Nesta etapa, verificou-se a necessidade de outros ajustes semânticos assim como da inserção de parágrafos explicativos em algumas questões para elucidar termos técnicos, tal como o incluído na questão da identificação da fase do negócio, esclarecendo as características das fases “curiosidade”, “ideação”, “operação”, “tração” e “scaleup”. Com estes ajustes implementados, tem-se então a versão do instrumento que foi utilizada para a coleta de dados em âmbito nacional (Apêndice D).

Quadro 8 – Os construtos atualizados para mensuração do desempenho

CONSTRUTOS COM OS ITENS SUBJACENTES AUTORES

The average ROI of our company is better than the previous year.

Huan g, L ai e L o (20 12 )

The average profit rate of our company is better than the previous year. The average ROS of our company is better than the previous year.

The average market share growth rate of our company is better than the previous year. The average sales growth rate of our company is better than the previous year. Percentage of revenues coming from . . . (100% in total)

J an s s en , Cas ta ld i e A lex iev (20 1 6)

... unchanged goods and/or services ... improved goods and/or services … new goods and/or services

In comparison to our competitors . . . (7-point Likert scale)

... our organization generated a higher return on equity in the past year. ... we had more profit growth in the past year.

... we had more turnover growth in the past year. ... we had a faster growing market share last year.

Fonte: elaborado a partir de Huang, Lai e Lo (2012) e Janssen, Castaldi e Alexiev (2016).

Conforme descrito na seção anterior, na etapa de coleta de dados, participaram desta pesquisa 137 startups brasileiras distribuídas pelo território nacional, as quais forneceram os dados que serviram para as análises apresentadas a seguir. Para certificar a validade do dito instrumento no contexto das startups brasileiras provedoras de serviços, utilizou-se testes estatísticos segundo os parâmetros de Hair Jr. et al. (2010).

O primeiro teste realizado foi o de Kaiser–Meyer–Olkin (KMO) para verificar a adequação da amostra às variáveis, o qual gerou o valor de 0,753 com significância igual à 0,000 (Tabela 12). Esse resultado, em uma escala de 0 à 1, além de indicar a adequação da amostra (mínimo aceitável 0,50), é estatisticamente significante, dado que a significância deve ser menor que 0,05. Pode-se afirmar então que existem correlações suficientes entre as variáveis para continuar a análise.

Tabela 12 – Teste Kaiser-Meyer-Olkin (KMO)

TESTE VALOR

Medida Kaiser-Meyer-Olkin (KMO) de adequação da amostra 0,753 Teste de esferidade de Bartlett

Aprox. Qui-Quadrado 765,956

df 153

Sig. 0,0001

A partir da certificação da adequação da amostra coletada, seguiu-se para os testes que conferiram a validade convergente da escala, ou seja, a extensão pela qual os diversos itens de medida do mesmo construto estão relacionados. Para demonstrar esta validade, serão apresentados a seguir os resultados da análise fatorial. O primeiro critério verificado nesta análise foi o percentual de Variância Total Extraída acumulado pelos fatores sucessivos. Este teste tem como objetivo garantir a significância prática dos fatores determinados e que estes, consequentemente, expliquem pelo menos um montante especificado de variância. Não há consenso, segundo Hair Jr. et al. (2010), sobre o percentual mínimo que deve ser adotado como padrão nas pesquisas, entretanto o autor afirma que, em pesquisas sociais, geralmente admite-se o mínimo de 60% como satisfatório. A Tabela 13 apresenta o resultado da análise da Variância Total Extraída deste estudo.

Tabela 13 – Análise Fatorial: Variância Total Extraída

COMP. AUTOVALORES INICIAIS CARGAS CARGAS

Total %V %VA Total %V %VA Total %V %VA

1 4,551 25,283 25,283 4,551 25,283 25,283 2,700 15,000 15,000 2 2,476 13,758 39,042 2,476 13,758 39,042 2,393 13,294 28,294 3 1,502 8,344 47,386 1,502 8,344 47,386 2,387 13,261 41,555 4 1,242 6,902 54,287 1,242 6,902 54,287 1,787 9,925 51,480 5 1,029 5,718 60,006 1,029 5,718 60,006 1,535 8,526 60,006 6 0,931 5,175 65,181 7 0,869 4,826 70,007 8 0,768 4,264 74,271 9 0,754 4,187 78,458 10 0,632 3,513 81,971 11 0,609 3,383 85,354 12 0,532 2,954 88,308 13 0,491 2,728 91,036 14 0,437 2,427 93,463 15 0,382 2,122 95,585 16 0,349 1,940 97,525 17 0,275 1,529 99,053 18 0,170 0,947 100,000

Fonte: dados da pesquisa.

Nota: %V – percentual de variância. %VA - percentual de variância acumulada.

Os resultados expressos na Tabela 13 indicam que as variáveis do instrumento explicam 60,006% da variância em cinco fatores, ou seja, a modelagem de cinco

construtos proposta por Janssen, Castaldi e Alexiev (2016) está adequada também para o âmbito das startups nacionais, assim como no estudo original. Uma vez que verificou-se a adequação do modelo e que este explica o mínimo de variância cumulativa, coube analisar a correlação entre as variáveis originais e os fatores, no intuito de compreender a natureza destes em particular. Para isso, analisou-se as cargas fatoriais rotacionadas pelo método Varimax (Tabela 14), o qual proporcionou uma estrutura fatorial simplificada.

Tabela 14 – Análise Fatorial: Cargas Fatoriais rotacionadas (Método Varimax)

VARIÁVEL _FATORES CÓDIGO Nº F1 F2 F3 F4 F5 SensingA VAR01 0,041 0,830 0,058 0,051 0,098 SensingB VAR02 0,237 0,744 0,102 0,017 -0,050 SensingC VAR03 0,170 0,681 0,103 0,122 0,280 SensingD VAR04 0,142 0,119 0,193 -0,062 0,683 SensingE VAR05 0,110 0,198 0,042 0,018 0,837 SensingF VAR06 0,130 0,087 -0,029 0,112 0,835 ConcepA VAR07 0,846 0,177 0,101 0,083 0,158 ConcepB VAR08 0,722 0,102 0,074 0,064 -0,090 ConcepC VAR09 0,622 0,089 0,066 -0,064 0,176 ConcepD VAR10 0,625 0,102 0,006 0,074 0,149 CoprOrchA VAR11 0,080 -0,106 0,099 0,692 0,087 CoprOrchB VAR12 0,058 0,073 0,268 0,608 -0,048 CoprOrchC VAR13 0,090 0,304 0,170 0,575 0,245 ScaleStretchA VAR14 0,089 0,178 0,689 0,265 -0,028 ScaleStretchB VAR15 0,067 0,370 0,535 0,040 0,031 ScaleStretchC VAR16 0,140 0,178 0,491 0,091 0,301 ScaleStretchD VAR17 0,333 0,068 0,555 0,066 0,092 ScaleStretchE VAR18 0,119 0,195 0,661 -0,226 0,063 Fonte: dados da pesquisa.

A partir dos resultados da Tabela 14, pode-se confirmar que as variáveis apresentaram carga fatorial satisfatória (acima de 0,45) dentro dos construtos previstos no estudo original. Salienta-se que, assim como verificado no estudo de Janssen, Castaldi e Alexiev (2016), os seis itens do construto Detecção das Necessidades dos Usuários e Opções Tecnológicas também apresentaram carga fatorial em dois fatores distintos, logo, as variáveis “SensingA”, “SensingB” e “SensingC” passam a compor o construto Detecção das Necessidades dos Usuários

e as variáveis “SensingD”, “SensingE” e “SensingF”, o construto Detecção das Opções Tecnológicas.

Contudo, ao contrário do verificado no estudo original, as variáveis “ConcepB”, “CoprOrchA”, “ScaleStretchA” e “ScaleStretchE” apresentaram carga fatorial satisfatória dentro dos seus construtos (validade convergente) e diferenciaram-se suficientemente dos demais (validade discriminante). Deste modo, as ditas variáveis conservam-se na escala validada para o âmbito das startups brasileiras, ou seja, o instrumento, segundo a análise desta pesquisa, permanece com os 18 itens previstos no estudo original por Janssen, Castaldi e Alexiev (2016).

A variável “ConcepB”, especificamente, busca avaliar a capacidade das organizações em traduzir as “ideias brutas”, ou ainda, ideias incipientes geradas a partir da percepção de determinada demanda dos clientes, em serviços detalhados. Essa competência é frequentemente identificada em startups, nas quais o uso da criatividade para resolução dos problemas e desafios pode ser fator-chave para o alcance dos objetivos (FIGUEIRA, 2016). Neste sentido, faz-se importante a presença deste item na escala para mensuração desta capacidade.

O item “CoprOrchA” mensura a capacidade das organizações em iniciar e manter parcerias. Essas alianças são formadas com clientes, fornecedores, concorrentes e outros que, por sua vez, conferem a característica de coprodução aos serviços (HERTOG; AA; JONG, 2010). Os referidos parceiros, em razão desta colaboração, trocam acesso a recursos e vantagens de toda ordem, o que impulsiona ambos negócios. No contexto específico das startups, é comprovada a importância da formação de parcerias adequadas e sua influência no desempenho destas organizações (BAUM; CALABRESE; SILVERMAN, 2000), o que justifica, em conjunto com a análise estatística realizada, a continuidade deste item na escala.

A opção de manter a variável “ScaleStretchA” na escala, a qual detém-se a avaliar a capacidade da organização como um todo de alongar uma oferta de serviço, parece fundamentar-se, além do amparo estatístico, no fato de que as startups, de forma geral (ainda que não essencialmente), são organizações pequenas e flexíveis. Essas características, aparentemente, conferem a possibilidade a estas organizações de reconfigurarem-se mais facilmente para alongar uma oferta de serviço e, por isso, analisar esse item faz-se necessário para compreender a capacidade de escalonamento e alongamento das startups.

A última variável não-excluída, “ScaleStretchE”, verifica o grau de dificuldade das organizações em escalar um produto. No contexto avaliado, esse item é particularmente importante, pois escalar é uma condição sine qua non das startups: “uma startup é uma organização temporária em busca de um modelo comercial escalável, repetível e rentável” (BLANK; DORF, 2012, p. 13, tradução nossa). Posto isso, confirma-se então a composição da escala em dezoito variáveis, distribuídas em cinco construtos distintos.

Com vistas a verificar a robustez da composição dos fatores, examinou-se as comunalidades das variáveis, isto é, a quantia total de variância que cada variável original compartilha com as demais medidas do mesmo fator. Este teste corrobora para análise da validade convergente da escala, e para isso, utilizou-se o parâmetro de 0,50 como mínimo aceitável de variância explicada. A Tabela 15 apresenta os resultados encontrados.

Tabela 15 – Análise Fatorial: análise das comunalidade das variáveis

CONSTRUTO VARIÁVEL INICIAL EXTRAÇÃO

CÓDIGO Nº

Detecção das necessidades do usuário

SensingA VAR01 1,000 0,707 SensingB VAR02 1,000 0,622 SensingC VAR03 1,000 0,596 Detecção das opções tecnológicas

SensingD VAR04 1,000 0,542 SensingE VAR05 1,000 0,779 SensingF VAR06 1,000 0,735 Conceitualização ConcepA VAR07 1,000 0,725 ConcepB VAR08 1,000 0,608 ConcepC VAR09 1,000 0,434 ConcepD VAR10 1,000 0,429 Coprodução e orquestração CoprOrchA VAR11 1,000 0,513 CoprOrchB VAR12 1,000 0,524 CoprOrchC VAR13 1,000 0,563 Escalonamento e Alongamento ScaleStretchA VAR14 1,000 0,601 ScaleStretchB VAR15 1,000 0,649 ScaleStretchC VAR16 1,000 0,663 ScaleStretchD VAR17 1,000 0,550 ScaleStretchE VAR18 1,000 0,559 Fonte: dados da pesquisa.

A partir dos dados expostos na Tabela 15, afirma-se que todas as medidas apresentaram o mínimo de variância explicada, com a exceção das variáveis “ConcepC” e “ConcepD”, as quais expressaram comunalidades iguais à 0,434 e 0,429, respectivamente. Apesar do resultado do teste sugerir a exclusão destas medidas, optou-se por mantê-las na escala dado que ambas estão com comunalidades próximas aos limites mínimos e possuem carga fatorial significativa iguais à 0,622 e 0,625, nesta ordem (Tabela 14).

Visto que as variáveis possuem correlação consistente (comunalidades), coube ainda realizar o teste de confiabilidade que permitiu avaliar a consistência dos construtos. Para este fim, selecionou-se o coeficiente mais utilizado, o alpha de cronbach. Os resultados deste índice variam entre 0 e 1, sendo o limite inferior aceitável igual à 0,60. Entretanto, cabe destacar que, quanto mais próximo à 1,00, maior é a consistência interna das variáveis que formam os fatores. A Tabela 16 apresenta um comparativo entre os níveis de confiabilidade obtidos neste estudo e na pesquisa original de Janssen, Castaldi e Alexiev (2016).

Tabela 16 – Análise de Confiabilidade: coeficiente Alpha de Cronbach

FATOR ANALISADO (CONSTRUTO) ALPHA DE CRONBACH

α1 α2

Detecção das necessidades do usuário 0,706 0,753

Detecção das opções tecnológicas 0,694 0,776

Conceitualização 0,671 0,813

Coprodução e orquestração 0,656 0,748

Escalonamento e Alongamento 0,722 0,748

Desempenho Organizacional (HUANG; LAI; LO, 2012) 0,980 * Desempenho Organizacional (JANSSEN; CASTALDI; ALEXIEV, 2016) 0,977 * Fonte: elaborado a partir de dados da pesquisa e de Janssen, Castaldi e Alexiev (2016).

Nota: “α1” corresponde ao nível de confiabilidade das variáveis nesta pesquisa. “α2” corresponde ao nível de confiabilidade das variáveis na pesquisa de Janssen, Castaldi e Alexiev (2016). *Dado não apresentado / não analisado na pesquisa.

A partir dos dados de confiabilidade apresentados, pode-se afirmar que a consistência interna dos construtos está dentro dos limites aceitáveis e, em alguns dos casos, em patamares semelhantes aos aferidos no estudo original. Salienta-se, especialmente, a alta confiabilidade verificada nos dois construtos de desempenho organizacional, de Huang, Lai e Lo (2012) e Janssen, Castaldi e Alexiev (2016), os quais obtiveram α=0,980 e α=0,977, respectivamente.

Em síntese, os resultados das análises estatísticas ora apresentadas sugerem que: (1) a amostra coletada é adequada e consistente para as análises (teste KMO); (2) o modelo de cinco fatores é apropriado para congregar as variáveis da escala (análise da Variância Total Extraída); (3) as variáveis de cada fator são convergentes entre si e divergem suficientemente dos demais fatores (análise das Cargas Fatoriais rotacionadas); (4) as variáveis dos construtos compartilham uma proporção de variância (correlações) satisfatória entre si (análise das comunalidades); e (5) os construtos são suficientemente consistentes (análise da confiabilidade).

A partir destas afirmações, conclui-se que foi alcançado o objetivo específico de certificar a validade do instrumento de coleta de dados para o contexto estudado. Essa constatação é importante para legitimar os resultados oriundos da aplicação da escala neste rol de organizações e, permitiu assim, que o prosseguimento das análises que proferiram a validade nomológica (objetivo específico “e”) que é apresentada nas seções sequentes.