3. CAPÍTULO 3: METODOLOGIA
3.4. FASES E ETAPAS DA PESQUISA
3.4.1. FASE 1 – IDENTIFICAÇÃO DAS VARIÁVEIS DO MODELO CONCEITUAL
Esta fase foi de caráter predominantemente exploratório, tendo como objetivo principal compreender a teoria que embasa as práticas de gestão, bem como a importância dos recursos organizacionais para a tomada de decisão, considerando o ambiente das Instituições de Ensino Superior e ainda as formas de mensuração de performance. Desta forma, ao observar o modelo conceitual da pesquisa (Figura 4), percebe-se um alinhamento com o objetivo proposto: Avaliar a influência das práticas de gestão (Variáveis Independentes) na performance(Variáveis Dependentes)das Universidades Federais brasileiras, sob o efeito moderado de recursos
organizacionais (Variáveis Moderadoras). Esta fase foi composta por três etapas em que cada uma envolveu uma pesquisa bibliográfica relacionadas com as variáveis componentes do modelo conceitual proposto.
3.4.1.1. Etapa 1 – Revisão bibliográfica sobre Práticas de Gestão, em seu estado da arte, e Melhores Práticas de gestão.
A primeira etapa da pesquisa tratou-se de um estudo sobre prática de gestão baseada em uma revisão bibliográfica do estado da arte sobre as das práticas de gestão, bem como as melhores práticas de gestão e termos associados à “elevada educação” e “educação elevada”. Para tanto, foram consultadas referências clássicas no assunto, além de livros e publicações científicas relevantes que abordam o tema, disponíveis em bases de pesquisa como Emerald, Google Acadêmico e Science Direct, entre outras.
O objetivo principal desta etapa foi elencar as melhores práticas de gestão já utilizadas pelas universidades brasileiras. Esta pesquisa partiu de um gap na literatura sobre este objeto de investigação. Com isso, foi realizada uma pesquisa bibliográfica ampla em artigos publicados nas últimas duas décadas a fim de identificar as práticas de gestão nas universidades. Esta busca se deu de forma sistemática com o intuito de referenciar uma listagem das práticas de gestão identificadas na literatura. Para isto, com base na pergunta chave da pesquisa, foram definidos alguns termos de busca relacionados a temática sobre práticas de gestão no contexto universitário. O Quadro 6 apresenta a intenção dos tempos de busca.
Quadro 6 - Intenção dos Termos de Busca para localizar as práticas de gestão
INTENÇÃO DOS TERMOS DE BUSCA PARA PESQUISAR ESTUDOS QUE CONTENHAM AS PRÁTICAS DE GESTÃO UNIVERSITÁRIAS TB1 - Práticas de Gestão
TB2 - Práticas de Gestão AND Empresas
TB3 - Práticas de Gestão AND Instituições Públicas
TB4 - Práticas de Gestão AND Instituições de Ensino Superior TB5 - Práticas de Gestão AND Universidade
TB6 - Melhores Práticas de Gestão
TB7 - Melhores Práticas de Gestão AND Empresas
TB8 - Melhores Práticas de Gestão AND Instituições Públicas
TB9 - Melhores Práticas de Gestão AND Instituições de Ensino Superior TB10 - Melhores Práticas de Gestão AND Universidade
Com a intenção dos termos de busca definidos, a etapa seguinte foi a definir os termos de busca no idioma escolhido (Inglês). Com o objetivo de reduzir às variações numéricas, foram observadas a existência de diferenças nos resultados quanto aos termos pesquisados. Desta forma, para evitar a perda de informações relevantes, os termos utilizados em inglês foram desmembrados em função de sua variação substantiva. O Quadro 7 apresenta os termos de
busca traduzidos e adaptados que foram utilizados para localizar estudos que continham as práticas de gestão.
Quadro 7 - Termos de Busca Traduzidos e Adaptados
TERMOS DE BUSCA PARA PESQUISAR ESTUDOS QUE CONTENHAM AS PRÁTICAS DE GESTÃO UNIVERSITÁRIAS TB1 - "management practice"
TB2 - "management practices"
TB3 - "management practice" AND "business" TB4 - "management practices" AND "business" TB5 - "management practice" AND "public sector" TB6 - "management practices" AND "public sector" TB7 - "management practice" AND "higher education" TB8 - "management practices" AND "higher education" TB9 - "management practice" AND "university" TB10 - "management practices" AND "university" TB11 - "best practice"
TB12 - "best practices"
TB13 - "best practice" AND "business" TB14 - "best practices" AND "business" TB15 - "best practice" AND "public sector" TB16 - "best practices" AND "public sector" TB17 - "best practice" AND "higher education" TB18 - "best practices" AND "higher education" TB19 - "best practice" AND "university" TB20 - "best practices" AND "university"
Os critérios de seleção adotados foram referentes à seleção dos estudos, tomando-se por base a pergunta tema desta pesquisa. Desta forma, foram estabelecidos limites que preservassem os estudos mais relevantes para o tema. O Quadro 8 mostra os critérios utilizados.
Quadro 8 - Critério de Seleção dos Estudos
Critério de Seleção de Estudos CS1 - Publicado entre 1997 a 2017 (Recorte Temporal)
CS2 - Os 100 primeiros listados na busca (Recorte de Importância do Estudo) CS3 - Escrito em Inglês (Linguagem Universal)
CS4 - O título deve conter alguma palavra do termo de busca CS5 - Abordar algum tipo de prática de gestão
CS6 – Estar Relacionado com o Tema Proposto por esta pesquisa
A necessidade de o artigo ser escrito em inglês foi um critério relevante, uma vez que este idioma possibilita ampliar o escopo de recortes teóricos sobre o tema em questão. Limitou- se ainda ao aspecto temporal da pesquisa. Afinal, é possível que práticas de gestão sejam atualizadas assim como tecnologias e formas de operação naturalmente evoluem. Desta forma, foram considerados os recortes teóricos dos últimos 20 anos. Além disso, foi definido como critério de relevância, a análise dos 100 (cem) primeiros estudos listados por cada busca em cada base, considerando que esgotar toda uma base de dados, através dos termos de busca
definidos, poderia inviabilizar este projeto de pesquisa, e ainda, verificou-se que quanto mais distante do primeiro colocado, menor relevância o título apresentou para o alcance do objetivo deste estudo. Também foi possível observar que a partir do centésimo resultado da pesquisa, os artigos não mais tratavam sob nenhum aspecto do objeto de estudo pesquisado.
Outro critério utilizado foi a verificação do título do artigo. Se o mesmo contivesse as palavras do termo de busca, então seria realizado o seu download, porém, caso houvesse alguma dúvida quanto ao título ou mesmo em caso negativo, seria realizada uma leitura do resumo. Na leitura do resumo seria então verificado se o estudo abordava ou não alguma temática relativa à prática de gestão. Se positivo, também seria feito o download deste estudo, caso negativo o artigo seria descartado.
Uma vez aplicados os critérios, e após verificar que o artigo não tinha qualquer relação com o tema objeto desta pesquisa, este seria descartado. Caso o artigo atendesse aos critérios, o download do mesmo seria realizado.
Uma vez atendidos os critérios, os artigos foram selecionados para uma leitura completa e minuciosa para averiguar se de fato estes tratavam sobre práticas de gestão. Em caso afirmativo, incluía-se em definitivo o artigo nas pastas de arquivamento. Por outro lado, não abordando às práticas, os artigos foram excluídos. A escolha da base de dados a ser consultada também se deu de forma criteriosa para a obtenção de artigos especializados sobre o tema da pesquisa. Verificou-se que a necessidade da base contemplar o registro temporal no recorte selecionado, e que abranger pesquisas nas áreas econômicas e sociais aplicadas, bem como permitir uma vasta representatividade conforme o termo de busca. Desta forma, duas bases de dados foram consideradas para pesquisas: Science Direct e Emerald. Neste sentido, numa fase preliminar foram identificados os artigos apresentados na Tabela 1.
Tabela 1 - Artigos Identificados na busca inicial
Artigos Identificados na busca inicial
Termo de Busca
Base de Dados Emerald Science Direct Total
TB1 - "management practice" 4.896 13.054 17.950
TB2 - "management practices" 11.654 61.442 73.096
TB3 - "management practice" AND "business" 3.764 4.671 8.435
TB4 - "management practices" AND "business" 10.184 17.110 27.294
TB5 - "management practice" AND "public sector" 706 648 1.354
TB6 - "management practices" AND "public sector" 1.959 2.365 4.324
TB7 - "management practice" AND "higher education" 442 423 865
TB8 - "management practices" AND "higher education" 1.010 1.689 2.699
TB10 - "management practices" AND "university" 9.187 47.788 56.975
TB11 - "best practice" 13.011 60.179 73.190
TB12 - "best practices" 11.872 47.140 59.012
TB13 - "best practice" AND "business" 9.711 15.817 25.528
TB14 - "best practices" AND "business" 9.358 20.025 29.383
TB15 - "best practice" AND "public sector" 2.087 2.600 4.687
TB16 - "best practices" AND "public sector" 1.468 2.411 3.879
TB17 - "best practice" AND "higher education" 1.483 2.002 3.485
TB18 - "best practices" AND "higher education" 1.589 2.579 4.168
TB19 - "best practice" AND "university" 9.222 37.095 46.317
TB20 - "best practices" AND "university" 8.868 33.300 42.168
Total 116.302 382.762 499.064
Logo após este procedimento, foram adotados os critérios de seleção de estudo previamente definidos, descartando 498.305 artigos (Tabela 2).
Tabela 2 - Artigos Descartados na Busca Inicial
Artigos Descartados na busca inicial
Termo de Busca
Base de Dados Emerald Science Direct Total
TB1 - "management practice" 4.869 13.037 17.906
TB2 - "management practices" 11.607 61.421 73.028
TB3 - "management practice" AND "business" 3.740 4.655 8.395
TB4 - "management practices" AND "business" 10.164 17.096 27.260
TB5 - "management practice" AND "public sector" 691 623 1.314
TB6 - "management practices" AND "public sector" 1.944 2.339 4.283
TB7 - "management practice" AND "higher education" 429 402 831
TB8 - "management practices" AND "higher education" 952 1.663 2.615
TB9 - "management practice" AND "university" 3.803 10.416 14.219
TB10 - "management practices" AND "university" 9.158 47.772 56.930
TB11 - "best practice" 12.978 60.172 73.150
TB12 - "best practices" 11.851 47.125 58.976
TB13 - "best practice" AND "business" 9.698 15.813 25.511
TB14 - "best practices" AND "business" 9.347 20.015 29.362
TB15 - "best practice" AND "public sector" 2.060 2.582 4.642
TB16 - "best practices" AND "public sector" 1.456 2.400 3.856
TB17 - "best practice" AND "higher education" 1.466 1.986 3.452
TB18 - "best practices" AND "higher education" 1.565 2.567 4.132
TB19 - "best practice" AND "university" 9.207 37.088 46.295
TB20 - "best practices" AND "university" 8.858 33.290 42.148
Embora este quantitativo apresente um valor expressivo, é preciso considerar que um mesmo artigo pode constar em diversos termos de busca. Assim, foram realizados downloads de 759 artigos (Tabela 3).
Tabela 3 - Artigos Baixados a partir da busca sistemática
Artigos baixados na Busca Inicial
Termo de Busca Base de Dados Emerald Science Direct Total TB1 - "management practice" 27 17 44 TB2 - "management practices" 47 21 68
TB3 - "management practice" AND "business" 24 16 40
TB4 - "management practices" AND "business" 20 14 34
TB5 - "management practice" AND "public sector" 15 25 40
TB6 - "management practices" AND "public sector" 15 26 41
TB7 - "management practice" AND "higher education" 13 21 34
TB8 - "management practices" AND "higher education" 58 26 84
TB9 - "management practice" AND "university" 28 8 36
TB10 - "management practices" AND "university" 29 16 45
TB11 - "best practice" 33 7 40
TB12 - "best practices" 21 15 36
TB13 - "best practice" AND "business" 13 4 17
TB14 - "best practices" AND "business" 11 10 21
TB15 - "best practice" AND "public sector" 27 18 45
TB16 - "best practices" AND "public sector" 12 11 23
TB17 - "best practice" AND "higher education" 17 16 33
TB18 - "best practices" AND "higher education" 24 12 36
TB19 - "best practice" AND "university" 15 7 22
TB20 - "best practices" AND "university" 10 10 20
Total 459 300 759
Após baixar os arquivos, promoveu-se uma verificação dos eventuais artigos que constavam como duplicados. Para isto, utilizou-se um software de verificação de arquivos duplicados (Auslogics Duplicate File Finder), que considerava nome e tamanho dos arquivos, juntamente com um software que listava o conteúdo das pastas (FileListCreator) e um editor de planilhas. Desta forma, foi reduzido para 555 artigos conforme Tabela 4 abaixo.
Tabela 4 - Artigos Baixados, mantidos após verificação de duplicidade
Artigos baixados, mantidos após verificação de duplicidade
Termo de Busca
Base de Dados Emerald Science Direct Total
TB1 - "management practice" 27 17 44
TB2 - "management practices" 30 8 38
TB3 - "management practice" AND "business" 15 12 27
TB4 - "management practices" AND "business" 8 6 14
TB5 - "management practice" AND "public sector" 9 19 28
TB6 - "management practices" AND "public sector" 11 17 28
TB7 - "management practice" AND "higher education" 11 14 25
TB8 - "management practices" AND "higher education" 37 11 48
TB9 - "management practice" AND "university" 20 2 22
TB10 - "management practices" AND "university" 29 16 45
TB11 - "best practice" 33 7 40
TB12 - "best practices" 21 15 36
TB13 - "best practice" AND "business" 5 4 9
TB14 - "best practices" AND "business" 6 7 13
TB15 - "best practice" AND "public sector" 26 15 41
TB16 - "best practices" AND "public sector" 11 8 19
TB17 - "best practice" AND "higher education" 16 14 30
TB18 - "best practices" AND "higher education" 22 6 28
TB19 - "best practice" AND "university" 4 5 9
TB20 - "best practices" AND "university" 6 5 11
Total 347 208 555
De forma resumida, os estudos identificados durante todo o processo de busca nas bases de dados foram classificados nas categorias a seguir:
a) Estudos identificados: Artigos que podiam ser incluídos na revisão. Identificados por meio da utilização das palavras-chaves conforme descrito anteriormente.
b) Estudos não selecionados: Artigos que não preenchiam os critérios de seleção definidos. Estes foram descartados após a verificação do seu título e/ou resumo desde que não possuíssem relação com o tema deste projeto.
c) Estudos selecionados: Artigos que preenchiam os critérios de inclusão definidos. Selecionados após a verificação do seu título e resumo por ter relação com o tema proposto para o trabalho.
d) Estudos Excluídos: Artigos selecionados, cuja análise após leitura completa, indicou que não possuía forte relação com o tema proposto, ou não agregavam de maneira geral;
e) Estudos Incluídos: Artigos que foram aproveitados de fato na revisão sistemática. Preenchiam os critérios definidos na revisão, além de serem
considerados relevantes para a pesquisa na área de escopo de práticas de gestão em IES.
Os critérios de classificação definidos para a seleção dos estudos foram:
a) Critérios de inclusão: Publicados entre 1997 a 2017 (Recorte Temporal). Os 100 primeiros listados na busca (Recorte de Importância do Estudo), escrito em inglês (Linguagem Universal), o título deveria conter alguma palavra do termo de busca, abordar algum tipo de prática de gestão. Deveria ter relação com o tema proposto por esta pesquisa.
b) Critérios de exclusão: Não estar relacionado ao tema; artigos duplicados existentes em diferentes versões. Artigos que não estavam disponíveis na versão completa.
Após a verificação dos 555 artigos, 212 artigos foram selecionados para extração das práticas de gestão conforme apresentado no Quadro 3 (constante no capitulo 2).
3.4.1.2. Etapa 2 – Revisão Bibliográfica Sobre Recursos Organizacionais O objetivo desta etapa foi identificar por meio de uma revisão bibliográfica os recursos como fatores moderadores de performance nas IES públicas federais. Assim como na etapa anterior, foram aplicados os mesmos procedimentos de busca, bem como a utilização das mesmas bases. Desta forma, foi realizada uma vasta pesquisa por publicações relevantes nas bases de pesquisa Emerald e Science Direct sobre o tema. Ao final foram identificados três recursos (financeiros/econômicos, humanos e tecnológicos) como moderadores da performance.
3.4.1.3. Etapa 3 – Estudo Sobre Performance Organizacional
Nesta etapa buscou-se, por meio de uma pesquisa bibliográfica, identificar as formas de mensurar a performance das IES. Da mesma forma que nas etapas anteriores, os mesmos procedimentos de busca e bases referenciadas foram utilizados. Ao longo desta etapa, foi identificado que as perspectivas do Balanced scorecard atendiam o objetivo de mensuração de performance, uma vez que seria possível promover resultados organizacionais em diferentes esferas (perspectivas), o que foi considerado apropriado para o desenvolvimento deste trabalho. Isto posto, adotou-se as quatro (4) perspectivas do Balanced Scorecard (BSC) como avaliadores de performance organizacional, a saber: perspectiva financeira, perspectiva dos clientes, perspectiva dos processos internos, perspectiva de aprendizagem e crescimento organizacional.
3.4.2. Fase 2 – Elaboração, Aplicação e Análise de um Questionário
Esta fase converge rumo ao cumprimento do objetivo proposto para este trabalho que é a avaliação da influência das práticas de gestão na performance das universidades federais brasileiras, sob o efeito moderado dos recursos organizacionais. Esta etapa está estruturada em seis etapas, que tem por base a execução de pesquisa exploratória (revisão bibliográfica), quantitativa, descritiva e levantamento, para análise de técnicas e métodos estatísticos, elaboração e aplicação de questionário e análise final dos resultados. Todas as etapas realizadas durante a Fase 2, possuem fundamentação nas etapas realizadas durante a Fase 1. As próximas seções apresentam de forma sistematizada cada etapa da fase 2.
3.4.2.1. Etapa 4 – Escolha e Aplicação do Método Estatístico para Agrupamento das Melhores Práticas de Gestão utilizadas no contexto universitário Considerando o elevado número de práticas de gestão identificado, foi necessário reduzir este quantitativo sem perder qualquer informação e tornar possível sua análise. Neste sentido, forma, utilizou-se o método de agrupamento por cluster. Segundo Basha e Kaliyamurthie (2017) e Hair et al. (2009), a técnica de agrupamento ou Cluster, arranja de forma automática, com base na similaridade entre os itens de um conjunto de dados em um grupo menor, sem que seja perdida a coerência entre eles. Desta forma, os conjuntos agrupados guardam uma grande homogeneidade interna (grandes semelhanças entres os itens de um grupo) e elevada heterogeneidade externa (pouca similaridade entre os grupos) (MACHADO, 2018). Segundo Singh et al. (2004), o agrupamento hierárquico de cluster é uma técnica bastante utilizada, e se dá pela composição sequencial do cluster, partindo do par mais similar de objetos, passo a passo, convergindo para a formação de clusters cada vez maiores. Este processo se repete até que se tenha apenas um cluster. Para representar graficamente este agrupamento, normalmente lança-se mão de um dendrograma, que fornece um resumo visual dos cluster obtido (SHRESTHA; KAZAMA, 2007 apud MACHADO, 2018). Segundo Rosa (2015), a técnica de agrupamento ou cluster mostra-se mais apropriada para este estudo, haja vista ser simples, robusta, econômica e eficiente.
Hair Jr. et al. (2009) e Rodrigues (2009) definem a análise de agrupamento ou cluster como um conjunto de técnicas multivariadas que visam aglomerar objetos (tudo o que se quer classificar), com base no grau de similaridade entre eles. Assim, os grupos/clusters formados possuem elevada homogeneidade interna – os elementos dentro do grupo são muito semelhantes - e elevada heterogeneidade externa – os elementos externos ao grupo apresentam baixa
semelhança. Para calcular o grau de similaridade entre os objetos a serem agrupados, usualmente utiliza-se uma função de distância (RODRIGUES, 2009).
Existem diversos métodos de agrupamentos, o agrupamento inicialmente foi realizado utilizando parâmetros definidos pelo software IRaMuTeQ (Interface de R pour les Analyses Multidimensionnelles de Textes et de Questionnaires) haja vista que apresentavam a função com a utilização dos métodos Ward e K-means. Embora o citado software tenha se mostrado adequado para promoção do agrupamento, preferiu-se os resultados apresentados no Software R, com Script baseado em trabalhos similares (ROSA, 2015; MACHADO, 2018) que será apresentado ao final desta pesquisa, uma vez que com o código puro foi possível definir a quantidade de agrupamentos, mantendo-se o método estatístico.
Para utilizar o método Ward foi preciso compreender alguns conceitos de mineração de dados para aferir os termos mais relevantes associados às práticas de gestão bem como quantificar as suas frequências. Para isso foi necessário realizar uma técnica chamada de “bag- of-words” (BOW), que Segundo Pires (2008), para sua consecução é necessário realizar quatro etapas essenciais, a saber: leitura, e conversão, extração e limpeza, contagem de termos e cálculo da frequência (MACHADO, 2018). Essas etapas foram detalhadas abaixo, considerando a aplicação nesta pesquisa:
1. Leitura: O arquivo contendo a lista de práticas de gestão será lido. Cada registro será compreendido como um documento que será utilizado na geração da BOW; 2. Extração: Cada documento terá seu conteúdo dividido em termos que equivalem
às palavras mais significantes. A principal contribuição dessa etapa está em “filtrar” caracteres e símbolos. Divide-se em três sub-etapas:
o Tokenização: Os documentos são reduzidos em termos. Delimitadores como espaços em branco entre os termos, quebras de linhas, tabulações, e alguns caracteres especiais são utilizados;
o Limpeza: desconsideram-se os termos desnecessário, conhecidos como stopwords. Este processo contribui no sentido de eliminar palavras tais como conjunções e preposições, deixando dessa forma, apenas termos que representem verdadeiramente o contexto do documento;
o Stemming: Este processo contribui na medida em que exclui variações morfológicas de uma palavra reduzindo assim a quantidade de índices que serão criados;
3. Contagem de termos: verifica-se a frequência com que os termos aparecem em cada documento. Ao final, esses dados são tabulados, sendo possível sua identificação e quantidade de ocorrências;
4. Cálculo da Frequência: os termos restantes compõem índices e suas frequências serão então calculadas. Este processo é feito de forma para que cada termo possua um grau de representatividade para o documento que foi indexado.
A partir dessas considerações, o agrupamento das práticas de gestão seguiu o processo abaixo.
1. Identificação das práticas de gestão na literatura; 2. Tratamento dos dados coletados na literatura:
o Remoção de todas as ocorrências de pontuação; o Remoção de stopwords de todas as práticas;
o Remoção de prefixos e sufixos, bem como a manutenção do radical das palavras que compõem cada uma das práticas (Stemming);
o Construção de uma matriz com os termos identificados. 3. Cálculo da distância Euclidiana entre os termos da matriz; 4. Agrupamento hierárquico utilizando o método Ward; 5. Plotagem dos dados com dendrograma;
6. Definição da quantidade de grupos para organização das práticas; 7. Classificação do grupo que cada prática de gestão pertence;
8. Elaboração das nuvens de palavras com os termos mais fortes em cada grupo. Ressalta-se que procedimentos similares foram realizados por meio de alguns softwares como SPSS Modeler, IRaMuTeQ e Atlas TI, porém, o procedimento descrito anteriormente foi desenvolvido por meio da ferramenta estatística R, e apresentou resultados satisfatórios. Os