Desde o início dos simuladores aplicados à administração de empresas foi identificada, embora não unanimemente (Ricciardi, 1957 apud Thavikulwat, 2004), a necessidade de existir algum tipo de avaliação de performance dos alunos durante a simulação.
4.5.1 Conceito e Importância de um Sistema de Pontuação
Anderson & Lawton (1992) propuseram que essa performance poderia ser pontuada por dois tipos distintos de medidas, às quais denominaram “medidas externas” e “medidas internas”. As medidas externas recaem em atividades como elaboração de planos de trabalho, apresentações expositivas, habilidade de estimar as consequências e resultados no processo de tomada de decisões, entre outras. Pelas suas características, as medidas externas estão fora de controle dos desenvolvedores de simuladores.
Já as medidas internas são constituídas pelo conjunto de resultados registrados no banco de dados do simulador e que representam o conjunto de decisões tomadas pelo aluno durante a simulação. Essas medidas internas implicam na existência de algum sistema de pontuação que as traduza em uma medida objetiva.
Thavikulwat (2004) traz uma ampla discussão sobre este assunto. Por um lado, afirma que uma vez que o simulador seja usado para verificação de ganho de conhecimento por parte dos alunos, é necessário desenvolver uma função matemática que forneça a pontuação e que tal função não gere confusão ou contradições. Por esse motivo, propõe que a função deve ser simples.
Por outro lado, aponta que existem alguns problemas para o estabelecimento da mesma. Entre outros: quantas e quais variáveis da simulação escolher como critério; que tipo de função escolher para calcular uma pontuação única; no caso de várias variáveis, para compor a função única, que pesos devem ser atribuídos às diferentes variáveis; como construir e aferir um padrão de comparação para decidir se determinado aluno teve desempenho satisfatório ou não.
Além disso, em muitos casos existem certos critérios de desempenho que são difíceis de serem expressos em números objetivos. Enquadram-se nesta condição: moral e ânimo dos “funcionários” da empresa simulada, representação de dilemas éticos na simulação e credibilidade do gerente da empresa simulada (no caso o aluno, no comando do simulador).
4.5.2 Discussão sobre a escolha de parâmetros
A seguir, a título de exemplo do afirmado acima, será feita a descrição de uma situação de escolha de critérios de pontuação. O exemplo foi baseado no artigo de Thavikulwat (2004), porém estendido pelo autor.
Tome-se um simulador total de empresa que seja classificado como Simulação Sediada no Computador (ver tópico 4.4.2). Normalmente, neste tipo de simulador o aluno assume o papel de CEO de uma empresa com a tarefa de dirigi- la. Para tal deverá tomar decisões.
Qual medida – leia-se sistema de pontuação – deverá ser adotada para aferir o desempenho do aluno?
Como se trata de uma empresa uma das primeiras variáveis da simulação que surge como alternativa de medida de desempenho é o faturamento. Tomado como valor absoluto, o faturamento pode ser um critério insípido, porém se tomado em relação a uma meta – algo como aumentar o faturamento em 15% em relação ao ano exercício anterior – tem-se algo forte. A questão que surge é: quem fixará a meta? Para respondê-la pode-se perguntar: quem fixa as metas em uma empresa? Essa tarefa cabe a um dentre os personagens: o Conselho de Administração; a Assembléias de Acionistas; o Sócio Majoritário que estabelece as metas das subsidiárias; ou o Proprietário da Empresa (que não tem subsidiárias). Nos três primeiros casos a meta seria imposta pelo simulador ao aluno e no último seria o próprio aluno que traçaria a meta.
Avançando na discussão, por quê o faturamento seria o melhor critério de medida? Pode-se argumentar que essa é uma variável muito comum usada para classificar empresas, critério importante para precificar uma empresa que esteja sendo vendida, etc. Mas do ponto de vista dos acionistas o lucro é uma variável muito importante e um alto faturamento não é sinônimo de lucro. Na prática o lucro é uma variável muito utilizada. Teach (1990) aponta que “a grande maioria de professores que usa simulações em suas aulas avaliam a performance das equipes com base de alguma função do lucro que a empresa simulada acumulou”. No entanto, o lucro tomado isoladamente também apresenta limitações, podendo-se citar:
b) pode distorcer o foco dos alunos criando um viés de visão de curto prazo (Teach, 1990), afinal podem-se tomar decisões de curto prazo que diminuam custos e elevem lucros de curto prazo, mas prejudiquem o desempenho da empresa no médio e longo prazo – por exemplo, o corte nas verbas de marketing;
c) é fortemente afetado por eventos fora do controle do administrador (p.ex. condições de mercado e custos de insumos);
d) é muito sensível a decisões ruins tomadas nos primeiros estágios da simulação, quando o aluno ainda não compreendeu totalmente como funciona o simulador.
Outra variável que pode ser tomada como medida de desempenho é a distribuição de dividendos. Os dividendos apenas serão distribuídos se a empresa apresentar lucro. Mas a opção de fazê-lo e em que quantidade é uma decisão a ser tomada ou imposta pelo jogo. Tal distribuição poderá passar a imagem de empresa saudável ou em dificuldades, mas há quem argumente que uma agressiva política de distribuição de lucros pode minar a capacidade de a empresa apresentar crescimento e gerar lucros futuros, pois os recursos distribuídos não poderão ser reinvestidos na empresa.
Pode-se ainda usar o valor da empresa medido pelo valor de suas ações. No entanto, essa solução implicará que na construção do simulador, também seja modelado e construído um mercado capitais simulado, o que pode introduzir complexidades indesejadas, além do fato de que o valor da ação da empresa também é muito sensível a fatores totalmente fora do controle do administrador (p.ex. conjuntura econômica e crises setoriais).
A participação de mercado da empresa é outra variável que pode ser usada. Neste caso é necessário que o simulador modele a própria empresa e a concorrência e tendo como foco os diversos produtos da empresa, cada um com sua posição no mercado em relação aos concorrentes. Quem irá gerir a concorrência? Existem duas abordagens: cada aluno pode estar à frente de uma empresa ou o computador simula a concorrência. No primeiro caso, existirá uma situação não muito realista – embora não crítica em termos de potencial de ensino – de várias empresas iniciando atividades em condições iguais, à mesma época. No segundo caso, o gestor da concorrência será um conjunto de algoritmos que não necessariamente representará um gestor muito brilhante dependendo da complexidade do ambiente simulado.
Por fim, deve-se apontar que é possível utilizar uma combinação linear de duas ou mais variáveis mencionadas acima, cada uma com respectivo peso, para estabelecer a pontuação final.
É momento de sintetizar essa discussão apontando que para cada simulador é necessário avaliar o propósito do mesmo (ver seção 4.3), levantar as variáveis significativas segundo esse propósito e estabelecer uma função que, como afirma Thavikulwat (2004) deve ser o mais simples possível para não induzir a confusões ou contradições.