Variáveis e métricas

Técnicas de monitoramento de redes sociais estão focadas diretamente para a mensuração das conversações online e comportamentos de usuários de acordo com variáveis e métricas. E qual a diferença entre variável e métrica?

Pode-se dizer que variáveis são construções eleitas por meio da tradição de pesquisas em determinados campo de estudos. São categorias há muito estabelecidas pelas quais observamos determinada amostra ou população. Desse modo, na área de ciências humanas, variáveis sócio-demográficas como sexo, faixa etária, classe social, etnia, região geográfica são frutos de vigência de anos de experiência empírica capazes de sedimentar parâmetros para observação de objetos de estudo em determinados campos do saber. Pode-se dizer que variáveis são produtos de culturas de conhecimento.

Métricas, segundo MILIC (2013), são frequências de atributos e referem-se a parâmetros estabelecidos por organizações ou empresas a fim de avaliar desempenho em determinadas áreas diante de metas já estabelecidas. Mensuração é o processo identificar métricas e atributos e o impacto exercido em campanhas ou crises. Para GRAWITZ (1981) quantificar significa igualmente mensurar:

medidor de comprimento. Nas ciências sociais, muitas vezes é chamado de medição, classificação de itens em uma ordem, um critério [...] em termos de significado, a diferença é real. Deve entender-se que a natureza da unidade que se conta deve corresponder à natureza do que está sendo medido. (GRAWITZ, 1981, p. 315).

Em recente pesquisa realizada por KOSINSKI et. al. (2013) com dados de 58.000 voluntários, vinculando atributos de “curtir” registrados a conteúdos publicados no Facebook a variáveis de perfil demográfico de usuários previu-se em 88% dos casos a opção sexual dos participantes e em 95% dos casos a etnia. Esses resultados nos informam, de maneira geral, a evolução e aperfeiçoamento de software de monitoramento ao relacionar variáveis a métricas ou atributos em comportamentos e conteúdos gerados por usuários. Demonstrou-se que idade, sexo, profissão, escolaridade, e até mesmo características referentes à personalidade de usuários podem ser identificadas com base rastreamento de interações em sites de redes sociais. Além disso, para os autores da pesquisa, a localização dentro de uma rede de amizades no Facebook mostrou-se atributo preditivo da orientação sexual de usuários:

Este estudo demonstra o grau em que registros digitais relativamente básicos do comportamento humano podem ser usados para automaticamente e com precisão para estimar uma ampla gama de atributos pessoais que as pessoas normalmente assumem ser privada. “Curtir” representa atributos genéricos de registros digitais, semelhantes às consultas em motores de busca na Internet, históricos de navegação, e compras com cartão de crédito". (KOSINSKI, et. Al., 2013, p. 5802).

Diante da enorme possibilidade de combinações de variáveis e métricas, organizações têm encontrado dificuldade em decidir, exatamente, quais delas são importantes para mensurar resultados de esforços estratégicos de divulgação implementados em sites de redes sociais. De acordo com MILIC (2013, p. 21), o mensuramento efetivo do resultado de ações de marketing precisa seguir os critérios:

1) Objetivos devem ser específicos, mensuráveis, realísticos e agendados acompanhando metas definidas em planejamento de marketing.

2) Mensuramentos efetivos raramente encontram-se confinados a uma única métrica, mas são resultantes da combinação delas.

3) Hipótese inteligentes auxiliam a dar sentido às métricas empregadas.

4) A medição é uma disciplina e funciona como fio condutor em uma organização. É importante estabelecer abordagens qualitativas e quantitativas, pois contribuem para uma visão holística da evolução de esforços empregados em publicidade social.

clientes em sites de redes sociais e gerenciar essa relação. Para tanto são definidos KPIs – ou indicadores de performance e produtividade “que compõem um conjunto de métricas fundamentais para o bem-estar das organizações, obedecendo a contextos e metas específicas para determinados tipos de negócios”, STERNE (2010, p. 4). Cada objetivo está atado a resultados de mensurações de audiências específicas, de acordo com PAINE (2011, P. 38)

O desenvolvimento de KPIs, segundo JACKSON (2009, p. 48), é algo trabalhoso, pois depende de reconhecimento e eleição de variáveis e métricas importantes para cada tipo de atividade. Buscando apresentar certo padrão para métricas a WWA – Web Analytics

Association desenvolveu termos e definições em relação a KPIs e, dentre eles, unidades

básicas de medida como frequẽncias de atributos, médias, dimensão, valor de tráfego, segmentaçao por período de tempo, tipos de comportamento de usuários. MILIC (2013, p. 21) mencionou a importância de se desenvolver KPI's seguindo alguns modelos de métricas para engajamento de audiência, alcance da conversação, lealdade, índices para tempo de respostas e satisfação de clientes, bem como indicadores para avaliar sentimentos e impacto de ideias. Existem KPIs específicos para indicadores de alcance, engajamento e influência, e quando bem definidos alimentam táticas e identificam procedimentos padrões bem sucedidos para campanhas em sites de redes sociais. De acordo com WAISEBERG e KAUSHIK (2009, p. 6) “bons” KPIs apresentam quatro atributos: 1) não são complexos; 2) são relevantes; 3) são oportunos; 4) podem ser utilizados instantaneamente.

A definição de métricas e desenvolvimento de KPI's auxiliam à mensuração do denominado ROI - retorno de investimento. Segundo PAINE (2011, p. 14) esse indicador pode ser calculado através da quantidade total de montante investido em esforços de campanha dividido pelo custo total de investimento. Trata-se do retorno líquido oriundo de vendas ou receitas, da redução de custos, evasão ou capital social.

DRULA (2012, p. 79) identificou e sintetizou modelos de métricas a partir esquemas propostos por empresas e vários especialistas de mercado, entre eles:

• _{Modelo Forrester Research (2011)}56_{: mesura conteúdos em sites de redes sociais sob}

a perspectiva de engajamento, envolvimento, interação, intimidade e influência para ambientes digitais. Inclui métricas para usuários fãs, amigos, membros, visitantes e para conteúdos tais como posts, comentários, sentimentos.

56 Fonte: ELLIOT, N.; McDAVID, J.; RILEY, E.; GLASS, S. (2011) Social media marketing metrics that

matter: communication the right data to different internal stakeholders. Forrester Report. Disponível em:

• _{Modelo Facebook Insights (2011): auxilia à visualização de desempenho de páginas} institucionais e fan pages na rede social, estabelecendo métricas tais como: alcance e engajamento do público, tipos de engajamento, viralidade de conteúdos. Métricas utilizadas para atividades de usuários são agrupadas em várias categorias, entre alas: número de interações totais + interações ao longo do tempo, amigos de amigos, pessoas que estão falando sobre determinado assunto, tipos de interações (curtir, compartilhar, comentar), tipos de conteúdos (texto, links, vídeos), número de fãs adquiridos ao longo do tempo, páginas vistas, impressões.

• _{Modelo em Bartholomew (2010): baseado em 4 tipos de atividades observadas pelo} autor: exposição (graus de exposição do conteúdo e mensagem); engajamento ( grau de interação com conteúdos), influência e tipos de ações. As métricas estão associadas ao modelo de conteúdos denominado PESO (Paid-Earned-Shared-Owned) que envolve esforços de mídia pagos, retorno de mídia oferecido e compartilhado pelo público em espaços institucionais dedicados à empresas como blogs, fan pages, perfis no Twitter.

• _{Modelo em Silva (2010): orienta medições para perfis de usuários, conteúdos,} atividades e links em sites de redes sociais. Cada uma dessas atividades adquire pesos diferentes. Conteúdos apresentam métricas de densidade, proximidade e funções. Links apresentam direções e ênfases. O autor associa métricas à sensibilização, influência e engajamento em plataformas de mídia social.

• _{Modelo Lovett e Owyang (2010)}57_{: baseado em diálogo, suporte, inovação e}

lealdade empressas por usuários em sites de redes sociais. Diálogo refere-se ao engajamento da audiência ou alcance de conversações. Lealdade ocupa-se de usuários mais ativos, influentes; suporte mensura índices de satisfação. Inovação mensura tendências, análises de sentimentos ou impacto de ideias. (DRULA, 2012, p. 80). • _{Modelo IAB (2009) - Interactive Advertising Bureau: mensura alcance, relação e}

relevância. IAB58 _{propõe 9 métricas para sites de redes sociais, 12 métricas para blogs} e 9 métricas direcionadas a categorias de aplicativos .

Segundo DRULA (2012, p. 80) muitas outras métricas são citadas no âmbito do

57 Fonte: LOVETT, J; OWYANG, J. Social marketing analytics: a new framework for measuring results in social media. Altimeter Report, 2010. Disponível em http://www.slideshare.net/jeremiah_owyang/altimeter- report-social-marketing-analytics Acesso em 25 jan. 2011.

58 Fonte: IAB. (2009) Social media ad metrics definitions. Disponível em http://www.iab.net/socialmetrics ou http://www.iab.net/media/file/SocialMediaMetricsDefinitionsFinal.pdf Acesso em 25 jan. 2011.

mercado. Em geral, cada uma assume diferentes perspectivas sobre conteúdos e comportamentos de usuários, tais como: métricas de compromisso social (filiação, conversa, utilidade, defesa, informação, identidade); métricas de desempenho da marca (qualidade, percepção, confiança na marca, recomendação); métricas específicas de comportamento e ação focada (engajamento, qualidade e concentração de público, impacto sobre o comportamento de compra, audiência real); atividade e engajamento em métricas de mídia social (membros, posts/tópicos, comentários, links, tags, votos, favoritos, perfis ativos, referências, frequência); métricas de sensibilização e de valor (fidelidade à marca/afinidade, fidelidade a canais de mídia, sentimento de posts, etc...).

Nesse estudo, gostaria de ressaltar para apenas três métricas específicas que podem auxiliam o campo da comunicação à compreensão acerca da profusão de atributos e variáveis relacionados a conteúdos e usuários. São elas: alcance, engajamento e influência.

1) ALCANCE: refere-se ao percentual de pessoas em determinado grupo que se quer afetar por meio de conteúdos específicos. Refere-se também ao percentual de determinada população que retém a mensagem, STERNE (2010, p. 16). Métricas de alcance podem ser investigadas on e offline e, frequentemente, estratégias de alcance utilizam outros canais na Internet e fora dela para disseminar conteúdos como motores de busca, banners, comerciais de TV, aplicativos em celulares. De acordo com PAINE (2011, p. 237) métricas de alcance examinam a circulação de mensagens e revelam a corbertura de determinados conteúdos diante das interações do público-alvo. Outros sinônimos para alcançe são: número de views (vistos por), número de impressões. É comum encontrar indicadores de alcance atrelados ao somatório de curtir + comentar + compartilhar ou somatório total de retweets e replies.

2) ENGAJAMENTO: “[...] é quando alguém ao mesmo tempo se importa e interage. E ambos são necessários”, STERNE (2010, p. 106). Métricas para cálculo de engajamento geralmente propõem níveis de interação ou ações de usuários entre salvar conteúdos, criticar, repetir, comentar, clicar, comprar, recomendar. KAUSHIK (2010, p. 57) define engajamento a partir de dois termos: grau de intensidade ou de envolvimento (positivo ou negativo), tipo (status emocional, crenças, simpatia, confiança, orgulho). Engajamento também pode ser identificado através de cálculo de médias relativas sobre interações de usuários com conteúdos diante do número de participantes de comunidades de fãs ao longo do tempo, PAINE (2011, p. 60). Por exemplo: número de "curtir", comentários e compartilhamentos calculado sobre o número total de fãs, seguidores ou visualizações em determinado dia. Enquanto indicador, possibilita

verificar a ação de usuários sobre o conteúdo divulgado nas redes sociais diariamente, além de monitorar tipos de posts que mais despertaram interesse. DRULA (2012, p. 81) acompanhou várias definições e cálculos de métricas de engajamento mencionadas especialistas no âmbito do mercado, entre elas:

– _{engajamento mede relacionamento, níveis de confiança;}

– _{engajamento é uma atividade contínua baseada em diferentes tipos de conversação,} tais como responder a conteúdos e por meio de diferentes tipos de ações de apoio como “curtir”;

– _{índices de engajamento são calculados para um post ou página através do número de} interações (curtir, comentar, compartilhar) dividido pelo número de fãs e, o resultado, deve ser dividido pelo número de posts total da página. O cálculo de engajamento pode ser efetuado por período de tempo, mensal ou semanal;

– _{índices de engajamento dependem de comportamento e do tamanho da audiência;} – _{muitos fãs ou seguidores e volume de curtir resultam em índices de engajamento .}

Para JENKINS; FORD e GREEN (2013, p. 60) o termo engajamento reverbera o discurso da indústria que busca novas maneiras de modelar, medir e monetizar ações do público em rede ao mesmo tempo que reconhece interesses próprios de comunidades formadas pela audiência.

3) INFLUÊNCIA: métricas que referem-se ao contexto e posição de usuários em rede. A mensuração de influência ressalta duas instâncias: disseminação da opinião e ação de usuários (liderança). Para DRULA (2010, p. 81) métricas de influência são, geralmente, organizadas a partir de três valores: verdadeiro alcance dos usuários, refere-se a quantas pessoas o usuário influencia; amplificação do usuário, refere-se à intensidade da influência; e impacto na rede do usuário, refere-se ao poder de influência da rede em que o usuário se localiza. Klout

Score59 _{é o mais citado indicador de influência nos dias atuais. A influência mensura, de certa}

maneira, qualidade das interações, ou seja como usuários reagem a mensagens e como agem na intenção de compartilhar essas mensagens. Para JENKINS, FORD e GREEN (2013, p. 80) Influência é um dos maiores mitos da Web 2.0. Leva em conta grande variedade de atributos de usuários como número de seguidores, menções e retweets, frequência de conteúdos. Essa talvez seja uma das métricas mais complexas desenvolvidas para análise de usuários e conteúdos em sites de redes sociais, pois considera a correlação entre a performance dos

atores e propagação da informação em meio ao movimento dinâmico da rede. Segundo STERNE (2010, p. 51) essa métrica relaciona tamanho da audiência, grau de conexão e poder de voz de usuários, autoridade, em contextos específicos. Compreender como a influência funciona beneficia o desenvolvimento de aplicativos de recomendação, coleta de informações e estudo de viralidades no marketing. LIU et. al. (2012, p. 512) mencionam que resultados de reconhecimento de “influenciadores”, usuários mais ativos e com grande número de amigos dependem diretamente do local, qual site de rede social está se considerando na análise. Assumindo que usuários com interesses similares possuem uma forte influência entre si, e que usuários cujas atividades frequentemente se correlacionam possuem forte influência entre si, é possível criar modelos probabilísticos para processos generativos de influência. Mas esse parece ser apenas o início do problema para empresas que desejam empregar estratégias de marketing utilizando indicadores de influência. Ironicamente, como demonstraram LIU ET. AL. (2012, p. 512), influenciadores estão entre os usuários mais difíceis de se influenciar, pois recebem grande volume de informação oriundo da imensa rede de amigos que conquistaram em sites de redes sociais. MASHHADI; BEN MOKHTAR e CAPRA (2009) descreveram o fenômeno da pervasividade na computação social e o desafio de se criar algoritmos que satisfaçam critérios como escolhas e preferências de usuários nas redes sociais, visando, sobretudo alcançar preditivas de influência e propagação múltipla nas relações. Nesses modelo, ações dos usuários são concatenadas a partir de condições previamente estabelecidas que podem ser descritas como: para cada usuário x', associado a um determinado documento

d', que apresentar a palavra i, correlacionar com outros usuários que apresentam as mesmas

propriedades e elaborar um tópico baseado na proporção entre a probabilidade de inovação ou influência. Combinatórias probabilísticas e algoritmos têm sido instâncias utilizadas para se calcuar o grau de influência, mas há vários níveis de influência para usuários dependendo da rede em que se encontra:

Certamente, pessoas exercem diferentes graus de influência. Todos nós tomamos recomendações de fontes confiáveis desde estranhos a peritos mais neófitos. No entanto, essa influência tipicamente é contextual e temporal, dependendo do assunto, da credibilidade do emissor, e de variedade de outros fatores. Claro, existem influenciadores, mas o que esses influenciadores representam pode mudar substancialmente a partir de uma situação ou tópico.

(JENKINS; FORD; GREEN, 2013, p. 81).

Em estudos sobre influência no site de rede social Facebook, ARAL e WALKER (2012, p. 342) descobriram que indivíduos que relatam seu sexo como sendo “masculino” são

significativamente menos suscetíveis de influenciar do que os indivíduos que não informaram o gênero. Suscetibilidade à influência aumenta de forma não linear com o número de notificações recebidas. A susceptibilidade de um indivíduo para influenciar aumenta com o nível de comprometimento relatado no status de relacionamento relatado: aqueles que mencionam “casado” (em relação ao indivíduos que não informam status de relacionamento), com a susceptibilidade aumentando de solteiro para noivos. Os indivíduos que relatam status de relacionamento como casados não parecem ser significativamente sensíveis à influência. Finalmente, indivíduos que relataram status de relacionamento como “complicado” são os mais suscetíveis à influência de seus pares.

Em estudo sobre influência no Twitter a partir de menções e retweets por tópicos e períodos de tempo, CHA et. al (2010, p. 16) demonstraram que usuários influentes, geralmente, apresentam esse poder de voz para vários tópicos com os quais estão envolvidos. Em relação ao período de tempo de influência, o estudo demonstrou que a influência veículos de comunicação e empresas encontra-se disseminada na rede social enquanto a influência de celebridades restringe-se ao seu público específico. Os autores observaram que a influência de usuários não é conquistada espontaneamente ou por acidente, mas concentra esforços no sentido de se manter ou aumentar. Isso demonstra que usuários influentes possuem um comportamento que pode ser mais previsível que demais usuários da rede social o que facilita a mensuração e identificação de influenciadores emergentes.

Em meio à variedade de métricas disponíveis no mercado para se calcular matematicamente a potência de CGUs e relacionamentos entre usuários, parece haver recorrência de uma crítica comum entre consumidores do métdodo de monitoramento e suas técnicas: o problema da imprecisão. Esse é um problema antigo enfrentado pelas ciências que se ocupam do comportamento humano, como apontou BABBIE (1999):

O ato de medir é outro exemplo dos problemas.[...] Claramente a situação enfrentada pelos cientistas sociais requer uma compreensão mais sofisticada de conceituação e medição. A multiplicidade de variáreis relevantes e a natureza complexa e probabilística de causação no comportamento social pedem um entendimento mais sofisticado do que a ciência realmente é. (BABBIE, 1999, p. 89).

No caso de métricas aplicadas a variáveis, GREENBERG (2011, p. 71 e 72) observa que o ato de capturar, organizar e expor dados difere segundo técnicas de monitoramento e, consequentemente interfere nos resultados, segundo ações humanas ou não. Distintas avaliações de variáveis, considerações acerca da relevância de conteúdos e o caráter comercial

e estrutural de software que pode omitir resultados são principais causas de imprecisão na análise de conteúdos monitorados, segundo PAINE (2011, p. 27-28).

Para GRAVITZ (1981, p. 318) a precisão de instrumentos metodológicos é definida por sua sensibilidade a mudanças que devem ser registradas. No caso das ciências sociais refere-se à precisão de um indivíduo em relação àquilo que se quer medir. Validade, confiabilidade e precisão estão intimamente relacionadas, mas a natureza da medida não nos pode fazer “defensores” da precisão. É nesse mesmo sentido que pode-se dizer que cientistas sociais “criam” dados ao eleger atributos e variáveis que podem ser representativas de uma população sob determinada perspectiva, enquanto seguindo outras diretrizes ou objetivos de pesquisa tornam-se nulas:

Neste sentido, os cientistas nunca coletam dados, eles criam dados.[...] Quando faz várias perguntas e combina as respostas num índice que se chama classe social, você criou uma medida de classe social; você realmente cria um agrupamento e uma hierarquia de classe social entre seus respondentes. Você não descobriu, apenas um agrupamento e uma hierarquia que já exixtia, num sentido real. Talvez as medidas criadas tenham utilidade, ajudando-o a entender os dados ou ajudando-o a desenvolver teorias sobre classes sociais. Entretando, não tem sentido perguntar se você realmente mensurou classe social, num sentido válido em última análise, porque o conceito só existe em nossas mentes. (BABBIE, 1999, p. 181).

A crítica sobre precisão de técnicas de monitoramento parece recair, sobretudo, sobre software dedicados ao processamento e análise de linguagem natural e na instância de pesquisa em resultados de crawlers para buscas por palavras-chave. SPONDER (2012, p. 225) relata a regra do 75% de confiabilidade para técnicas pagas que realizam análise automática de sentimento60_{. No caso de técnicas gratuitas, o percentual de confiabilidde pode ser reduzido} para até 50%, segundo o autor. Clientes que migram de serviços de plataformas para outros sistemas de monitoramento, por exemplo, irão descobrir que nenhum dos dados precisos irá