Acurácia dos testes de olfato

5.2.4.1 Regressão Logística baseada na regressão linear

Neste modelo de regressão, foi utilizado o diagnóstico como variável dependente e, como covariáveis, foram incluídas, para cada teste, as variáveis que foram significativas na regressão linear múltipla.

Assim, para o SS16, as covariáveis incluídas foram a pontuação no teste de olfato e a pontuação no MoCA, das quais, no entanto, apenas a pontuação no teste de olfato foi significativa (teste de olfato: p=0,001; MoCA: p=0,15). Já no SS16-Child, além das variáveis incluídas no modelo do SS16, foi também adicionada a variável “sexo”, tendo, no entanto, sido significativa apenas a pontuação no teste de olfato (teste de olfato: p<0,001; MoCA: p=0,077; sexo: p=0,174).

5.2.4.2 Regressão Logística baseada no modelo de Silveira-Moriyama53

A regressão logística, que incluiu como variável dependente a variável “diagnóstico” e, como covariáveis, a pontuação no teste de olfato, sexo, grupo etário e tabagismo, demonstrou que apenas a variável “pontuação no teste de olfato” foi preditora da correta classificação dos sujeitos em controles ou parkinsonianos (p=0,001 para o SS16 e p=0,002 para o SS16-Child).

5.2.4.3 Sensibilidade e especificidade

Através da curva ROC, foram determinados os pontos de corte que combinassem os maiores valores de sensibilidade e especificidade dos testes SS16 e SS16-Child, bem como os valores para a área abaixo da curva (AUC). Como, no presente estudo, nenhuma variável foi preditora para a classificação dos sujeitos, além da própria pontuação nos testes de olfato (conforme demonstrado na regressão logística apresentada nos itens anteriores), os pontos de

corte para os testes foram determinados de forma independente (sem considerar pontos de corte diferentes para idade ou sexo, por exemplo).

Desta forma, para o SS16, duas possibilidades foram observadas: (i) ponto de corte de 10,5, com sensibilidade de 76% e especificidade de 80%; (ii) ponto de corte de 11,5, com sensibilidade de 84% e especificidade de 76%. A curva ROC para este teste está reproduzida na Figura 20.

Figura 20 - Curva ROC para o SS16

Curva ROC representando a relação entre a sensibilidade e 1- especificidade do teste, a qual deixa uma área abaixo da curva (AUC) de 80%.

Quanto mais próxima a 100% é a AUC, mais perfeita é a curva ROC (maior sensibilidade e especificidade do teste)

Fonte: Dados do autor

Para o SS16-Child, a curva ROC demonstrou que, para o ponto de corte de 13,5 (também independentemente da idade e sexo do sujeito), houve sensibilidade de 80% e especificidade de 84%, conforme pode ser visto na Figura 21.

Figura 21 - Curva ROC para o SS16-Child Curva ROC representando a relação entre a sensibilidade e 1- especificidade do teste, a qual deixa uma área abaixo da curva (AUC) de 82%.

Quanto mais próxima a 100% é a AUC, mais perfeita é a curva ROC (maior sensibilidade e especificidade do teste)

5.3 Discussão

A principal modalidade de testes olfatórios utilizada clinicamente é a de identificação de odores, devido à facilidade e à rapidez na aplicação, além das evidências científicas de acurácia no diagnóstico da DP, conforme demonstrado no capítulo 453,116_{. Estes}

testes, porém, são altamente dependentes de fatores culturais e, por isso, necessitam ser adaptados às culturas/ regiões em que serão aplicados. Para o Brasil, existem adaptações do UPSIT e do SS16 e ambos já tiveram sua acurácia avaliada para a DP (82,8% e 85,3%, respectivamente)53,57, porém, a porcentagem de identificação de cada item nessa população foi baixa. No caso do UPSIT, o item com maior porcentagem de acertos entre os sujeitos com DP foi a canela (60%) e 7 dos odores contidos no teste (17,5%) não tiveram diferença significativa na média de acertos entre grupo controle e parkinsonianos. Para o SS16, o item com maior reconhecimento em parkinsonianos foi o alho (66%) e 11 dos itens (68,7%) tiveram uma taxa de identificação inferior a 50%. Além disso, entre controles, 7 itens tiveram índice de acertos abaixo dos 75% recomendados pelos criadores do Sniffin’ Sticks54.

Isso demonstra que, ainda que a sensibilidade e a especificidade da versão brasileira do SS16 sejam altas para o diagnóstico da DP, este teste ainda não está bem adaptado à população brasileira. Assim, este estudo buscou preencher esta lacuna adicionando figuras ao teste e tornando os itens mais contrastantes, o que garante ao teste maior adequação cultural.

Em um estudo prévio com 46 pessoas, os 16 itens deste teste tiveram uma média de reconhecimento de 99,5% em controles55,56. Entre os 25 controles do presente estudo que realizaram esta versão do teste, novamente houve um alto reconhecimento dos itens, sendo todos reconhecidos por mais de 75% dos controles, conforme recomendado54. Além disso, 8 itens do SS16-Child (50%) tiveram média de acertos significativamente superior à do SS16, demonstrando, mais uma vez, que esta versão do teste foi melhor identificada pelos participantes.

O item 11 dos testes (maçã), por exemplo, teve alta taxa de reconhecimento no SS16-Child (92%), mas no SS16, foi o item com menor identificabilidade em controles (16%) e outros estudos com o SS16 também demonstraram essa baixa identificabilidade. No estudo de Silveira-Moriyama et al.53, este também foi o item com a mais baixa taxa de identificação em controles (32,2%), bem como no estudo realizado no sul do Brasil por Santin et al.145 (20%). No estudo de Rodríguez-Violante et al.137, embora o anis tenha sido menos reconhecido que a maçã, a taxa deste último item também foi baixa (entre 20 e 30%). As taxas de reconhecimento

mais altas encontradas para este item foram nos estudos de Mahlknecht et al.150 (49,1%), em população da Áustria e Itália (porém, quando aplicado na Holanda, este índice foi de 15,3%), e de Silveira-Moriyama144 (49%), entretanto, como a identificação de odores é fortemente influenciada por fatores culturais, é esperado que tais variações ocorram em países diferentes137. Ainda assim, no entanto, estes valores estão abaixo dos 75% recomendado e isto pode ter ocorrido pelo fato de o item correto ser mais parecido com os distratores, uma característica que o SS16-Child, quando do estudo de adaptação, buscou alterar.

Um achado interessante deste estudo é que, com o uso de distratores mais contrastantes, a taxa de identificação entre parkinsonianos também aumentou, com uma média geral de reconhecimento que subiu de 50% no SS16 para 70% no SS16-Child. Além disso, quando comparada a taxa de reconhecimento dos itens entre os dois testes para cada um dos grupos (DPs e controles), 9 itens (56,25%) tiveram uma diferença percentual de reconhecimento maior entre os testes nos parkinsonianos do que nos controles (conforme visto na Tabela 10, página 62).

Esta alta identificabilidade observada no SS16-Child é um achado importante, pois sugere que os parkinsonianos possuem capacidade de reconhecimento olfativo, ainda que reduzida, a qual se torna evidente quando opções muito contrastantes são apresentadas em alternativa à correta em um teste de olfato. Doty83 já havia afirmado que a DP cursa com um déficit olfativo, porém não com a perda completa desta habilidade e Morley et al.171 constataram que parece não haver danos a receptores ou canais específicos, nem a nível periférico, nem central, afirmações estas que sustentam os resultados deste estudo.

Outro achado relevante deste estudo foi a correlação encontrada entre o desempenho olfativo e a duração da doença para o SS16-Child. Embora grande parte da literatura relate não haver correlação entre estas variáveis20,22,25–28,107,152,172,173, é possível que a utilização de um teste com alto poder de identificação pelos parkinsonianos tenha tornado este teste sensível à mudanças. A sensibilidade à mudanças diz respeito à capacidade de um teste em identificar mudanças em determinados aspectos em uma análise prospectiva174 _{e é possível}

presumir que um teste que seja complexo para parkinsonianos em estágio inicial da doença, como são os testes de olfato existentes, assim continuará durante a progressão de seus estágios, sendo incapaz de detectar tal variação. Tal raciocínio é válido ao observar que, em amostra do mesmo estudo, o SS16, aplicado conforme a versão brasileira original, não demonstrou correlação com a duração da doença, mesmo ambos os grupos tendo valores similares para esta variável (diferença não significativa para a duração da doença entre o SS16 e o SS16-Child). É

importante ressaltar que a correlação observada neste estudo estava ajustada para a idade, um fator que é responsável pelo declínio olfativo e que, se não considerado na correlação, poderia ser a causa dela, uma vez que, ambas as variáveis aumentam em mesma proporção.

Tal achado também se sustenta ao observar os resultados em base de dados independentes à nossa (mais detalhes no capítulo seguinte). Com a base de dados de Silveira- Moriyama53 (estudo realizado no Brasil) fornecida pelos autores, foi criada uma nova escala do UPSIT, apenas com odores mais reconhecidos pelos parkinsonianos, e a correlação desta nova escala com a duração da doença não foi significativa. Por outro lado, com outra base de dados57

(estudo realizado no Reino Unido), também foi criada uma escala do UPSIT com os itens mais reconhecidos pelos parkinsonianos deste local e a correlação foi significativa, ainda que fraca (p=0,039; r= -0,165). A explicação na diferença entre estas bases de dados está, possivelmente, no fato de, no estudo do Reino Unido, os parkinsonianos terem tido uma maior taxa de reconhecimento dos itens do que no estudo realizado no Brasil (no Brasil, somente 6 itens tiveram taxa de identificação superior a 50% e o maior índice foi de 60%; no Reino Unido, 16 itens tiveram taxa de reconhecimento superior a 50% e o maior índice foi de 71,9%).

Além da correlação da performance olfativa com a duração da doença, o presente estudo também demonstrou que o nível cognitivo (avaliado pelo MoCA) foi um fator com forte influência nos testes de olfato, conforme observado na regressão linear múltipla. Embora a associação entre performance olfativa e performance cognitiva já tenha sido descrita na literatura136,175–177, os estudos sobre a acurácia dos testes de olfato não têm analisado se esta é uma variável preditiva da performance olfativa19,53,57,135,137,144. Alguns estudos realizados com a população infantil56,178,179, entretanto, têm demonstrado que a performance olfativa é dependente da performance cognitiva e, com os resultados da regressão linear múltipla do presente estudo, é possível presumir que em adultos também haja tal dependência. Isso porque os testes de olfato envolvem habilidades cognitivas como a familiaridade para com o item, bem como habilidades requeridas para a identificação e nomeação dos itens ou a compreensão da tarefa em si56_.

Ainda em relação à correlação entre o MoCA e os testes de olfato, embora fosse esperado que o SS16-Child, por ser um teste mais fácil, sofresse menor influência da cognição, isso não foi observado e o único grupo cuja correlação não foi significativa foi para os controles que realizaram o SS16. Uma possível explicação para este achado é que, mesmo não havendo diferença estatística entre os grupos quanto ao MoCA, o grupo controle do SS16 foi o que apresentou maior pontuação e menor variação dela no MoCA. Neste estudo, a pontuação no

MoCA não foi um critério para a seleção dos participantes, porém, a inclusão apenas de participantes com nível cognitivo considerado normal (pontuação no MoCA maior que 24180), parece anular o efeito da correlação, uma vez que aproxima o teste do “efeito teto”, no qual torna-se difícil detectar qualquer mudança174. Assim, recomenda-se que estudos futuros não façam a exclusão pelo nível cognitivo, porém o utilizem para o pareamento entre os grupos para que, assim, esta relação possa se tornar mais clara.

Outro fator bem descrito em outros estudos como determinante na performance olfativa53,57,138,171 _{é a idade, porém, neste estudo, não foi observada esta relação preditiva}

(regressão linear múltipla). É possível que, por estes testes serem influenciados pela cognição (com a não divisão entre DP e controles, o MoCA teve correlação significativa com ambos os testes de olfato), os efeitos da idade sobre a cognição tenham mascarado os efeitos diretos da idade sobre o olfato, uma vez que estes três fatores (idade, cognição e olfato) se influenciam mutuamente55,56 (a correlação isolada entre idade e olfato, para o SS16-Child, foi significativa, com p=0,004 e r= -0,401).

No SS16-Child, a regressão linear múltipla mostrou ainda que o sexo do participante influenciou o desempenho do teste, o que, porém, não ocorreu para o SS16. Este achado do SS16 está em conformidade com o estudo que o validou para o Brasil53 e também com o estudo original sobre os dados normativos do SS1647, no qual o sexo não foi uma variável que, significativamente, influenciou a performance olfativa em sujeitos com idade superior a 55 anos. Embora alguns estudos na DP tenham demonstrado que o sexo não influencia nos resultados dos testes de olfato53,135,137,144, há relato na literatura de que a diferença entre homens e mulheres quanto à performance olfativa seja dependente da duração da tarefa olfativa e que a superioridade feminina tende a desaparecer em testes mais longos135 e, portanto, é possível que, pelo fato de o SS16-Child ser um teste de mais fácil realização, ele tenha um tempo menor de duração e, por isso, a influência do sexo torne-se visível para esse teste, assim como foi visto para outros testes mais curtos133,181_.

Outras variáveis normalmente associadas ao olfato em indivíduos sem alterações neurológicas são o nível socioeconômico e o tabagismo, porém, neste estudo, elas não mostram influenciar significativamente nenhum dos testes de olfato. A relação com o tabagismo também não foi encontrada em outros estudos com pacientes com DP19,53,137 e uma possível causa para isto é o baixo número de pacientes parkinsonianos com hábito de fumar - o estudo de Chen et al.19, por exemplo, que analisou separadamente controles e parkinsonianos, demonstrou a

associação apenas para controles e a diferença entre o número de tabagistas nos dois grupos foi significativa.

Dentro da presente amostra, por fim, foi possível observar que o SS16-Child teve sensibilidade de 80% e especificidade de 84% em discriminar pacientes parkinsonianos e controles. Ainda na mesma amostra, o SS16 teve valor de sensibilidade de 84% e especificidade de 76%, considerando o ponto de corte de 11,5 (valor em que tanto a sensibilidade quanto a especificidade eram superiores a 75%). Na população em que foi validado para o Brasil53_{, o}

SS16 apresentou sensibilidade e especificidade de, respectivamente, 81,1% e 89%, valores muito similares aos obtidos pelo SS16-Child.

O fato de os valores do SS16-Child terem sido próximos aos da versão original brasileira demonstra que o SS16-Child é um teste que pode ser utilizado na população brasileira, embora seja incentivada a replicação do estudo em outras amostras dentro do país, considerando um número maior de participantes. Além disso, o SS16-Child apresenta a vantagem de sua fácil aplicabilidade e maior conhecimento dos itens (mesmo nos pacientes com DP, todos os sujeitos relataram conhecer todos os itens do teste, ainda que não tenham conseguido distinguir o cheiro).

Diante de tais resultados, o presente estudo contribui com a literatura em dois pontos principais. O primeiro é que o aumento da taxa de reconhecimento dos itens em testes de identificação de odores parece não alterar o poder de acurácia dos mesmos, achado este compatível com o de Morley et al.171, que analisaram se testes com maior poder discriminativo entre DP e controles aumentariam a acurácia do diagnóstico. O segundo é que uma correlação da duração da doença com a performance olfativa parece se tornar mais evidente quando utilizados testes de maior reconhecimento entre parkinsonianos, pela característica destes serem mais sensíveis à mudança.

6 VALIDAÇÃO EM BASES DE DADOS EXTERNAS

Conforme relatado no capítulo sobre a revisão sistemática da literatura (capítulo 4), diversos estudos têm analisado o poder diagnóstico dos testes de olfato e, neste projeto de pesquisa, também buscamos avaliar o poder diagnóstico de uma nova versão de um teste de olfato já padronizado para a população brasileira (cujos resultados foram descritos no capítulo 5). A fim de validar os achados do capítulo 5 e melhor entendê-los, nós também realizamos análises com outras bases de dados para efeito de comparação, as quais serão descritas e discutidas neste capítulo.

6.1 Materiais e métodos

6.1.1 Casuística

Para as análises deste capítulo, foram utilizadas duas bases de dados externas à coletada na Unicamp (capítulo 5). A primeira delas é da Universidade de São Paulo (USP) criada em estudo publicado em 2008 e disponibilizada pelos autores53. A segunda base de dados, também disponibilizada pelos autores, é uma amostra recrutada no Reino Unido em 200957. Em ambas amostras houve a participação de sujeitos com DP e controles, conforme critérios detalhados em suas publicações53,57.

No estudo do Brasil participaram 106 pacientes com DP e 118 controles. Os critérios de exclusão deste estudo foram: presença de infecção ativa de vias aéreas superiores, história prévia de esquizofrenia, história prévia de traumatismo cranioencefálico com perda de consciência e pontuação inferior a 20 no Mini Exame do Estado Mental para indivíduos com menos de 5 anos de escolaridade ou inferior a 24 para aqueles com tempo de escolaridade superior à 4 anos ou desconhecido.

O estudo realizado em Londres contou com a participação de 193 pacientes com DP e 157 controles. Foram excluídos do estudo os sujeitos que apresentaram infecção de via aérea superior ativa, história prévia de traumatismo cranioencefálico com perda de consciência e déficit cognitivo segundo a pontuação na parte I da UPDRS (escore = 1).

Para ambas bases de dados, foram analisados os fatores que influenciam o desempenho olfativo e a acurácia dos testes. Para tanto, algumas modificações (ou adições) foram realizadas nas bases originais, conforme detalhado nos itens a seguir.

Para todas as análises, foram utilizados o programa estatístico SPSS v.23 e o programa Excel 2016 (tabulação de dados e construção de tabelas). O nível de significância considerado foi de 0,05.

6.1.2.1 Fatores que influenciam o desempenho olfativo

Os estudos originais destas bases de dados realizaram análises de diversos fatores que potencialmente influenciariam a performance olfativa, conforme pode ser visto nas publicações53,57, porém não incluíram a análise de correlação entre o desempenho olfativo e a duração da doença. O presente estudo, adicionalmente (devido aos achados do capítulo anterior), realizou estas análises de correlação, sendo todas elas ajustadas para a idade.

Para analisar a validade do achado anterior (escalas com itens de maior reconhecimento entre parkinsonianos parecem evidenciar a correlação da duração da doença), foram criadas novas versões dos testes originais utilizando os itens de maior reconhecimento entre sujeitos com DP. Para o SS16, foi criada uma subescala com 5 itens (SS5) e, para o UPSIT, foram criadas subescalas com 5 e 16 itens (UPSIT5 e UPSIT16). Os itens incluídos em cada uma das subescalas serão apresentados na seção de resultados deste capítulo (Tabela 11).

6.1.2.2 Acurácia dos testes de olfato

6.1.2.2.1 Brasil

Os pacientes da base de dados da USP foram reclassificados conforme os escores obtidos nas análises do capítulo anterior (pontos de corte de 10,5 e 11,5 para o SS16, criando as variáveis nomeadas, respectivamente, como SS16-105 e SS16-115), as quais foram comparadas à versão original do estudo (nomeada SS16-BR). Para tanto, as variáveis foram transformadas em variáveis binárias (doente/ não doente) de acordo com o ponto de corte de cada uma delas. A partir disso, foi obtida a curva ROC para determinar os valores de sensibilidade e especificidade de cada teste, bem como o valor da área abaixo da curva.

Uma vez que é recomendável que os testes de identificação de odores tenham alto reconhecimento entre indivíduos saudáveis, foram calculadas para o UPSIT-BR (versão brasileira do UPSIT53) as seguintes medidas:

a) Uma nova escala com os dezesseis itens com maior índice de acertos na população controle (nomeada como UPSIT16-BR): itens cebola, couro, canela, uva, melancia, menta, banana, abacaxi, gás, amendoim, chiclete, cereja, laranja, solvente de tinta, madeira, morango;

b) Uma escala que, assim como o SS16-Child, contivesse apenas itens com índice de reconhecimento igual ou maior a 84% na população controle. Tal seleção resultou em uma escala com 4 itens, nomeada como UPSIT4-BR (cebola, couro, canela e uva).

A pontuação nestas novas escalas foi comparada à pontuação do SS16-BR com a finalidade de analisar como outras escalas com alto índice de reconhecimento dos itens (tal como o SS16-Child) se comportariam quanto à capacidade discriminativa entre DP e controles.

6.1.2.2.2 Reino Unido

Com a base de dados fornecida pelos autores57, também foi feita a escala com os 16 itens de maior reconhecimento para o UPSIT nesta população (UPSIT16-UK). Os itens do UPSIT16-UK foram: couro, melancia, amendoim, gás, gasolina, morango, sabonete, cebola, canela, chocolate, pêssego, menta, coco, tinta, cereja e cravo. Foi então realizada uma curva ROC comparando os resultados do UPSIT-UK (versão original utilizada no estudo de Silveira- Moriyama57), UPSIT16-UK e SS16-UK (versão do próprio estudo desenvolvido no Reino Unido).

Ressalta-se que as subescalas criadas para a avaliação da acurácia dos testes (itens 6.1.2.2.1 e 6.1.2.2.2) são distintas daquelas criadas para a análise dos fatores que influenciam a performance olfativa (citadas no item 6.1.2.1), pois elas representam os itens de maior identificação entre controles (ao passo que as subescalas do item 6.1.2.1 englobavam os itens de maior reconhecimento entre parkinsonianos).

Os participantes que compuseram a base de dados da USP53 possuíam as seguintes características: (i) DP: este grupo foi composto por 106 sujeitos, sendo 35 (33%) do sexo feminino, idade média de 61,29 ± 11 anos e duração média da doença de 11,4 ± 6 anos; (ii) Controles: neste grupo de 118 participantes, 15 (12,7%) dos sujeitos eram do sexo feminino e a idade média foi de 63 ± 9,8 anos.

Um total de 350 participantes compuseram a base de dados do estudo realizado no Reino Unido57_{, dos quais 193 sofriam de DP e 157 pertenciam ao grupo controle. Entre os}

sujeitos com DP, a idade média foi de 63,7 ± 9,6 anos, a duração média da doença de 10,2 ±