SNOT-22: psychometric properties and cross-cultural adaptation
into the portuguese language spoken in Brazil
Abstract
A
rinossinusite apresenta alta prevalência, gera gastos vultosos e o seu impacto vem sendo demonstrado por questionários genéricos de qualidade de vida. Todavia, instrumentos genéricos podem não detectar efeito de intervenções e tratamentos. O SNOT-22 figura entre os principais instrumentos doença-específico na avaliação da qualidade de vida dos pacientes com rinossinusite. Contudo, não existe versão validada deste questionário no Brasil. Objetivo: Adaptar culturalmente para o português falado no Brasil o SNOT-22 e avaliar suas propriedades psicométricas. Método: A versão em português foi desenvolvida obedecendo robusta metodologia preconizada pela literatura e incluiu 1) Preparação 2) Tradução para o português por três médicos, independentemente 3) Conciliação para versão única em português 4) Retradução 5) Comparação da retradução com a versão original 6) Avaliação pela autora do SNOT-22 da retradução 7) Revisão da versão em português por especialistas 8) Desdobramentos cognitivos 9) Versão final. A segunda fase: estudo prospectivo que verificou as propriedades psicométricas por meio da consistência interna e confiabilidade teste-reteste. Resultados: A adaptação cultural do instrumento apresentou compreensão, aceitabilidade e propriedades psicométricas adequadas. Conclusão: Conduzimos a adaptação cultural do SNOT-22 para o português falado no Brasil, produzindo um instrumento de grande importância clínica e para estudos científicos.Guilherme Pilla Caminha1, José Tavares de Melo Junior2, Claire Hopkins3, Emilio Pizzichini4,
Marcia Margaret Menezes Pizzichini5
SNOT-22: adaptação cultural e propriedades psicométricas para a língua portuguesa falada no Brasil
1 Otorrinolaringologista. Mestre em Medicina, Universidade Federal do Rio Grande do Sul (Doutorando em Ciências Médicas, Universidade Federal do Rio Grande do Sul). 2 Otorrinolaringologista. Mestre em Ciências Médicas, Universidade Federal de Santa Catarina (Doutorando em Ciências Médicas, Universidade Federal de Santa Catarina).
3 BMBCh FRCS(ORLHNS) DM(Oxon) (Ear, Nose and Throat Department, Guys and St. Thomas’ Hospital , London, United Kingdom).
4 Pós-Doutorado em Pneumologia (Chefe da Disciplina e do Serviço de Pneumologia da UFSC. Professor Associado do Departamento de Clínica Médica da UFSC. Coordenador do
NUPAIVA/UFSC, Membro do Comite Científico da GINA).
5 Pós-Doutorado em Pneumologia (Professor Associado do Departamento de Clínica Médica da UFSC e Coordenadora do Programa de Pós-Graduação em Ciências Médicas da UFSC. Presidente do Comite de Asma da SBPT).
Endereço para correspondência: José Tavares de Melo Junior. Rua Presidente Coutinho, nº 610, sala 5. Centro. Florianópolis - SC. CEP: 88015-231. Este artigo foi submetido no SGP (Sistema de Gestão de Publicações) da BJORL em 17 de novembro de 2011. cod. 8909.
Artigo aceito em 23 de agosto de 2012.
R
hinosinusitis is a highly prevalent disease and a major cause of high medical costs. It has been proven to have an impact on the quality of life through generic health-related quality of life assessments. However, generic instruments may not be able to factor in the effects of interventions and treatments. SNOT-22 is a major disease-specific instrument to assess quality of life for patients with rhinosinusitis. Nevertheless, there is still no validated SNOT-22 version in our country.Objective: Cross-cultural adaptation of the SNOT-22 into Brazilian Portuguese and assessment of its psychometric properties. Method: The Brazilian version of the SNOT-22 was developed according to international guidelines and was broken down into nine stages: 1) Preparation 2) Translation 3) Reconciliation 4) Back-translation 5) Comparison 6) Evaluation by the author of the SNOT-22 7) Revision by committee of experts 8) Cognitive debriefing 9) Final version. Second phase: prospective study consisting of a verification of the psychometric properties, by analyzing internal consistency and test-retest reliability. Results: Cultural adaptation showed adequate understanding, acceptability and psychometric properties. Conclusion: We followed the recommended steps for the cultural adaptation of the SNOT-22 into Portuguese language, producing a tool for the assessment of patients with sinonasal disorders of clinical importance and for scientific studies.
ORIGINAL ARTICLE
Braz J Otorhinolaryngol. 2012;78(6):34-9.
Para citar este artigo, use o título em inglês
BJORL
Resumo
Keywords:quality of life, questionnaires, sinusitis.
Palavras-chave:
qualidade de vida, questionários, sinusite.
INTRODUÇÃO
O problema das rinossinusites atinge dimensões surpreendentes. Aproximadamente 15% da população dos países industrializados modernos sofre de problemas nasais ou paranasais, posicionando esta condição como a segunda mais prevalente entre todas as doenças crônicas1
e um custo socioeconômico anual estimado em mais de 6 bilhões de dólares nos Estados Unidos2. Embora
rara-mente causem admissões hospitalares de emergência e quase nunca sejam fatais, doenças nasossinusais crônicas apresentam um substancial impacto negativo na saúde e qualidade de vida dos indivíduos acometidos, afetando adversamente o humor e o desempenho físico e social.
Esse impacto tem sido demonstrado usando-se me-didas globais de qualidade de vida, como o SF-36 (Short Form 36 Health Survey Questionnaire)3, demonstrando que
as rinossinusites têm maiores consequências na dor física e desempenho social do que a angina, a insuficiência cardía-ca congestiva, dor na coluna e doença pulmonar obstrutiva crônica4. Se por um lado a utilização desses escores globais
facilita a comparação com outras doenças crônicas, por outro não avalia os aspectos específicos mais importantes da doença para o paciente5. Por exemplo, os instrumentos
mais genéricos podem não ter a capacidade de detectar o efeito de intervenções e tratamentos. O desenvolvimen-to de questionários doença-específicos preencheu esta lacuna na avaliação de pacientes portadores de doenças nasossinusais. Atualmente, existem diversos questionários específicos para análise de qualidade de vida em rinos-sinusite6 e o SNOT-22 (22 item Sinonasal Outcome Test)7
é um questionário modificado do SNOT-208, do qual foi
removida a classificação de importância e acrescentados dois itens a serem medidos: a obstrução nasal e a perda do olfato e paladar. Trata-se de um instrumento amplamente utilizado na avaliação de pacientes portadores de doenças nasossinusais e com adaptações transculturais para outras línguas. O objetivo deste trabalho foi realizar a adaptação cultural, com validação para a língua portuguesa, falada no Brasil, do questionário doença-específico SNOT-22.
MÉTODO
Este estudo foi realizado em duas etapas: a) adap-tação para língua portuguesa, falada no Brasil, do ques-tionário SNOT-22 e, b) estudo prospectivo para análise das propriedades psicométricas por meio da consistência interna e confiabilidade teste-reteste. O estudo foi aprova-do pelo Comitê de Ética em Pesquisa com Seres Humanos, certificado sob o nº582 e conduzido de acordo com os princípios éticos.
Adaptação cultural
O mesmo processo empregado de adaptação cul-tural de um questionário encontra-se detalhado em outra publicação9. A seguir serão nominadas, resumidamente,
as etapas seguidas no processo de adaptação cultural: 1) Preparação: obtenção da autorização da autora para a tra-dução e adaptação cultural do questionário. 2) Tratra-dução de três versões da língua inglesa para a língua portuguesa por três médicos, de forma independente. 3) Conciliação entre os tradutores e formulação de uma única versão na língua portuguesa. 4) Retradução da versão única em por-tuguês para o inglês, conduzida por um professor nativo em país de língua inglesa e fluente em língua portuguesa. 5) Comparação da retradução para a língua inglesa com a versão inglesa original do SNOT-22 para a detecção de possíveis discrepâncias. 6) Avaliação e aprovação pela autora do SNOT-22 da retradução para o inglês da versão portuguesa. 7) Revisão da versão em português do SNOT-22 por um comitê de especialistas formado por dois otorrinolaringologistas e dois pneumologistas. 8) Desdobramentos cognitivos 1 e 2: o desdobramento cog-nitivo consiste no processo de testar a compreensão do questionário traduzido na população alvo. Dessa forma, foram entrevistados 20 pacientes em cada etapa de des-dobramento, 40 pacientes no total, portadores de queixas nasossinusais e que apresentassem boas condições de compreensão e linguagem. O questionário foi conduzido pelos autores em cada participante e, em seguida, ques-tionado qual foi o entendimento dos mesmos em relação aos seus itens. Um registro sobre o entendimento de cada item era graduado em notas de 1 a 10. Conceituou-se que escores entre 1 e 4 indicariam um enunciado confuso, entre 5 e 7 um enunciado pouco claro e, entre 8 e 10 um enunciado claro10. O índice de clareza foi obtido por
meio da média das somatórias das notas atribuídas pelos pacientes. Os enunciados que não atingissem o índice 0,4 deveriam ser substituídos, os enunciados que não atingis-sem o índice 0,8 deveriam ser reformulados e, finalmente, os enunciados que apresentassem o índice final igual ou acima de 0,8 eram considerados adequados quanto ao seu entendimento. 9) Versão final: o objetivo desta etapa foi a produção da versão final do instrumento adaptado para a língua portuguesa falada no Brasil. Todos os parti-cipantes das etapas anteriores, com exceção dos pacientes, reuniram-se para a produção da versão final do processo de tradução e adaptação cultural do SNOT-22 para a língua portuguesa falada no Brasil. Nessa reunião, o instrumento foi revisado item por item, discutindo-se os achados dos desdobramentos cognitivos, incorporando as modificações pertinentes e elaborando a versão final do questionário sintoma-específico para avaliação da qualidade de vida em pacientes com rinossinusite crônica.
Propriedades psicométricas
coeficiente alfa de Cronbach, tendo como valor aceitável para limite inferior 0,70. A confiabilidade do tipo teste--reteste foi aferida pelo coeficiente de correlação intra-classe (ICC) em 16 pacientes com queixas nasossinusais com doença estável aproximadamente sete dias após a primeira avaliação.
O tamanho da amostra para o teste e reteste foi estimado de acordo com o cálculo de precisão do ICC. Assim, o tamanho foi calculado de acordo com Bonett11 e
baseado na estimativa do preenchimento do questionário pelo mesmo sujeito em duas ocasiões diferentes, espe-rando encontrar um coeficiente de correlação intraclasse de 0,9 com um alfa de 0,05. Com essas premissas, uma amostra de 16 participantes é mais do que adequada. Para este tipo de estudo, é esperado um ICC maior ou igual a 0,8 como indicador de boa confiabilidade. Finalmente, foi escrutinada a reprodutibilidade do teste a partir do recurso gráfico proposto por Bland & Altman12, no qual
a diferença entre primeiro e o segundo escore (eixo y) é representada sobre a média entre o primeiro e segundo escore (eixo x). Esta metodologia permite melhor percep-ção da reprodutibilidade das medidas entre os diversos pacientes, bem como avalia a amplitude da distribuição dos valores dentro de 95% de intervalo de confiança (média ± dois desvios padrões).
RESULTADOS
Ao longo da etapa de conciliação do SNOT-22, o comitê revisor discutiu, padronizou e uniformizou os termos que fizeram parte da versão 1 em português. A retradução da mesma foi aceita integralmente pela autora do SNOT-22 original, não havendo, portanto, a necessi-dade de alterações da primeira versão. A etapa de revisão da versão em língua portuguesa do SNOT-22 pelo comitê de especialistas foi marcada por diversas modificações, que serão detalhadas a seguir: no enunciado do questio-nário acrescentou-se o recurso de negrito ao termo “duas semanas” de modo a destacar a importância do período de avaliação; além disso, no quadro explicativo, houve alteração da estrutura do texto, objetivando a facilitação do seu entendimento. Desta forma, a seguinte sentença: “Con -siderando quão grave é o problema quando você o percebe e a frequência que ele ocorre, por favor, quantifique cada um dos itens abaixo, circulando o número correspondente de “quão mal” você se sente. Use esta escala ao lado” foi modificada para “Observe os sintomas abaixo numerados de 1 a 22. Em seguida, use a escala ao lado para avaliar a gravidade do seu problema e a frequência com que ocorre. Para terminar, circule o número correspondente à quão ruim você se sente”; na escala de graduação, o último item correspondente ao escore 5, que dizia: “Problema tão ruim quanto possível” foi substituído para “Problema gravíssi-mo”; o item 5, que continha a seguinte frase: “Gotejamento
pós-nasal (sensação de secreção descendo pela parte de trás do seu nariz)”, foi alterado para “Sensação de secre-ção ou catarro descendo pela parte de trás do seu nariz”, excluindo-se o termo complexo “gotejamento pós-nasal”
e acrescentando-se um substantivo “catarro” com função expletiva; o item 6, que continha a seguinte frase: “Secre -ção nasal espessa (muco espesso no nariz)”, foi modificado para “Muco ou catarro espesso no nariz”; o item 10, que continha a frase: “Dor ou pressão na face”, foi substituído por: “Dor ou pressão no rosto”; o item 12, que continha a frase: “Acordar à noite”, foi reformulado para “Acordar no meio da noite”; o item 14, que continha a frase: “Acordar cansado”, foi acrescentado o termo “de manhã”; também ao item 15, que continha a frase: “Cansaço/fadiga” foi acrescentado um complemento, desta forma: “Cansaço/ fadiga ao longo do dia”; ao item 16, foi acrescentado um termo esclarecedor, como a seguir: “Produtividade dimi
-nuída (menor rendimento)”; da mesma forma, ao item
21, que continha a seguinte frase: “Percepção do olfato ou do gosto” foi acrescentado um termo explicativo, como a seguir: “Percepção do olfato (cheiro) ou do gosto”. Desta maneira, essa etapa culminou na produção da segunda versão do SNOT-22 traduzida para o português.
Na etapa do primeiro desdobramento cognitivo, dois itens do SNOT-22 geraram dificuldade de compreen-são (Figura 1). O item número 6 obteve índice de clareza de 0,785. Consequentemente, modificou-se a frase “Muco ou catarro espesso no nariz” para “Catarro grosso no nariz (muco espesso no nariz)”. O item número 22, que alcançou o índice de clareza de 0,71, demandou a troca do termo
“Obstrução/congestão nasal” pelo termo “Nariz trancado/ entupido”. Assim, foi elaborada a terceira versão para a língua portuguesa do SNOT-22, contendo as correções e adaptações acima mencionadas. Finalmente, na segunda etapa de desdobramento cognitivo, as questões 6 e 22, que haviam sido modificadas para a otimização do índice de clareza alcançaram, nesta ocasião, índices de 0,915 e 0,965, respectivamente. Os demais índices mantiveram-se acima de 0,80 tornando desnecessária uma nova etapa de desdobramento (Figura 1).
Por último, a etapa de reconciliação resultou na elaboração da Versão Final, cujo conteúdo incorporou todas as alterações acima descritas (Quadro 1).
Propriedades psicométricas
Figura 1. Determinação de Clareza do SNOT-22. Mostra o índice de
clareza de cada item do “SNOT-22”. As barras em cor azul representam o índice de clareza no primeiro desdobramento cognitivo e as barras em cor vermelha o índice de clareza no segundo desdobramento cognitivo. A linha tracejada mostra o ponto de corte de 0.80 a partir do qual o item é considerado claro. Observa-se que os itens 6 e 22 situaram-se abaixo do índice de clareza na primeira etapa de desdobra
-mento e que todos os itens do “SNOT-22” foram considerados claros no segundo desdobramento cognitivo. DC: desdobramento cognitivo.
DISCUSSÃO
A utilização dos questionários doença-específicos vem somando informações valiosas ao conhecimento científico. A partir de uma metodologia robusta e inter-nacionalmente aceita, adaptamos culturalmente para a língua portuguesa falada no Brasil o questionário SNOT-22. A metodologia empregada confirmou a confiabilidade e reprodutibilidade desta ferramenta, assegurando que a mesma possa vir a ser utilizada na área da pesquisa e em situações clínicas cotidianas.
Atualmente, existem vários instrumentos validados e específicos para avaliar sintomas nasossinusais e a escolha de um em particular deve ser norteada pelos objetivos a serem alcançados. Sabidamente, para que um instrumen-to ofereça utilidade clínica, é preciso que o mesmo seja válido, apropriado para a doença em questão, confiável, responsivo às mudanças e fácil de ser interpretado e pre-enchido13. Aqui, o SNOT-22 merece destaque não somente
por sua facilidade de preenchimento e compreensão, mas também por suas propriedades já validadas em diversos estudos7,14-16. Entretanto, por se tratar de um instrumento
desenvolvido originalmente na língua inglesa, torna-se inadequado - para não dizer impossível - utilizá-lo em sua tradução literal.
A adaptação cultural de um questionário é um pro-cesso complexo que envolve tradução conceitualmente equivalente ao original e culturalmente aceitável ao país no qual o questionário será utilizado. Portanto, é fundamental que se busquem equivalências técnica e semântica entre as versões originais e adaptadas para se evitar que distor-ções nesse processo causem alteradistor-ções nas propriedades psicométricas do instrumento em questão17. No processo
de tradução e adaptação cultural do SNOT-22, o nosso
estudo foi conduzido de acordo com as orientações da lite-ratura18,19 e, em particular, as orientações da International
Society for Pharmacoeconomics and Outcomes (ISPOR)20
buscando, dessa maneira, equivalências conceitual e se-mântica entre o instrumento original e sua versão para o português no contexto da cultura brasileira.
Ao garantir essas equivalências, espera-se manter as propriedades psicométricas do SNOT-22, que se encon-tram devidamente documentadas em estudos anteriores. Ainda, entendemos como de fundamental importância a participação da autora do questionário original nas etapas de apreciação do constructo retraduzido, no sentido de garantir a acurácia do instrumento. Adicionalmente, foram reavaliadas neste estudo as propriedades psicométricas quanto à consistência interna (índice de Cronbach = 0,88) e confiabilidade teste reteste (ICC = 0,91), demonstrando, a exemplo de estudos prévios, confiabilidade e consistência interna adequadas.
Com a utilização da representação gráfica proposta por Bland & Altman foi demonstrado que a maioria das diferenças situou-se entre os limites de concordância. Além disso, não houve relação entre as diferenças e a média, ou seja, a gravidade e impacto do comprometimento detecta-do não determinaram efeito sobre a estabilidade tempo-ral. Nota-se que houve um sujeito outlier, cuja diferença entre o primeiro e segundo escores foi de 18 pontos. De acordo com estudos prévios, a diferença minimamente importante, definida como a menor mudança do escore que pode ser detectada pelo paciente é 8,9. Tal situação pode representar, mais do que o efeito de aprendizado em relação ao instrumento, uma piora verdadeira das condições clínicas do paciente.
Ainda no que diz respeito à avaliação da confiabi-lidade, sabemos ser o SNOT-22, por definição, um ques-tionário autoaplicável. Desta forma, todas as entrevistas foram conduzidas por pesquisadores, porém, a leitura completa dos quesitos, bem como o preenchimento das respostas foram tarefas executadas exclusivamente pelos pacientes, não havendo intermediação dos pesquisadores nesta hora. É oportuno frisar que Kosugi et al.21, ao
Quadro 1. Versão Final do Questionário SNOT-22. Questionário de Desfechos Nasossinusais SNOT-22.
Nome: _______________________________________________________________________________________________________ Data: __/__/____
Abaixo, você encontrará uma lista de sintomas e consequências sociais/emocionais de seu problema nasal. Nós gostaríamos de saber mais sobre estes problemas e agradeceríamos por você responder as seguintes questões da melhor forma que puder. Não existem respostas certas ou erradas e apenas você pode nos dar esta informação. Por favor, quantifique seus problemas e como eles têm se apresentado nas últimas duas semanas. Obrigado por sua participação.
A: Observe os sintomas abaixo numerados de 1 a 22. Em seguida, use a escala ao lado para avaliar a gravidade do seu problema e a frequência com que ocorre. Para terminar, circule o número correspondente à quão ruim você se sente
Nenhum problema
Problema muito
leve
Problema leve ou discreto
Problema
moderado
Problema
grave
Problema gravíssimo 1. Necessidade de assoar o nariz 0 1 2 3 4 5
2. Espirros 0 1 2 3 4 5
3. Nariz escorrendo ou coriza 0 1 2 3 4 5
4. Tosse 0 1 2 3 4 5
5. Sensação de secreção ou catarro descendo pela parte de trás do seu nariz 0 1 2 3 4 5
6. Catarro grosso no nariz (muco espesso no nariz) 0 1 2 3 4 5
7. Abafamento no ouvido (entupimento do ouvido) 0 1 2 3 4 5
8. Tontura 0 1 2 3 4 5
9. Dor de ouvido 0 1 2 3 4 5
10. Dor ou pressão no rosto 0 1 2 3 4 5
11. Dificuldade em pegar no sono 0 1 2 3 4 5
12. Acordar no meio da noite 0 1 2 3 4 5
13. Falta de uma boa noite de sono 0 1 2 3 4 5
14. Acordar cansado de manhã 0 1 2 3 4 5
15. Cansaço/fadiga ao longo do dia 0 1 2 3 4 5
16. Produtividade diminuída (menor rendimento) 0 1 2 3 4 5
17. Concentração diminuída 0 1 2 3 4 5
18. Frustrado/impaciente/irritado 0 1 2 3 4 5
19. Triste 0 1 2 3 4 5
20. Constrangido 0 1 2 3 4 5
21. Percepção do olfato (cheiro) ou do gosto 0 1 2 3 4 5
22. Nariz trancado/entupido 0 1 2 3 4 5
Total ___ ___ ___ ___ ___
Total Geral __________
Copyright Washington University.
instrumento22. Num contexto geral, entendemos ter havido
dano da validade interna quando da aplicação do instru-mento por terceiros e via telefonema, por terem potencial prejuízo na acurácia. Por último, o comprometimento da validade externa, considerando que esta metodologia não garante que este instrumento seja verdadeiramente compreensível pelo público alvo via autoadministração e tampouco que os seus resultados sejam equivalentes aos de outros estudos, inclusive no que diz respeito à respon-sividade e à diferença mínima clinicamente importante.
No que diz respeito ao seu uso, trata-se de um instrumento fácil de ser respondido, em curto espaço de tempo, e que pode ser aplicado no momento anterior à consulta. Adicionalmente, permite a obtenção de modo sistemático de pontos chave da história da doença e
proporciona educação ao doente, pois convida o mesmo a prestar atenção aos sinais e sintomas mais comuns da doença, bem como a reconhecer a sua intensidade. Esses benefícios podem resultar em tratamento mais precoce ou evitar riscos de complicações. Dessa forma, o instru-mento avaliará aspectos distintos da expressão clínica das rinossinusites crônicas de diversas etiologias consideran-do os diferentes sintomas, evitanconsideran-do um questionamento específico para cada uma das múltiplas manifestações da doença por parte do médico e proporcionando melhor cuidado das rinossinusites.
Figura 2. Representação gráfica proposta por Bland & Altman - repro
-dutibilidade. Escores da primeira e segunda visita. No eixo y a diferença entre os escores da primeira e segunda aplicação do questionário e, no eixo x, a média das mesmas. Linha em vermelho central indicando a média da diferença entre os escores da primeira e segunda aplicação do questionário e linhas em vermelho periféricas indicando a média ± dois desvios padrões (1,96 x DP). DP: Desvio Padrão.
um todo. Como resultado, podemos estar restringindo as escolhas individuais dos pacientes e influenciar, em última instância, a capacidade do instrumento em ser responsivo às mudanças após tratamentos. No âmbito específico do processo de adaptação cultural, sabemos ser o Brasil um país de grandes dimensões geográficas e populacionais e gozador de peculiar diversidade cultural. Além disso, as discrepâncias sociais acarretam lacunas na bagagem edu-cacional dos brasileiros. Atentos a isso, tivemos o cuidado de utilizar palavras de fácil assimilação e que consideramos serem compreensíveis em todo o território nacional.
CONCLUSÃO
A adaptação cultural do SNOT-22 para a língua portuguesa falada no Brasil disponibiliza para nossa língua e cultura um instrumento autoaplicável, já consagrado internacionalmente e que preserva a validade do questio-nário original. Trata-se de uma importante ferramenta para o uso tanto na área de pesquisa como na prática clínica para ser utilizado na avaliação do comprometimento da qualidade de vida em pacientes com doenças nasossinu-sais de diversas etiologias. Mais ainda, suas propriedades psicométricas (responsividade e diferença mínima clini-camente importante) podem ser valiosas na avaliação do efeito de diferentes intervenções no curso da doença e discriminar o impacto na qualidade de vida entre distintos subgrupos de pacientes.
REFERÊNCIAS
1. Collins JG. Prevalence of selected chronic conditions: United States, 1990-1992. Vital Health Stat 10. 1997;(194):1-89.
2. Gliklich RE, Metson R. Economic implications of chronic sinusitis. Otolaryngol Head Neck Surg. 1998;118(3 Pt 1):344-9.
3. Ware Jr JE, Sherbourne CD. The MOS 36-item short-form health survey (SF-36). I. Conceptual framework and item selection. Med Care. 1992;30(6):473-83.
4. Gliklich RE, Metson R. The health impact of chronic sinusitis in patients seeking otolaryngologic care. Otolaryngol Head Neck Surg. 1995;113(1):104-9.
5. Hopkins C. Patient reported outcome measures in rhinology. Rhino-logy. 2009;47(1):10-7.
6. Morley AD, Sharp HR. A review of sinonasal outcome scoring systems - which is best? Clin Otolaryngol. 2006;31(2):103-9.
7. Hopkins C, Gillett S, Slack R, Lund VJ, Browne JP. Psychometric validity of the 22-item Sinonasal Outcome Test. Clin Otolaryngol. 2009;34(5):447-54.
8. Piccirillo JF, Merrit MG Jr, Richards ML. Psychometric and clinimetric validity of the 20-Item Sino-Nasal Outcome Test (SNOT-20). Otola-ryngol Head Neck Surg. 2002;126(1):41-7.
9. Tavares MG, Pizzichini MM, Steidle LJ, Nazário NO, Rocha CC, Perraro MC, et al. The Asthma Control Scoring System: translation and cross--cultural adaptation for use in Brazil. J Bras Pneumol. 2010;36(6):683-92. 10. Melo SIL. Coeficiente de atrito: um sistema de avaliação [Projeto de
Tese]. Santa Maria: Universidade Federal de Santa Maria; 1994. 153p. 11. Bonett DG. Sample size requirements for estimating intraclass
cor-relations with desired precision. Stat Med. 2002;21(9):1331-5. 12. Bland JM, Altman DG. Applying the right statistics: analyses of
me-asurement studies. Ultrasound Obstet Gynecol. 2003;22(1):85-93. 13. Thornicroft G, Slade M. Are routine outcome measures feasible in
mental health? Qual Health Care. 2000;9(2):84.
14. Lange B, Thilsing T, Al-kalemji A, Baelum J, Martinussen T, Kjeldsen A. The Sino-Nasal Outcome Test 22 validated for Danish patients. Dan Med Bull. 58(2):A4235.
15. Schalek P, Otruba L, Hahn A. Quality of life in patients with chronic rhinosinusitis: a validation of the Czech version of SNOT-22 ques-tionnaire. Eur Arch Otorhinolaryngol. 2010;267(3):473-5.
16. Lü W, Qi F, Gao ZQ, Feng GD, Yuan XD, Jin XF. Quality of life survey on patients with chronic rhinosinusitis by using Chinese version of the 22-item sinonasal outcome test (SNOT-22). Zhonghua Er Bi Yan Hou Tou Jing Wai Ke Za Zhi. 2008;43(1):18-21.
17. Reichenheim ME, Moraes CL. Operationalizing the cross-cultural adaptation of epidemiological measurement instruments. Rev Saúde Pública. 2007;41(4):665-73.
18. Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32.
19. Ware JE Jr, Keller SD, Gandek B, Brazier JE, Sullivan M. Evaluating translations of health status questionnaires. Methods from the IQOLA project. International Quality of Life Assessment. Int J Technol Assess Health Care. 1995;11(3):525-51.
20. Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, et al.; ISPOR Task Force for Translation and Cultural Adaptation. Principles of Good Practice for the Translation and Cultural Adaptation Process for Patient-Reported Outcomes (PRO) Measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health. 2005;8(2):94-104.
21. Kosugi EM, Chen VG, Fonseca VMG, Cursino MMP, Mendes Neto JA, Gregório LC. Translation, cross-cultural adaptation and validation of SinoNasal Outcome Test (SNOT) - 22 to Brazilian Portuguese. Braz J Otorhinolaryngol. 2011;77(5):663-9.
