RESUMO
Objetivo: Traduzir o “End Stage Renal Disease – Severity Index (ESRD-SI)”
para a língua portuguesa e realizar o estudo de confiabilidade desta versão. Material e Método: A tradução literal do ESRD-SI para o português foi feita por um nefrologista, e a confiabilidade foi estimada pelo método de confiabilidade entre diferentes avaliadores. Dois nefrologistas avaliaram, independentemente, uma amostra de 20 pacientes inseridos em programa de hemodiálise crônica, com intervalo máximo de dois dias entre a avaliação realizada por cada um deles. Utilizou-se a estatística descritiva para caracterizar a amostra; para a estimativa dos índices de confiabilidade utilizou-se o Coeficiente de Correlação de Postos de Spearman, observou-se a concordância entre as classificações em categorias e a concordância entre as pontuações totais obtidas nas avaliações. Resultados: Obteve-se Coeficiente de Correlação de Spearman de 0,994 (p< 0,001), concordância total (100%) na classificação das avaliações em categorias e parcial (75%) quanto às pontuações totais. Conclusões: Os resultados sugerem que a versão brasileira do ESRD-SI é confiável para ser utilizada em pacientes com as características da amostra estudada. (J Bras Nefrol 2005;27(2):57-62)
D e s c r i t o r e s : Índice de gravidade de doença. Questionários. Tradução (processo). Reprodutibilidade de resultados. Insuficiência renal. Diálise renal.
ABSTRACT
Translation and Inter-Rater Reliability of the Brazilian Version of the ESRD-SI (End Stage Renal Disease – Severity Index).
Objective: Translate the End Stage Renal Disease – Severity Index (ESRD-SI) questionnaire into Brazilian Portuguese and assess the reliability of the translated version. Material and Methods: One nephrologist made the literal translation of the ESRD-SI. The method of the inter-rater reliability was used to evaluate the translated version: two nephrologists evaluated independently 20 patients with a diagnosis of End Stage Renal Disease that are part of a haemodialysis program, with two days of maximum interval between evaluations. To analyze the results between both evaluations and assess the reliability of the instrument, we used Spearman’s Coefficient of Rank Correlation, observing the agreement for total scores obtained in the ESRD-SI by the evaluators and calculated summary statistics of the total scores. Results: Spearman’s Coefficient of Rank Correlation was 0.994 (p< 0.001), total agreement (100%) was obtained in the evaluation classification and partial in the total scores (75%). Conclusions: The results obtained suggest that the
Tradução e Estudo de Confiabilidade da Versão Brasileira do
ESRD-SI
(End Stage Renal Disease – Severity Index)
Patrícia Pinto Fonseca
1A n aF r a n c i s c a F.d e O l i v e i r a
2 , 3M a r i ad a sG r a ç a sd eO l i v e i r a
1 , 4José Alberto Del Porto
11Departamento de Psiquiatria e Psicologia Médica da Universidade Federal de São Paulo (UNIFESP/EPM); 2Departamento de Nefrologia da Universidade Federal de São Paulo (UNIFESP/EPM); 3Departamento de Nefrologia da
Universidade de Alfenas, MG; 4Departamento de Medicina
Preventiva da Universidade de São Paulo (USP)
Recebido em 26/11/2004 Aprovado em 23/05/2005
Este trabalho foi realizado através da Pós-Graduação do Departamento de Psiquiatria e Psicologia Médica da UNIFESP/EPM e a coleta de dados foi realizada com pacientes inscritos no Programa de Hemodiálise do Hospital Santa Marcelina de São Paulo. Este estudo faz parte de pesquisa de doutorado, em andamento, que recebeu verba de Auxílio Pesquisa da FAPESP.
Foi apresentado preliminarmente como pôster no 21º Congresso Brasileiro de Nefrologia, em setembro de 2002 na cidade de Brasília, DF, com o título “Uma Escala Para a Avaliação Clínica Padronizada de Pacientes com Insuficiência Renal Crônica terminal: Tradução e Estudo de Confiabilidade do ESRD-SI (End Stage Renal Disease – Severity Index)”.
Brazilian version of the ESRD-SI is reliable for use in patients with the characteristics in the sample we surveyed. (J Bras Nefrol 2005;27(2):57-62)
K e y w o r d s : Severity of illness index. Questionnaires. Translating. Reproducibility of results. Kidney failure. Renal dialysis.
INTRODUÇÃO
O Índice de Gravidade da Doença Renal Terminal (ESRD-SI – End Stage Renal Disease – Severity Index) foi desenvolvido por Craven, Littlefield, Rodin e Murray, em trabalho conjunto dos Departamentos de Psiquiatria e Nefrologia da Universidade de Toronto, Canadá, e objetiva padronizar a avaliação médica, atentando para a condição global do paciente. Foi criado para funcionar como uma variável controlável, aplicável sobretudo em estudos que envolvem a avaliação de fatores psicossociais relacionados à Insuficiência Renal Crônica terminal (IRC terminal). Além de sua utilidade em pesquisas, o ESRD-SI é apropriado para o registro sistemático da evolução clínica de pacientes em tratamento dialítico1.
Os estudos de validade e de confiabilidade rea-lizados com o ESRD-SI na língua inglesa forneceram resultados satisfatórios, atestando a consistência desse instrumento1,2.
O ESRD-SI permite a realização de estudos meto-dologicamente mais rigorosos, pois possibilita a unifor-midade da avaliação clínica e sua comparação com esca-las psicológicas e sociais que venham a ser utilizadas. Possibilita também, ao sistematizar o registro da gravi-dade da doença renal, o acompanhamento mais acurado da evolução clínica de pacientes em programa de diálise crônica. Vários estudos têm apontado para a alta preva-lência de depressão em pacientes com Insuficiência Renal Crônica (ESRD), sendo esta também associada à baixa adesão ao tratamento e aumento de mortalidade3-5. O
ESRD-SI, ao padronizar a avaliação clínica, contribui para o melhor desenvolvimento desses estudos e para a detecção precoce de alterações clínicas que possam vir a ser revertidas. Nesse sentido, o instrumento pode ser con-siderado um importante aliado para o exame e manu-tenção da qualidade do tratamento adotado para pacientes com ESRD. Pela sua eficácia comprovada, o ESRD-SI tem sido utilizado também como parâmetro na validação de outros instrumentos6-8.
Como não dispúnhamos de um instrumento equi-valente na língua portuguesa, objetivamos neste trabalho realizar a tradução do ESRD-SI e o estudo de confiabi-lidade da versão traduzida, procedimentos iniciais para sua adaptação transcultural.
MATERIAL E MÉTODO
End Stage Renal Disease – Severity Index (ESRD-SI)
Consiste em 11 categorias que se referem às doen-ças, complicações e condições associadas mais comu-mente encontradas em pacientes com IRC terminal. Não inclui distúrbios psiquiátricos e psicológicos, atendo-se a alterações orgânicas. As categorias são: doenças cardio-vasculares, doenças cérebro-cardio-vasculares, doença vascular periférica, neuropatia periférica, doenças ósseas, doenças respiratórias, danos visuais, neuropatia autonômica e dis-túrbios gastrointestinais, acesso e eventos em diálise, dia-betes mellitus, e uma categoria residual (“outras”)1.
Cada categoria contém uma graduação de classi-ficações possíveis que correspondem a valores numéricos que foram calculados proporcionalmente para cada uma. Essa proporção indica a gravidade orgânica do paciente em cada categoria e é estabelecida de acordo com a pon-tuação obtida: zero – ausência de alterações, 1 a 3 pontos – alteração bioquímica ou leve indicação de doença, 4 a 6 pontos – sinal físico de gravidade, desvantagem ou de prognóstico moderado, 7 a 8 pontos – desvantagem física ou prognóstico grave, e de 9 a 10 pontos – condição iminentemente letal1.
A gravidade global é obtida pela somatória das pontuações obtidas nas 11 categorias e pode variar de zero a 94, que são classificados assim: 0 ponto – ausência de condição de doença (além da IRC terminal), 1 a 24 pontos – leve, 25 a 43 pontos – leve para moderada, 44 a 58 pontos – moderada, 59 a 76 pontos – moderada para grave, 77 a 94 pontos – grave.1 A versão brasileira do ESRD-SI pode ser observada ao final deste artigo (anexo).
Tradução
Após contatados os responsáveis pelo instrumento – A.C. Rydall e G. Rodin – e obtida a autorização para utilizá-lo em nosso país, o ESRD-SI foi traduzido para o português por um nefrologista.
Sujeitos
Uma amostra aleatória de 20 pacientes com dia-gnóstico de IRC terminal em Programa de Hemodiálise Ambulatorial foi avaliada com o ESRD-SI. Os pacientes avaliados foram os que chegavam ou saíam da sessão de hemodiálise enquanto o médico fazia as avaliações em sala próxima. Assim que se concluía a avaliação de um paciente, o próximo a chegar ou deixar a hemodiálise era convidado a passar pela avaliação. O segundo avaliador
tinha que necessariamente abordar os mesmos pacientes, seguindo a lista de nomes fornecida pelo primeiro ava-liador e respeitando o limite de tempo estabelecido para a ocorrência da segunda avaliação. Caso o limite de tempo fosse ultrapassado, as avaliações não seriam incluídas na amostra.
Estudo de Confiabilidade
Utilizando o método da confiabilidade entre dife-rentes avaliadores, dois nefrologistas avaliaram indepen-dentemente cada um dos 20 pacientes, com intervalo máximo de dois dias entre as avaliações de um mesmo paciente.
Análise Estatística
A amostra foi caracterizada em relação ao sexo, idade e tempo de permanência em hemodiálise (em meses). A observação do grau de concordância nas pon-tuações totais, da classificação em categorias entre as duas avaliações e o Coeficiente de Correlação de Postos de Spearman foi utilizada para aferir a confiabilidade da versão brasileira do ESRD-SI.
RESULTADOS
Os pacientes apresentaram idades entre 17 e 80 anos, com média de 48 anos, mediana de 45,5 e desvio padrão de 17,5. A amostra constituiu-se de 12 (60%) pacientes do sexo feminino e 8 (40%) do sexo masculino. O tempo médio em que estavam em hemodiálise foi de 29,5 meses, mediana de 21,5 meses e desvio-padrão de 29,61 (variação de 3 a 117 meses).
Quanto à classificação nas categorias do ESRD-SI, 16 (80%) pacientes obtiveram pontuação corres-pondente à categoria “leve” e 4 (20%), “leve para m o d e r a d o ” ; não houve divergência de classificação entre os dois avaliadores em relação às categorias do instrumento. Esses resultados podem ser observados através da tabela 1.
Em relação à pontuação total obtida nas duas avaliações, houve diferença quanto a 5 (25%) dos pa-cientes. Em 4 desses pacientes a pontuação nas ava-liações teve variação de 2 pontos, e em 1 deles a varia-ção foi de 4 pontos. A diferença de pontuavaria-ção pode ser observada na tabela 2. O valor da mediana obtida através dos escores totais de cada avaliador foi o mesmo (15). A média e desvio-padrão apresentaram resultados diferentes, divergindo em 0,4 pontos na média e 0,1 no desvio-padrão. O valor mínimo e máximo do desvio-padrão foi o mesmo para ambos os avaliadores. Esses dados podem ser observados através da tabela 3.
O Coeficiente de Correlação de Spearman calculado foi 0,994 (p< 0,001) e a figura 1 ilustra a associação dos resultados obtidos independentemente pelos 2 avaliadores. Não houve discordância quanto à classificação em categorias (concordância= 100%).
Tabela 1. Classificação dos pacientes nas categorias do ESRD-SI pelos avaliadores.
Avaliador 1 Avaliador 2
Leve Leve para moderado Total
Leve 16 0 16
Leve para moderado 0 4 4
Total 16 4 20
Tabela 2. Pacientes com diferença de pontuação nas duas avaliações.
P a c i e n t e s Avaliador 1 Avaliador 2 Categorias do ESRD-SI
Nº 03 27 29 Leve para moderado
Nº 08 23 21 Leve
Nº 12 11 13 Leve
Nº 13 10 12 Leve
Nº 14 17 21 Leve
Tabela 3. Resumo estatístico dos escores totais obtidos pelos avaliadores. Avaliador 1 Avaliador 2 Média 15,4 15,8 Mediana 15,0 15,0 Desvio-padrão 11,7 11,8 Mínimo 1,0 1,0 Máximo 43,0 43,0
Figura 1. Correlação entre os escores totais obtidos pelo ava-liador 1 e avaava-liador 2 no ESRD-SI.
DISCUSSÃO
O método da tradução direta foi adotado porque o ESRD-SI consiste basicamente em termos objetivos que nomeiam situações da doença, prescindindo assim do uso da retro-tradução, procedimento de tradução mais rigo-roso que visa garantir a equivalência semântica das ver-sões de um instrumento9. Os responsáveis pela escala –
Rydall e Rodin – concordaram com o método de tradução adotado.
Os pacientes foram avaliados individualmente para que não houvesse possibilidade dos examinadores se influenciarem no momento de seus registros. O intervalo máximo de dois dias entre as duas avaliações de cada paciente visou restringir as chances de alterações do estado clínico a ser aferido. Assegurando-se que o modo de aferição e as condições observadas se mantiveram constantes, a confiabilidade do ESRD-SI, ou seja, o quan-to este índice permite que um dado fenômeno seja preci-samente mensurado, foi estimada através de medidas de correlação e de concordância aplicadas aos resultados das avaliações10-18.
Embora o uso da estatística Kappa (medida de concordância para variáveis categoriais) seja a mais indicada para se avaliar a confiabilidade de um instru-mento, constatamos já ao tabular os dados que a concor-dância era absoluta (100%). Prescindiu-se, então, da apli-cação do coeficiente de concordância Kappa, dado o índice ter sido obtido diretamente. De fato, ao fazer-se o cálculo observa-se que o resultado seria o mesmo (100% de concordância para a classificação em categorias). Por outro lado, apesar de o coeficiente de correlação não ser o mais apropriado para se avaliar a confiabilidade de um instrumento, ainda é muito utilizado e citado na literatura científica. Optamos por utilizá-lo como forma de com-plementar nossa avaliação19.
Os resultados dessas medidas apontaram para a confiabilidade do instrumento (índices acima de 99%). Em relação à concordância, observamos que foi absoluta (100%) quanto à classificação em categorias do ESRD-SI e parcial (75%) quando comparamos os resultados numéricos obtidos pelos dois avaliadores (tabela 1). A magnitude das diferenças encontradas nas pontuações foi insuficiente para determinar a inclusão de um mesmo paciente em categorias distintas e resultantes da ocor-rência de erro casual, pois não se repetiram sistema-ticamente por toda a amostra ou entre os pacientes em que houve diferença na pontuação total3,4.
Como a confiabilidade é inversamente propor-cional à quantidade de erros existente, utilizar uma amos-tra pequena pressupõe adotar nível de significância mais alto do que para amostras maiores, pois estão mais
pro-pensas à ocorrência de erro20. Norman e Streiner (1994)21
propõem uma fórmula para estabelecer valores mínimos aceitáveis de correlações para amostras de diferentes tamanhos, que podem ser obtidos nas tabelas de signi-ficância de correlações dos manuais estatísticos22. Assim,
o valor mínimo de correlação aceitável para uma amostra de 10 pacientes seria de 0,75, para uma amostra de 30 seria de 0,52 e para uma amostra de 100 pacientes o valor corresponderia a 0,31. Embora a amostra que estudamos possa ser considerada pequena, ao adotarmos os parâmetros referidos (p< 0,001 e valor de correlação elevado) pudemos assegurar que os resultados seriam de fato indicativos da confiabilidade do instrumento.
A amostra estudada, embora heterogênea (vide da-dos demográficos em resultada-dos), não abrangeu classifi-cações em todas as categorias possíveis do ESRD-SI, concentrando-se em gravidades mais brandas (leve e leve para moderado). É possível que pacientes com maiores índices de gravidade encontrem-se em situação de inter-nação hospitalar e por isso não tenham sido contemplados em nossa amostra, que avaliou apenas pacientes em hemodiálise ambulatorial. Nosso objetivo foi estimar a precisão da versão brasileira do ESRD-SI quando utili-zado por diferentes avaliadores e, assim, o quadro clínico em si não era objeto de interesse do estudo realizado. Supomos que os índices de confiabilidade obtidos se manteriam similares com a inclusão da classificação nas demais categorias, dada a concordância observada entre os avaliadores quanto ao registro da avaliação clínica no ESRD-SI. A rigor contudo, é necessário que esta hipótese seja testada, realizando-se estudo cuja amostragem contemple classificações em todas as categorias do ESRD-SI.
CONCLUSÃO
A versão brasileira do ESRD-SI demonstrou ser confiável para pacientes com as características da amostra estudada, sendo viável sua utilização na prática clínica e em pesquisas com populações similares.
AGRADECIMENTOS
Agradecemos ao Hospital Santa Marcelina de São Paulo, ao Dr. Rui Antônio Barata, Dr. Alberto Fernandes e equipe de enfermagem por permitirem e facilitarem a avaliação de pacientes inscritos em seu Programa de Hemodiálise; à Dra. Célia M.H. Watanabe pela colabo-ração na realização das avaliações, e aos pacientes pela prontidão com que aceitaram participar desse estudo.
ÍNDICE DE GRAVIDADE DA DOENÇA RENAL TERMINAL (ESRD-SI)
NOME: DATA:
TEMPO DE DIÁLISE: IDADE:
Por favor, classifique a severidade da(s) doença(s) orgânica(s) que você determinou estar(em) presente(s) neste paciente no momento. Guie-se pelos exemplos dados, atribuindo uma classificação para cada uma das categorias preenchidas através de uma “marca” em cada uma das escalas dadas. Coloque uma marca na coluna ausente se a doença for ausente. As classificações devem ser baseadas na natureza da doença orgânica subjacente e devem ser feitas independentemente das reações do paciente à doença.
Categoria da Doença Classificação da Gravidade
Doença Cardíaca Ausente Suave Moderada Grave
Ex: Angina ocasional Ex: Angina com Ex: Angina severa ou
aos esforços ou sem falência cardíaca falência cardíaca,
incapacidade aos mínimos esforços
Doença Vascular Ausente Suave Moderada Grave
Cerebral Ex: TIA ocasional Ex: TIA recorrente Ex: (AVC) com déficit ou amaurose fugaz
Neuropatia Periférica Ausente Suave Moderada Grave
Ex: Parestesia Ex: Desordens sensitivas Ex: Miopatia
Doença Vascular Ausente Suave Moderada Grave
Cerebral Ex: TIA ocasional ou Ex: TIA recorrente Ex: (AVC) com déficit amaurose fugaz
Doença Óssea Ausente Suave Moderada Grave
Ex: Mínimos sintomas, Ex: Dor óssea sempre Ex: Fraturas patológicas
alterações bioquímicas presente: alterações
e radiológicas evidentes radiológicas
Doenças Respiratórias Ausente Suave Moderada Grave
Ex: SOB com Ex: SOB aos esforços Ex: SOB ao respouso
períodos de bronquite moderados, infecções
respiratórias freqüentes
Dano Visual Ausente Suave Moderada Grave
Ex: Visão não é clara Ex: Não consegue dirigir Ex: Incapaz de ler mesmo
como antes, incapaz devido a dano visual, letras grandes, incapaz
de ver detalhes, pode capaz de ler “outdoors” de se mover sem
ler com pequeno esforço apoio, não vê TV
Neuropatia Autonômica Ausente Suave Moderada Grave
& Distúrbios GI Ex: Náuseas, Ex: Náuseas, Ex: Vômito toda
sensação de vômitos, síncope diálise, síncope
fraqueza pós-diálise ocasional pós-diálise
Acesso & Eventos da Ausente Suave Moderada Grave
Diálise Ex: Mal posicionamento Ex: Peritonite, infecção Ex: Falência de membrana,
ocasional, facilmente de cateter, baixo fluxo múltiplos surtos de
corrigível peritonite,trombose,
hemorragia pulmonar
Diabetes Ausente Suave Moderada Grave
Ex: Não insulino- Ex: Hipoglicemia Ex: Freqüente
dependente ocasional, hipoglicemia ou
glicemia elevada cetoacidose
Outros (Especificar) Ausente Suave Moderada Grave
PONTUAÇÃO
Cada categoria da doença no ESRD-SI pode ser classificada em “Ausente” ou em um dos 5 pontos da escala de gravidade. A pontuação mínima de cada categoria é “Zero”, a pontuação máxima é “Dez”.
A pontuação para cada classificação possível é ponderada. O ESRD-SI corresponde à soma das pontuações obtidas nas 11 categorias.
- Doença Cardíaca: 0 - 3 - 5 - 6 - 8 - 10 - Doenças Respiratórias: 0 - 3 - 5 - 6 - 8 - 10
- Doença Vascular Cerebral 0 - 5 - 6 - 7 - 8 - 9 - Dano Visual 0 - 2 - 4 - 5 - 6 - 8
- Doença Vascular Periférica 0 - 3 - 4 - 5 - 7 - 8 - Neuropatia Autonômica & Distúrbios GI 0 - 2 - 4 - 5 - 7 - 8
- Neuropatia Periférica 0 - 2 - 3 - 4 - 5 - 7 - Acesso & Eentos da Diálise 0 - 1 - 4 - 6 - 7 - 9
- Doenças Ósseas 0 - 1 - 3 - 5 - 7 - 8 - Diabetes 0 - 1 - 3 - 5 - 7 - 9
- Outros 0 - 1 - 2 - 4 - 6 - 8 Total de Pontos:_______
J. Craven, C. Littlefield, G. Rodin, M. Murray (1991). Departments of Psychiatry and Nefrology, Toronto Hospital, University of Toronto, Canadá. Tradução e adaptação brasileira: Patrícia P. Fonseca / Ana F. F. de Oliveira.
12. Fletcher RH, Fletcher SW, Wagner EH. Epidemiologia clínica: elementos essenciais. 3a ed., Porto Alegre:Artes Médicas, 1996.
13. Bartko JJ, Carpenter WT. On the methods and theory of reliability. J Nerv Mental Dis 1976;163:307-17.
14. Crocker L, Algina J. Introduction to classical and modern test theory. USA:Harcourt Brace Javonovich Collegge Publishers, 1986. p. 105-54.
15. Cronbach LJ. Fundamentos da testagem psicológica. 5e ed., Porto Alegre:Artes Médicas, 1996. p. 138-201.
16. Siegel S, Castellan Jr. NJ. Nonparametric statistics for the behavioral sciences. 2nd ed., Singapore:M c G r a w - H i l l International Editions, 1988.
17. Cohen BH. Explaining psychological statistics. USA:Brooks/Cole Publishing Company, 1996. p. 325-47. 18. Fleiss JL. Measuring agreement between two judges on the
presence or absence of a trait. Biometrics 1975;31:651-9. 19. Grove WM, Andreasen NC, McDonald-Scott P, Keller MB,
Shapiro RW. Reliability studies of psychiatric diagnosis. Arch Gen Psych 1981;38:408-13.
20. Levin J. Estatística aplicada a ciências humanas. 2ª edição, São Paulo:Harbra, 1987.
21. Norman GR, Streiner DL. Biostatistics the bare essentials. USA:Mosby-Year Book Inc., 1994.
22. Anastasi A. Testes psicológicos. 2ª edição, São Paulo:EPU, 1977. p. 3-146.
Endereço para correspondência:
Patricia Pinto Fonseca
Rua Borges Lagoa 564, conjuntos 51 e 52 04038-001 São Paulo, SP
Telefone/fax: (11) 5549-5270
E-mail: fonsecapp@uol.com.br / ppfonseca@psiquiatria.epm.br
REFERÊNCIAS
1. Craven J, Littlefield C, Rodin G, Murray M. The end-stage renal disease severity index (ESRD-SI). Psych Med 1991;21:237-43.
2. Griffin KW, Friend R, Wadhwa NK. Measuring disease severity in patients with end-stage renal disease: validity of the Craven et al. ESRD Severity Index. Psych Med 1995;25:189-93.
3. Kimmel PL, Peterson RA, Weihs KL, Simmens SJ, Alleyne S, Cruz I, et al. Psychosocial factors, behavioral compliance and survival in urban hemodialysis patients. Kidney Int 1998;54:245-54.
4. Kimmel PL. Psychosocial factors in adult end-stage renal disease patients treated with hemodialysis: correlates and outcomes. Am J Kidney Dis 2000;35:132-40.
5. Kimmel PL, Peterson RA, Weihs KL, Simmens SJ, Alleyne S, Cruz I, et al. Multiple measurements of depression predict mortality in a longitudinal study of chronic hemodialysis outpatients. Kidney Int 2000;57:2093-8.
6. Penley JA, Nwosu AN, Wiebe JS. Psychometric properties of the Spanish Beck Depression Inventory-II in a medical sample. Psych Assess 2003;15:569-77.
7. Maor Y, King M, Olmer L, Mozes B. A comparison of three measures: the time trade-off technique, global health-related quality of life and the SF-36 in dialysis patients. J Clin Epidemiol 2001;54:565-70.
8. Devins GM, Mendelssohn DC, Barré PE, Binik YM. Predialysis psychoeducational intervention and coping styles influence time to dialysis in chronic kidney disease. Am J Kidney Dis 2003;42:693-703.
9. Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. New York:Oxford University Press, 1989.
10. Carmines EG, Zeller RA. Reliability and validity assessment. 2nd ed., USA:SAGE Publications, 1979. p. 5-71.
11. Rust J, Golombok S. Modern psychometrics: the science of psychological assessment. 3rd ed., L o n d o n : R o u t l e d g e, 1995. p. 69-88.
