55
Propriedades psicométricas da versão Torga do Teste Stroop
Psychometric properties of Torga version of the Stroop Test Artigo Original | Original Article
Inês Queiroz Garcia, Psy M (1a) Inês Amaral Pessoa, Psy M (1b) Bárbara Monteiro, Psy M (1c) Fernanda Daniel, PhD (1d) Laura Lemos, PhD (1d) Helena Espirito-Santo, PhD (1e)
(1)Instituto Superior Miguel Torga, Coimbra, Portugal.
(a)Recolha e inserção de dados, elaboração do texto, análise estatística e revisão do texto. (b)Recolha e inserção de dados e elaboração do texto.
(c)Elaboração e revisão do texto.
(d)Revisão dos procedimentos e análise estatística.
(e)Coordenação do projeto Estudos Normativos de Instrumentos Neuropsicológicos.
Autor para correspondência | Corresponding author: Helena Espírito Santo; Rua Augusta, 46, 3000-061 Coimbra, Portugal: +351 239 483 055; helenum@gmail.com
Palavras-Chave
Teste Stroop Controlo Inibitório Atenção
Flexibilidade cognitiva Propriedades psicométricas
Keywords
Stroop test Inhibitory control Attention Cognitive flexibility Psychometric analysis
RESUMO
Objetivos: Uma nova versão portuguesa do teste Stroop é fundamental para a avaliação neuropsicológica. A versão portuguesa prévia incluía cores que muitas pessoas não conseguiam distinguir. Assim, é objetivo descrever as propriedades psicométricas de uma nova versão, designada versão Torga do Teste Stroop, numa amostra da população portuguesa.
Métodos: Inserida no projeto Estudos Normativos de Instrumentos Neuropsicológicos, esta investigação conta com uma amostra global constituída por 544 participantes (241 homens e 303 mulheres) com idades compreendidas entre os 18 e os 97 anos. A avaliação foi realizada com recurso à versão Torga do Teste Stroop, à Figura Complexa de Rey-Osterrieth e à Bateria de Avaliação Frontal enquanto instrumentos de avaliação das funções executivas.
Resultados: A versão Torga do Teste Stroop revelou uma consistência interna muito boa (α de Cronbach = 0,99). Revelou também adequada estabilidade temporal e validade convergente.
Conclusão: A versão Torga do Teste Stroop aparenta ser um instrumento apropriado à avaliação neuropsicológica de adultos portugueses. Considerando a importância deste teste no contexto da avaliação neuropsicológica, incentivam-se estudos com novas amostras, incluindo amostras clínicas.
ABSTRACT
Goals: A new Portuguese version of the Stroop Test is essential for the neuropsychological assessment. The previous Portuguese version included colors that many people could not distinguish. Thus, it is aimed to describe the psychometric properties of a new version, called the Torga version of the Stroop Test in a sample of the Portuguese population.
Methods: Being part of the Estudos Normativos de Instrumentos Neuropsicológicos/ Normative Studies of Neuropsychological Instruments, this research has a global sample of 544 subjects (241 men and 303 women) aged from 18 to 97 years. The assessment included the Torga version of the Stroop Test, the Rey-Osterrieth Complex Figure and the Frontal Battey Assessment, used as measures of executive functions.
Results: The Torga version of the Stroop Test showed a very good internal consistency (Cronbach's α = 0.99). It also revealed an adequate temporal stability and convergent validity.
Conclusion: The Torga version of the Stroop Test appears to be an adequate instrument for the neuropsychological assessment of Portuguese adults. Considering the importance of this test in the context of neuropsychological assessment, more studies with new samples, including clinical samples are encouraged.
Recebido | Received: 19/09/2016 Revisto | Reviewed: 28/09/2016 Aceite | Accepted: 29/09/2016
56
INTRODUÇÃO
As funções executivas têm um papel central na vida humana, permitindo a realização de ações voluntárias e auto-organizadas (Capovilla, Assef e Cozza, 2007) e, consequentemente, a sua avaliação neuropsicológica torna-se extremamente relevante nos mais diversos contextos (e.g., clínico, educacional, forense). O funcionamento executivo figura como um conjunto de
capacidades quecobrem processos cognitivos, tais como
o controlo inibitório, a tomada de decisão, a flexibilidade cognitiva e a atenção seletiva (Chan, Shum, Toulopoulou e Chen, 2008; Lezak, Howieson e Loring, 2004). No entanto, apesar da aplicabilidade da avaliação neuropsicológica, não existe consonância na forma de operacionalizar e medir as funções executivas (Alvarez e Emory, 2006), sendo o investimento nesta área necessário.
Tal como referido anteriormente, a atenção seletiva, a flexibilidade cognitiva e o controlo inibitório integram o funcionamento executivo, cumprindo funções que têm impacto nas tarefas quotidianas. A atenção seletiva consiste no processamento de informação necessária e
relevante, passando pelo desenvolvimento de
mecanismos cerebrais inibitórios (Dalgalarrondo, 2008). Assim, é a capacidade de atender a um estímulo relevante ignorando outro que seja irrelevante para a tarefa em questão (Glisky, 2007; Muir, 1996). A flexibilidade cognitiva diz respeito à capacidade de alternar entre ações e de redirecionar a atenção para uma nova ação quando as regras da anterior estão ainda na mente (Burgess, Alderman, Evans, Emslie e Wilson, 1998; Miyake et al., 2000; Troyer, Moscovitch, Winocur, Alexander e Stuss, 1998). Por sua vez, o controlo inibitório refere-se à habilidade de inibir respostas competitivas. Consiste, então, na capacidade de inibir comportamentos, pensamentos distratores ou respostas a estímulos que interrompam o percurso eficaz de uma ação (Barkley, 1997; Kaplan, Sengör, Gürvit e Güzelis, 2007; Logan, Cowan e Davis, 1984; Sternberg, 1966).
Neste sentido, um dos instrumentos
neuropsicológicos que avalia as funções executivas, mais precisamente a atenção seletiva, a flexibilidade cognitiva e o controlo inibitório é o Teste Stroop (Gyurak et al., 2009; Kanne, Balota, Spieler e Faust, 1998; Lezak et al., 2004; Strauss, Sherman e Spreen, 2006; Treisman e Fearnley, 1969). Este teste tem como princípio o efeito de interferência provocado pela incongruência entre uma palavra e a cor da tinta em que esta é escrita. Este efeito
denomina-se efeito de Stroop, sendo explicado pela
diminuição da velocidade na nomeação da cor da palavra comparativamente à velocidade de leitura (Strauss et al.,
2006). Neste sentido, compreende-se que este teste mede ainda outro domínio e que é a velocidade de
processamento da informação (MacLeod, 2005).
Originalmente descrito por Stroop (1935), e sendo necessário inibir a resposta de leitura dando lugar a uma resposta de nomeação, este efeito reflete uma expressão do funcionamento executivo: o controlo inibitório (Zacks e Hasher, 1994).
Desde a sua construção, o Teste Stroop tem sido aplicado em vários contextos, revelando-se importante para a identificação e diagnóstico de perturbações psíquicas ou de alterações no funcionamento de diferentes processos cognitivos (Golden, 1978). A sua importância clínica mantém-se, tal como mostra a revisão dos estudos mais recentes. Assim, este instrumento tem contribuído para a compreensão de diversos quadros psicopatológicos e de doenças neurodegenerativas, como a doença de Alzheimer (Balota, Hutchison e Duchek, 2010; Bélanger, Belleville e Gauthier, 2010), a depressão (Dalby et al., 2012; Epp, Dobson, Dozois e Frewen, 2012), a esquizofrenia (Barch, Carter e Cohen, 2004), a esclerose múltipla (Denney e Lynch, 2009; Vitkovitch, Bishop, Dancey e Richards, 2002) e a doença de Parkinson (Hsieh, Chen, Wang e Lai, 2008).
Desde a sua formulação inicial até às versões mais recentes, o Teste Stroop é composto, essencialmente, por duas tarefas. Na versão que vamos usar neste estudo (Trenerry, Crosson, DeBoe e Leber, 1995), a primeira tarefa consiste na leitura de 112 palavras-cor presentes num cartão estímulo distribuídas aleatoriamente em quatro colunas de vinte e oito palavras-cor. Ao participante é pedido que leia as palavras o mais rápido possível (leitura das colunas na vertical). Na segunda tarefa o participante é instruído a nomear cores impressas que são incongruentes com as palavras escritas, de novo o mais rápido possível. O tempo empregue em cada tarefa é contabilizado até uma duração máxima de 120 segundos.
Acrescente-se que o Teste Stroop secaracteriza por ser aplicável apenas a sujeitos que saibam ler. De sublinhar que apenas as provas realizadas através do cartão estímulo são cotadas, sendo as tarefas prévias apenas de treino (Fisher, Freed e Corkin, 1990; Lezak et al., 2004; Strauss, Sherman e Spreen, 2006).
No que respeita à pontuação, esta resulta do somatório do número de respostas corretas em cada tarefa, subtraindo a estas as respostas incorretas dadas pelo participante. Para que exista controlo nas diferenças individuais no que respeita à nomeação da cor, o somatório de respostas corretas é dividido pelo tempo empregue pelo participante na tarefa (Trenerry et al., 1995). A divisão do número de cores nomeadas corretamente pelo tempo gasto é considerada uma
medida da atenção (Cohen, Dunbar e McClelland, 1990).
Tipicamente, ocorre diminuição da velocidade na tarefa da
nomeação da cor que reflete o efeito Stroop ou efeito de
interferência cor-palavra (Strauss et al., 2006). A diferença de pontuação entre a divisão da leitura e a divisão da
nomeação mede o controlo inibitório (Lansbergen,
Kenemans e van Engeland, 2007).
Como referido em cima, existem vários formatos deste teste (Lezak et al., 2004; Strauss, Sherman e Spreen, 2006). Na versão de Trenerry et al. (1995), uma das mais curtas, o Teste Stroop inclui 112 itens e é composto por quatro cores (azul, vermelho, verde e amarelo). No entanto, devido a razões culturais, Castro, Martins e Cunha (2003) alteraram as cores da versão portuguesa deste instrumento. Esta adaptação do instrumento à população portuguesa levou a que as cores amarelo e vermelho fossem alteradas para cinza e rosa, devido à dimensão das palavras (número de letras) poder levar a um enviesamento dos resultados, nomeadamente, do tempo utilizado pelos participantes (Castro et al., 2003).
No decurso do Projeto Trajetórias do
Envelhecimento de Idosos sob Resposta Social do Instituto
Superior Miguel Torga, houve a necessidade de criar uma nova versão do Teste Stroop porque, na versão de Castro, Martins e Cunha (2000) as cores cinza e rosa não eram distintas o suficiente. As pessoas de idades mais avançadas, em particular, tinham mais dificuldade em percecionar bem as cores, podendo ser desta forma penalizadas indevidamente (Nascimento, 2012). Nasceu assim uma nova versão do Teste Stroop, denominada por
versão Torga e desenvolvida no projeto Estudos
Normativos de Instrumentos Neuropsicológicos (ENIN),
que promoveu a supressão de saturações baixas de cor e procurou designação de quatro novas cores, não perdendo de vista designações com dimensões
semelhantes. Para a seleção das cores, procedeu-se a um estudo piloto com 14 pessoas usando as cores amarela
(XXXXX), castanha (XXXXX), cinza (XXXXX), vermelho
(XXXXX), dois tons de azul (XXXXX, XXXXX), laranja (XXXXX), roxo (XXXXX), preto (XXXXX), verde (XXXXX)e
rosa (XXXXX). As cores mais reconhecidas foram o
vermelho, o azul, o preto, o verde e o rosa. Tendo em consideração a dimensão da designação das palavras, escolheu-se então o preto (cor hexadecimal 000000), o azul (cor hexadecimal 0096FF), o rosa (cor hexadecimal FF72DE) e o verde (cor hexadecimal 00E000). As cores utilizadas foram corrigidas por forma a apresentar um valor tonal baixo (mais escuro) e uma maior saturação de cor (intensidade) para facilitar o seu reconhecimento e a sua discriminação.
Atendendo à escassez de estudos do Teste Stroop para a população portuguesa, esta investigação pretende ser um contributo no desenvolvimento da pesquisa sobre este teste. Por ser um teste relevante em estudos de atenção, flexibilidade cognitiva e controlo inibitório (Kaplan et al., 2007; Langenecker, Nielson e Rao, 2004; Zacks e Hasher, 1994) e aplicável em diversos contextos, o presente estudo tem como objetivo descrever as pontuações obtidas nas provas do Teste Stroop, averiguar a adequação das cores e verificar as
propriedades psicométricas (consistência interna,
estabilidade teste-reteste e validade convergente) da versão Torga do Teste Stroop numa amostra da população portuguesa.
MÉTODO
Participantes
O estudo decorre de uma amostragem por conveniência. De acordo com os objetivos propostos para
este estudo, foram excluídos da amostra global (N = 770)
pessoas sem escolaridade (n = 4) e pessoas com défice
cognitivo (n = 22). As pessoas com défice cognitivo foram
selecionadas por apresentarem pontuações abaixo de 9 para a Bateria de Avaliação Frontal (FAB) (Dubois, Slachevsky, Litvan e Pillon, 2000). Refira-se que a aplicação do Teste de Stroop não pode ser implementada em participantes que não reconheçam a cor (e.g., daltonismo, diabetes), sendo que estes não foram incluídos na amostra
global. O Teste Stroopespecificamente, caracteriza-se ainda
58
Tabela 1
Caracterização Sociodemográfica (N = 544)
n %
Sexo Masculino 241 44,3
Feminino 303 55,7
Idade
(M = 48,48;
DP = 20,26)
18 - 30 125 23,0
31 - 40 91 16,7
41 - 50 100 18,4
51 - 60 81 14,9
61 – 70 52 9,6
71 - 80 41 7,5
81 - 90 44 8,1
91 - 100 10 1,8
Escolaridade
(M = 11,41;
DP = 5,61)
Ensino básico 219 41,5
Ensino secundário 143 27,1 Ensino superior 166 31,4
Regiões
Norte 39 7,2
Centro 464 85,3
Sul 41 7,5
Tipologia de áreas urbanas
Urbano 287 52,8
Misto 15 2,8
Rural 242 44,5
Notas:M = média; DP = desvio-padrão.
Instrumentos
A Bateria de Avaliação Frontal (FAB, Frontal Assessment
Battery; Dubois et al., 2000) é um instrumento, de
administração rápida, usado para avaliar as funções executivas. A FAB é composta por seis subtestes que avaliam domínios relacionados com os lobos frontais,
nomeadamente: conceptualização (tarefa das
semelhanças), flexibilidade mental (tarefa da fluência verbal), programação (séries motoras de Luria), sensibilidade à interferência (tarefa com instruções
antagónicas) controlo inibitório (tarefa de Go-No-Go) e
autonomia ambiental (comportamento de preensão). Cada um tem uma pontuação variável entre zero e três, num total entre zero e dezoito pontos, verificando assim a existência ou não de disfunção executiva e a sua graveza (Dubois et al., 2000; Lima, Meireles, Fonseca, Castro e Garrett, 2008). Neste estudo, o valor de alfa de Cronbach foi de 0,60, sendo a consistência interna aceitável para um instrumento com apenas seis itens. Tendo em consideração os constructos avaliados pelo teste Stroop, para a validade convergente deste teste elegeram-se as tarefas da fluência
verbal, instruções antagónicas e a do Go-No-Go da FAB.
A Figura Complexa de Rey-Osterrieth (FCR-O, Rey
Complex Figure Test; Osterrieth, 1944) consiste numa figura
geométrica composta por um retângulo grande, bissetores horizontais e verticais, duas diagonais e detalhes geométricos adicionais interna e externamente ao retângulo grande. Este instrumento apresenta-se repartido em três momentos. Na primeira tarefa, o desenho é apresentado horizontalmente devendo o participante copiá-lo para uma folha em branco. São fornecidos lápis de cores diferentes em sequência para a cópia da figura, sendo
pedido aos participantes a troca dos mesmos durante a prova. A distinção de cores permite que seja observada a sucessão dos elementos copiados e avaliada a capacidade de desenvolvimento da estratégia utilizada (Spreen e Strauss, 1988). Três minutos após o término da cópia, e avançando para a segunda tarefa, solicita-se ao examinando que reproduza de novo a figura de memória. Repete-se o mesmo procedimento após vinte minutos do termino da segunda tarefa, concluindo a terceira e última tarefa da FCR-O. Na presente investigação foi utilizada somente a componente de cópia, com recurso ao método de Osterrieth (1944) para avaliar os dezoito elementos da figura. A pontuação adjudicada pode variar entre dois pontos (elemento correto e bem posicionado), um ponto (elemento correto e reconhecível, mas mal posicionado), meio ponto (elemento que se encontra mal colocado, incompleto, deformado, mas reconhecível) e zero pontos (elementos que estejam irreconhecíveis ou ausentes). A pontuação máxima é de trinta e seis pontos. O alfa de Cronbach deste instrumento revelou uma boa consistência interna no presente estudo (α de Cronbach = 0,84).
Procedimentos
Esta investigação está integrada no projeto ENIN do Instituto Superior Miguel Torga, cujo objetivo é a validação de testes neuropsicológicos para a população portuguesa. A recolha de dados para este projeto teve início em outubro de 2014, tendo o recrutamento decorrido na comunidade e sido realizado por um grupo de investigadores de proveniências regionais diversas, desde o norte ao sul do país. Estes investigadores consistiram em alunos de mestrado em Psicologia Clínica do Instituto Superior Miguel Torga, tendo todos eles treinado previamente com os seus familiares mais próximos (não incluídos nas análises). Cada investigador avaliou um conjunto aleatório de pessoas entre todas as suas relações (familiares, de amizade ou profissionais) com estratificação por idade. Alguns participantes indicaram outros sujeitos seus conhecidos, muitas vezes de zonas geográficas diferentes que foram também incluídos. Após cedido o consentimento informado dos participantes foi iniciada a administração de uma bateria de testes. Os testes foram administrados individualmente em espaços reservados sem elementos
distrativos. Esta bateria integrou cinco testes
neuropsicológicos, três testes/questionários relativos a sintomatologia e um questionário sociodemográfico. Neste estudo serão observados os dados que foram recolhidos da versão Torga do Teste Stroop, da FAB e da FCR-O.
Análise Estatística
Para a análise e tratamento dos dados, utilizou-se o
Sciences (IBM SPSS Statisticss, versão 24.0 para Macintosh Mavericks, SPSS, 2012).
Na caracterização da amostra realizaram-se análises
estatísticas descritivas, incluindo frequências (n),
percentagens (%), médias (M) e desvios-padrão (DP).
A normalidade da distribuição das pontuações da versão Torga do Teste Stroop e dos testes utilizados na validade convergente foi averiguada através do teste
Kolmogorov-Smirnov (KS) e dos coeficientes de assimetria
e de achatamento seguindo os critérios de Kim (2013)
[valor absoluto de curtose (Ku) inferiores a 7 e de
assimetria (SK) inferiores a 2 são indicadores de
normalidade para amostras superiores a 300 sujeitos]. Para amostras inferiores a 300 sujeitos, Kim (2013)
considerou que um valor z absoluto abaixo de 3,29 da
curtose e da assimetria são indicadores de normalidade. Para verificarmos a adequação das cores, comparámos as médias entre pares de cores e determinámos as
magnitudes padronizadas das diferenças através do d de
Cohen. A interpretação da magnitude nas diferenças (d de
Cohen) seguiu a revisão de Espirito-Santo e Daniel (2015, p.
9; insignificante: d < 0,20; pequeno:d = 0,20; médio:d = 0,50;
grande: d = 0,80; muito grande: d > 1,29).
Para a análise das propriedades psicométricas, determinou-se a consistência interna através do alfa de Cronbach. Uma muito boa consistência interna é expressa por um valor de alfa de Cronbach superior a 0,90; valores entre 0,80 e 0,90 são estimados bons; entre 0,70 e 0,80 são razoáveis; entre 0,70 e 0,60 são fracos e inferiores a estes são inadmissíveis (Pestana e Gageiro, 2008).
Para a análise da estabilidade temporal, recorreu-se às correlações de Pearson e respetivo tamanho de efeito.
Recorreu-se de novo à análise correlacional (r de
Pearson) para estabelecer correlações entre as provas da versão Torga do Teste Stroop com os testes que medem os constructos equivalentes. As correlações que se situam entre 0,20 e 0,29 são consideradas baixas; entre 0,40 a 0,69 moderadas e entre 0,70 e 0,89 altas (Pestana e Gageiro, 2008).
Poder estatístico
Para um erro de probabilidade alfa de 0,05, todos os testes estatísticos obtiveram poder estatístico adequado:
99,9% para o teste t para amostras independentes; 100%
para um alfa de Cronbach esperado de 0,70; 31,1% para as correlações teste-reteste e 100% para as correlações de Pearson na validade convergente (Bonett, 2002; Buchner, Erdfelder, Faul, Lang, 2014; Chang, 2013; Faul, Erdfelder, Lang e Buchner, 2007).
RESULTADOS
Análises preliminares
Descritivas. Em relação às respostas corretas na prova de Leitura, os sujeitos responderam em média mais acertadamente do que na prova de Nomeação de
Cor. Relativamente ao número de palavras por segundo, na prova de Leitura os sujeitos responderam em média a mais respostas corretas por segundo do que na prova de Nomeação de Cor. No índice de controlo inibitório, a média reflete a diferença entre o número de palavras corretas por segundo e o número de cores corretamente nomeadas (Tabela 2).
A distribuição verificou-se ser normal na prova da
Nomeação de Cor (Ku = 0,06; Sk = -0,99; apesar de KS =
0,17; p < 0,05), no número de palavras por segundo (Ku =
-0,66; Sk = -0,32; apesar de KS = 0,11; p < 0,05), no número
de cores nomeadas por segundo, (Ku = 0,06; Sk = -0,19;
apesar de KS = 0,06; p < 0,05) e no Controlo Inibitório (Ku
= -0,82; Sk = 0,04; apesar de KS = 0,05; p < 0,05). No
entanto, a mesma não foi verificada na prova de Leitura
(Ku = 22,85; Sk = -4,53; KS = 0,42; p < 0,05), na FCR-O (Ku =
30,17; Sk = -16,89; KS = 0,22; p < 0,05), na FAB (Ku = 5,25;
Sk = -7,81; KS = 0,21; p < 0,05), na FAB – Fluência Lexical
(Ku = 165,73; Sk = 38,66; KS = 0,41; p < 0,001), na FAB –
Instruções Antagónicas (Ku = 12,12; Sk = -11,64; KS = 0,46;
p < 0,001) e na FAB – Go-No-Go (Ku = 3,52; Sk = -7,39; KS =
0,39; p < 0,001).
Considerando as fortes violações à normalidade verificadas, seguiram-se as indicações de Templeton (2011) para a transformação para a normalidade. Os valores transformados foram depois utilizados nas análises correlacionais posteriores.
Tabela 2
Médias e Desvios-padrão das Provas da Versão Torga do Teste Stroop (N = 544)
M ± DP
IC 95%
LI - LS
Amplitude
Min - Máx
Respostas corretas na
leitura 108,11 ± 13,29 106,99 – 109,23 4 - 112 Nomeação correta de
cores 84,92 ± 28,52 82,52 – 87,32 0 - 112 Leitura de palavras por
segundo 1,63 ± 0,57 1,58 - 1,68 0 – 2,80 Nomeação de Cores por
segundo 0,75 ± 0,29 0,73 – 0,78 0 – 1,85 Controlo Inibitório 0,88 ± 0,43 0,84 – 0,91 -0,49 - 13 Notas:M = Média; DP = Desvio Padrão; IC 95% = Intervalo de confiança a 95%; LI = limite inferior; LS = limite superior; Min = mínimo; Máx = máximo. O índice de Controlo inibitório resulta da diferença entre a Leitura de palavras/segundo e a Nomeação de Cores/segundo.
60
Tabela 3
Análise de Itens da Prova de Nomeação de Cor da Versão Torga do Teste Stroop (N = 544)
M ± DP
IC 95% Amplitude
LI - LS Min - Máx
Total – Cor Preta 21,13 ± 7,12 20,53 – 21,73 0 - 28 Total – Cor Rosa 21,23 ± 7,41 20,61 ± 21,86 0 - 28
Total – Cor Verde 19,84 ± 6,85 19,27 ± 20,42 0 - 26 Total – Cor Azul 23,23 ± 7,47 22,60 ± 23,86 0 - 30
Notas:M = Média; DP = Desvio Padrão; IC 95% = Intervalo de confiança a 95%; LI = limite inferior; LS = limite superior; Min = mínimo; Máx = máximo.
Uma vez que entre os homens há mais frequentemente problemas na discriminação das cores
(Kaur e Singh, 2013), usou-se o teste t de Student para
amostras independentes (Tabela 4), tendo-se verificado que os homens pontuam mais alto do que as mulheres em todas as cores. No entanto, só são verificadas diferenças estatisticamente significativas na cor preta
(d de Cohen = 0,73; efeito médio) e na cor azul (d de
Cohen = 0,74; efeito médio).
Tabela 4
Médias das Cores mais Acertadas na Prova de Nomeação de Cor da Versão Torga do Teste Stroop em função do Sexo (N = 544)
Sexo M ± DP IC 95% LI - LS
Amplitude
Min - Máx
Cor Preta
t(542) = 2,18; p < 0,05; d = 0,73
Masculino 21,87 ± 6,77 21,01 – 22,73 0 - 28
Feminino 20,53 ± 7,35 19,70 – 21,37 0 - 28
Cor Rosa
t(542) = 1,68; p > 0,05; d = 0,59
Masculino 21,83 ± 7,27 20,91 – 22,75 0 - 28
Feminino 20,76 ± 7,50 19,91 – 21,61 0 - 28
Cor Verde
t(542) = 1,81; p > 0,05; d = 0,74
Masculino 20,44 ± 6,53 19,61 – 21,27 0 – 26
Feminino 19,37 ± 7,08 18,57 – 20,17 0 – 26
Cor Azul
t(536,34) = 2,14;
p < 0,05; d = 0,74
Masculino 23,99 ± 6,91 23,11 – 24,86 0 – 30
Feminino 22,64 ± 7,85 21,75 – 23,52 0 – 30
Notas:M = Média; DP = Desvio Padrão; IC 95% = Intervalo de confiança a 95%; LI = limite inferior; LS = limite superior; Min = mínimo; Máx = máximo.
Na Figura 1 são apresentados o número total de acertos, podendo observar-se uma clara descida, na prova de Leitura e na prova de Nomeação de Cor.
Figura 1. Gráfico com o total de acertos na prova de leitura de palavras em cor congruente e na prova de nomeação de cor de palavras coloridas de forma incongruente da versão Torga do
Teste Stroop. Notas: Os itens são apresentados em intervalos
de 4. As tendências de decréscimo são apresentadas nas duas equações polinomiais (cores respetivas de cada prova).
Propriedades Psicométricas
Confiabilidade. No presente estudo, o alfa de Cronbach obtido nas provas de Leitura e Nomeação de Cor revelaram-se muito bons (α de Cronbach = 0,99) (Pestana e Gageiro, 2008).
Estabilidade temporal. Apesar do fraco poder estatístico das correlações devido à pequena dimensão da amostra, prosseguimos cautelosamente com as análises. Assim, a validade teste-reteste foi verificada através da reaplicação da versão Torga do Teste Stroop a um grupo de 16 participantes da nossa amostra. O intervalo de tempo entre as duas
aplicações, em média, foi de 5,05 meses (DP = 1,43). A leitura de
palavras por segundo do primeiro momento apresentou uma
tendência para se correlacionar com o segundo momento (r =
0,48; p = 0,06). As médias foram, respetivamente de 1,85 (DP =
0,39) e de 1,85 (DP = 0,36). A nomeação de cores por segundo
apresentou uma correlação de 0,85 (p < 0,001) entre os dois
momentos. No teste a média foi de 0,85 (DP = 0,20) e no
reteste foi de 0,90 (DP = 0,22). Por fim, o índice de controlo
inibitório apresentou uma correlação de 0,61 (p < 0,01)
entre os dois momentos, com média no teste de 1,00 (DP =
0,39) e de 0,95 (DP = 0,43) no reteste.
Validade convergente. Na Tabela 5 destacam-se as correlações de duas provas da versão Torga do Teste de
Stroop (nomeação de cores por segundo e controlo
inibitório) com a FAB e a FCR-O que foram entre baixas a
moderadas. O índice de controlo inibitório não se correlaciona com a FCR-O nem com a FAB – Fluência Lexical.
To
ta
l
d
e
a
ce
rt
o
s
150 250 350 450 550 650
Itens
1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106
y = -0,0331x2 + 0,754x + 512,78
y = -0,0066x2 + 0,2902x + 539,57
Tabela 5
Correlações entre as Pontuações do Stroop (Leitura, Nomeação de Cor e índice de Controlo Inibitório), Figura Complexa de Rey– Cópia (FCR-O) e Provas da Bateria de Avaliação Frontal (FAB) (N =544)
1 2 3 4 5 6 7 8 9 10
1. Respostas corretas na leitura — 0,96** 0,67** 0,95** 0,23** 0,37** 0,33** 0,26** 0,25** 0,23**
2. Nomeação correta de cores — 0,68** 0,95** 0,25** 0,43** 0,33** 0,33** 0,22** 0,22**
3. Leitura de palavras por segundo — 0,68** 0,86** 0,15* 0,35** 0,20** 0,31** 0,27**
4. Nomeação de Cores por segundo — 0,21** 0,33** 0,33** 0,31** 0,22** 0,21**
5. índice de Controlo Inibitório — -0,01 0,21** 0,06 0,23** 0,19**
6. FCR-O – Total Cópia — 0,18** 0,14* 0,07 0,28**
7. FAB - Total — 0,59** 0,62** 0,71**
8. FAB – Fluência Lexical — 0,26** 0,24**
9. FAB – Instruções Antagónicas — 0,49**
10. FAB – Go-No-Go —
Notas: *
p < 0,05; **
p < 0,01; *** p < 0,001.
DISCUSSÃO
A presente investigação teve como objetivo a análise das propriedades psicométricas da versão Torga do Teste Stroop para a população portuguesa.
A delineação de uma nova versão do Teste Stroop poderá tornar-se desafiante principalmente no que respeita à adaptação das cores escolhidas. Deverão ser tidas em conta variáveis como o tipo de cor selecionada (valor tonal e saturação) e consequente reconhecimento das cores. A versão Torga do Teste Stroop tem na sua composição cores como o preto, o rosa e o verde que não correspondem a cores primárias, no entanto necessárias para que, tal como referido, o número de letras seja semelhante. Uma das limitações desta versão é a quase inexistência de estudos publicados em torno das propriedades deste instrumento, sublinhando desta forma a pertinência da presente investigação.
Os resultados obtidos no presente estudo evidenciam que, numa primeira análise, existe um maior número de sujeitos que completam a prova de Leitura, bem como esta apresenta um maior número de acertos. Esta diferenciação entre provas é corroborada pelas
versões anteriores do Teste Stroop (Kanne et al., 1998;
MacLeod, 2005; Trenerry et al., 1995), suportando assim a adequação da versão Torga e o cumprimento da função de interferência. No que respeita à análise das médias de acertos por cor na prova de Nomeação de cores, foi
possível verificar que existe uma diferença
estatisticamente significativa da cor azul em relação às
restantes. Este resultado indica que existem mais acertos na cor azul permitindo concluir que esta cor é mais reconhecida pelos indivíduos, provocando menor interferência na nomeação. No entanto, este resultado deverá ser lido com rigor científico, mas sempre contextualizado. A cor azul apresenta uma diferença de 3 pontos em relação à cor com média de acertos mais baixa, numa amostra de 544 sujeitos. A premissa “a cor azul é a mais acertada pelos sujeitos” não poderá ser inferida aquando uma diferença pontual tão baixa referente a uma amostra tão ampla. De forma prática, apesar de existir uma diferença estatística (ou seja, matemática), não é viável inferir uma conclusão à luz do contexto e do tamanho da amostra, para além de que o tamanho do efeito foi pequeno. Porém, este resultado torna-se ainda mais interessante pois, a cor azul é a única cor primária existente na versão Torga do Teste Stroop podendo, assim, justificar a diferença existente e questionando o efeito de interferência das cores primárias. A maior facilidade em nomear a cor azul seguida da cor verde pode ainda ser explicada através das teorias clássicas da visão de cor ainda hoje aceites: teoria tricromática de Young-Helmholtz e teoria do processo oponente de Hering. A teoria de Young-Helmholtz estabelece que os três tipos de
células sensíveis à cor (cones) existentes na retina são
preferencialmente sensíveis ao azul, verde e vermelho. Hoje sabe-se que os cones da retina são sensibilizados de forma tricromática a comprimentos de onda do espetro de
luz próximos do verde, vermelho e azul. Na teoria
de Hering foi proposto que a visão humana interpreta a
cor de forma antagonista: azul versus amarelo, verde
versus vermelho e preto versus branco (Wyszecki e Stiles,
62 dos cones e uma vez que a cor azul não teve cor oponente (amarelo) e que a cor oponente do verde foi somente aproximada (rosa em vez de vermelho), então pode ficar explicada a facilidade da sua nomeação.
É, ainda, interessante analisar as médias de acertos em função do sexo. É possível observar que o sexo
masculino apresenta uma média de acertos
significativamente superior nas cores azul e preto do que o sexo feminino. Este resultado poderá ser justificado através de vários fatores. Um dos primeiros pontos será a existência de um melhor desempenho do sexo masculino na prova da Nomeação de Cor devido às funções executivas de atenção seletiva e controlo inibitório, necessários no Teste Stroop, aspeto suportado por algumas investigações (Martin e Franzen, 1989; Moering, Schinka, Mortimer e Graves, 2004; Van Boxtel et al., 2001), mas não todas (Houx, Jolles e Vreeling, 1993; Klein, Ponds, Houx e Jolles, 1997; Swerdlow, Filion, Geyer e Braff, 1995; Trenerry et al., 1995).
A análise dos resultados das provas de Leitura e Nomeação de Cor tornam-se interessantes não só pelo efeito de interferência e da avaliação do controlo inibitório bem como pelo efeito que o cansaço e a aprendizagem poderão ter nas provas. O gráfico apresentado permite observar claramente um decréscimo na média de acertos em ambas as provas, possivelmente explicado pelo cansaço. No entanto, na prova de Nomeação de Cor existe um decréscimo abrupto que poderá possivelmente sustentar a hipótese de existir menor controlo inibitório perante estados de cansaços superiores. Este facto poderá ser interessante de ser analisado no contexto psicométrico bem como para a compreensão das funções executivas avaliadas e do seu desempenho em tarefas quotidianas.
No que respeita às propriedades psicométricas da versão Torga do Teste Stroop, ambas as provas (Leitura e Nomeação de Cor) apresentaram uma consistência interna muito boas (α de Cronbach = 0,99). É ainda possível observar que o efeito tempo não interfere com os resultados obtidos, ou seja, existem correlações estatisticamente significativas dos resultados entre a
primeira e a segunda aplicação do instrumento (p < 0,05)
da Nomeação das cores e do Controlo Inibitório e tendência para correlação na prova de Leitura. No entanto, na prova de Nomeação de cor verifica-se um aumento de 5 décimas, o que pode possivelmente indicar um leve efeito de aprendizagem. De sublinhar que este efeito de aprendizagem poderia ser ou não mais evidente se a amostra correspondente ao segundo momento de avaliação não tivesse dimensão tão reduzida, diminuindo consideravelmente o poder estatístico da análise correlacional.
Foi ainda objetivo deste estudo verificar se a versão Torga do Teste Stroop avalia os mesmos constructos em relação a outros instrumentos de avaliação das funções executivas. Assim, a prova de Nomeação de cor do teste Stroop correlaciona-se com a FAB, tarefas de Instruções
antagónicas, Fluência lexical e Go-No-Go da FAB e com a
FCR-O. De forma semelhante, o índice de controlo inibitório do mesmo teste correlaciona-se com a FAB,
tarefas de instruções antagónicas e Go-No-Go da FAB.
Estas correlações são positivas e fracas a moderadas. Estes resultados poderão ser justificados pela forma diferente como as funções executivas são avaliadas nos
instrumentos supracitados. Ao avaliarmos o subteste
Go-No-Go da FAB que mede o controlo inibitório, este
refere-se a uma resposta motora, ao passo que no Teste Stroop o controlo inibitório é relativo a uma resposta verbal. Para além deste facto é ainda importante analisar as tarefas que são inibidas em cada instrumento, não só na sua natureza, mas também no que respeita à sua
aprendizagem no tempo. A prova Go-No-Go avalia a
inibição de uma tarefa que é aprendida no momento e que não se caracteriza pela sua presença no quotidiano do sujeito (“bater na mesa perante um estímulo”). Já no Teste Stroop, a resposta inibida refere-se à leitura da palavra, sendo esta resposta aprendida pelo sujeito ao longo dos anos. Ao refletirmos em torno do tipo de resposta inibida, a leitura é uma tarefa que está presente no quotidiano do sujeito e que em alguns momentos é inconsciente (e.g., comummente exibida, por exemplo, na leitura de rótulos por distração, leitura de sinais informativos em viagem, etc.), podendo desta forma não
ser comparável à tarefa aprendida no subteste Go-No-Go. É
ainda de acrescentar que o Teste Stroop apresenta tempo limite e é pedido ao sujeito para o realizar “o mais rápido que conseguir”, o que não se verifica na FAB. Por fim, no que concerne à FCR-O, apesar de existir uma correlação positiva, esta não é alta pois são avaliadas funções executivas diferentes, tal como o planeamento.
Limitações. Este estudo apresenta, no entanto, algumas limitações que devem ser apresentadas e que figuram por si só como incentivos para investigações futuras. Uma das primeiras limitações é sem dúvida a
existência de poucos estudos na área, mais
O viés do investigador poderá figurar como uma limitação no processo de seleção da amostra, no entanto este esbate-se com a diversidade e tamanho da amostra. Assim, o facto de o grupo de investigadores ter realizado a recolha de dados por conveniência, permitiu também que a amostra obtida fosse tanto alargada como diversificada a nível socioeconómico e cultural. Consequentemente, e representando um ponto forte desta investigação, a distribuição geográfica da amostra é bastante abrangente, albergando as regiões Norte, Centro e Sul de Portugal. Apesar de a maior densidade da amostra deste estudo estar localizada na região Centro, esta também é a região com maior dimensão populacional em Portugal (Instituto Nacional Estatística, 2014).
O investimento na avaliação neuropsicológica é, tal como mencionado, necessário e representa uma lacuna. Assim, investigações futuras deverão ser incentivadas para que exista uma melhor compreensão quer dos resultados obtidos quer do comportamento dos instrumentos e esclarecimento em torno da avaliação neuropsicológica. A versão Torga do Teste Stroop apresentou-se como um instrumento com potencialidades, estando apto para investimento ao nível da investigação e da prática clínica.
Agradecimentos
As autoras deste estudo, agradecem a Sara Moitinho, Carla Susana Neves, Inês Torres Pena, Fátima Rodrigues, Sónia Simões e Vanessa Vigário que apoiaram na construção e recolhas de dados da versão piloto.
Conflito de interesses | Conflict of interest: nenhum | none. Fontes de financiamento | Funding sources: nenhuma | none.
Nota: A versão Torga pode ser solicitada ao autor para correspondência.
REFERÊNCIAS
Alvarez, J. A. e Emory, E. (2006). Executive function and the frontal lobes: A meta-analytic review. Neuropsychology Review, 16(1), 17-42. doi: 10.1007/s11065-006-9002-x
Balota, D. A., Tse, C.-S., Hutchison, K. A., Spieler, D. H., Duchek, J. M. e Morris, J. C. (2010). Predicting conversion to dementia of the Alzheimer’s type in a healthy control sample: The power of errors in Stroop Color Naming. Psychology and Aging, 25(1), 208-218. doi: 10.1037/a0017474
Barch, D. M., Carter, e C. S. Cohen, J. D. (2004). Factors influencing Stroop performance in Schizophrenia. Neuropsychology, 18(3), 477-484. doi: 10.1037/0894-4105.18.3.477
Barkley, R. A. (1997). Behavioral inhibition, sustained attention, and executive functions: Constructing a unifying theory of ADHD.
Psychological Bulletin, 121(1), 65-94. doi: 10.1037/0033-2909.121.1.65 Bélanger, S., Belleville, S. e Gauthier, S. (2010). Inhibition impairments in
Alzheimer's disease, mild cognitive impairment and healthy aging: Effect of congruency proportion in a Stroop task. Neuropsychologia,
48(2), 581-590. doi: 0.1016/j.neuropsychologia.2009.10.021
Bonett, D. G. (2002). Sample size requirements for testing and estimating coefficient alpha. Journal of Educational and Behavioral Statistics,
27(4), 335–340. doi:10.3102/10769986027004335
Buchner, A., Erdfelder, E., Faul, F. e Lang, A.-G. (2014). G*Power 3 (Versão 3.1.9.2 para Macintosh) [Programa Informático]. Düsseldorf: Heinrich-Heine-Universität Dusseldorf. Obtido em http://www.gpower.hhu.de/en.html
Burgess, P. W., Alderman, N., Evans, J., Emslie, H. e Wilson, B. A. (1998). The ecological validity of tests of executive function. Journal of the International Neuropsychological Society, 4(6), 547–558. doi: 10.1017/s1355617798466037
Capovilla, A. G. S., Assef, E. C. S. e Cozza, H. F. P. (2007). Avaliação neuropsicológica das funções executivas e relação com desatenção e hiperatividade. Avaliação Psicológica, 6(1), 56-60. Castro, S. L., Cunha, L. S. e Martins, L. (2000). Teste Stroop
Neuropsicológico em Português [on-line]. Disponibilizado por Laboratório de Fala da Faculdade de Psicologia da Universidade do Porto. Acedido em http://www.fpce.up.pt/labfala
Castro, S. L., Martins, L. e Cunha, L. (2003). Neuropsychological screening with a Portuguese Stroop Test [Póster]. Apresentado no 111th Annual Convention of the American Psychological Association, Toronto (pp. 1–4).
Chan, R. C. K., Shum, D., Toulopoulou, T. e Chen, E. Y. H. (2008). Assessment of executive functions: Review of instruments and identification of critical issues. Archives of Clinical Neuropsychology,
23(2), 201-216. doi: 10.1016/j.acn.2007.08.010
Chang, A. (2013). StatsToDo (Sample size for estimating a single alpha program) [Calculadora online]. Brisbane, Queensland, Austrália. Obtido em https://www.statstodo.com/SSiz1AlphaPgm.php# Cohen, J. D., Dunbar, K. e McClelland, J. L. (1990). On the control of
automatic processes: A parallel distributed processing account of the Stroop effect. Psychological Review, 97(3), 332–361. doi: 10.1037/0033-295x.97.3.332
Dalby, R. B., Frandsen, J., Chakravarty, M. M., Ahdidan, J., Sørensen, L., Rosenberg, R. … Videbech, P. (2012). Correlations between Stroop task performance and white matter lesion measures in late-onset major depression. Psychiatry Research: Neuroimaging, 202(2), 142-149. doi: 10.1016/j.pscychresns.2011.12.009
Dalgalarrondo, P. (2008). Psicopatologia e semiologia dos transtornos mentais (2.º ed., pp. 102-108). Porto Alegre: Artmed.
Denney, D. R. e Lynch, S. G. (2009). The impact of multiple sclerosis on patients’ performance on the Stroop Test: processing speed versus interference. Journal of the International Neuropsychological Society, 15(3), 451-458. doi: 10.1017/S1355617709090730
Dubois, B., Slachevsky, A., Litvan, I. e Pillon, B. (2000). The FAB: A Frontal Assessment Battery at bedside. Neurology, 55(11), 1621–1626. doi: 10. 1212/ WNL. 55. 11. 1621
Epp, A. M., Dobson, K. S., Dozois, D. J. A. e Frewen, P. A. (2012). A systematic meta-analysis of the Stroop task in depression. Clinical Psychology Review, 32(4), 316-328. doi: 10.1016/j.cpr.2012.02.005 Espirito-Santo, H. e Daniel, F. (2015). Calcular e apresentar tamanhos do
efeito em trabalhos científicos (1): As limitações do p < 0,05 na análise de diferenças de médias de dois grupos [Folha de cálculo suplementar]. Revista Portuguesa de Investigação Comportamental e Social, 1(1), 3-16.
Faul, F., Erdfelder, E., Lang, A.-G. e Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods,
39(2), 175–191. doi: 10.3758/BF03193146
Fisher, L. M., Freed, D. M. e Corkin, S. (1990). Stroop Color-Word Test performance in patients with Alzheimer´s disease. Journal of Clinical and Experimental Neuropsychology, 12(5), 745-758. doi: 10.1080/01688639008401016
Golden, C. J. (1978). The Stroop Color and Word Test: A manual for clinical and experimental uses. Chicago, IL: Stoelting.
Glisky, E. (2007). Changes in cognitive function in human aging. Em D. R. Riddle (Ed.), Brain aging: Models, methods, and mechanisms. Boca Raton: CRC Press.
64
Hsieh, Y.-H., Chen, K.-J., Wang, C.-C. e Lai, C.-L. (2008). Cognitive and motor components of response speed in the Stroop Test in Parkinson’s disease patients. Kaohsiung Journal of Medical Sciences, 24(4), 197-203. doi: 10.1016/s1607-551x(08)70117-7
Houx, P. J., Jolles, J. e Vreeling, F. W. (1993). Stroop Interference: Aging effects assessed with the Stroop Color-WordTest. Experimental Aging Research, 19(3), 209-224. doi: 10.1080/03610739308253934 Instituto Nacional de Estatística (2014). Estatísticas Demográficas 2011.
Lisboa: INE.
Kanne, S. M., Balota, D. A., Spieler, D. H. e Faust, M. E. (1998). Explorations of Cohen, Dunbar and McClelland´s (1990) connectionist model of Stroop performance. Psychological Review, 105(1), 174-187. doi: 10.1037/0033-295x.105.1.174
Kaplan, G. B., Sengör, N. S., Gürvit, H. e Güzelis, C. (2007). Modelling the Stroop effect: A connectionist approach. Neurocomputing, 70(7-9), 1414-1423. doi: 10.1016/j.neucom.2006.05.009
Kaur, N. e Singh, K. (2013). Comparative review of color blindness in different ethnic populations. Journal of Evolution of Medical and Dental Sciences, 2(36), 6977-6981.
Kim, H.-Y. (2013). Statistical notes for clinical researchers: assessing normal distribution (2) using skewness and kurtosis. Restorative Dentistry e Endodontics, 38(1), 52–54. doi:10.5395/rde.2013.38.1.52 Klein, M., Ponds, R. W., Houx, P. J. e Jolles, J. (1997). Effect of test
duration on age-related differences in Stroop interference. Journal of Clinical and Experimental Neuropsychology, 19(1), 77-82. doi: 10.1080/01688639708403838
Langenecker, S. A., Nielson, K. A. e Rao, S. M. (2004). fMRI of healthy older adults during Stroop interference. NeuroImage, 21(1), 192-200. doi: 10.1016/j.neuroimage.2003.08.027
Lansbergen, M. M., Kenemans, J. L. e van Engeland, H. (2007). Stroop interference and attention-deficit/hyperactivity disorder: A review and meta-analysis. Neuropsychology, 21(2), 251–262. doi: 10.1037/0894-4105.21.2.251
Lezak, M. D., Howieson, D. B e Loring, D. W. (2004). Neuropsychological assessment (4.ª ed.). New York: Oxford University Press.
Lima, C. F., Meireles, L. P., Fonseca, R., Castro, S. L. e Garrett, C. (2008). The Frontal Assessment Battery (FAB) in Parkinson’s disease and correlations with formal measures of executive functioning. Journal of Neurology, 255(11), 1756–1761. doi: 10.1007/s00415-008-0024-6 Logan, G. D, Cowan, W. B. e Davis, K. A. (1984). On the ability to inhibit
simple and choice reaction time responses: A model and a method.
Journal of Experimental Psychology: Human Perception and Performance, 10(2), 276-291. doi: 10.1037/0096-1523.10.2.276 MacLeod, C. M. (2005). The Stroop task in cognitive research. Em A.
Wenzel e D. C. Rubin (Eds.), Cognitive methods and their application to clinical research (pp. 17–40). Washington, DC: American Psychological Association.
Martin, N. J. e Franzen, M. D. (1989). The effect of anxiety on neuropsychological function. International Journal of Clinical Neuropsychology, 11(1), 1-8.
Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A. e Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobe” tasks: A latent variable analysis. Cognitive Psychology, 41(1), 49–100. doi: 10.1006/cogp.1999.0734
Moering, R. G., Schinka, J. A., Mortimer, J. A. e Graves, A. B. (2004). Normative data for elderly African Americans for the Stroop Color and Word Test. Archives of Clinical Neuropsychology, 19(1), 61-71. doi: 10.1093/arclin/19.1.61
Muir, J. L. (1996). Attention and stimulus processing in the rat. Cognitive Brain Research, 3(3-4), 215-225. doi: 10.1016/0926-6410(96)00008-0 Nascimento, T. D. V. (2012). Impacto da atenção no funcionamento cognitivo de idosos [tese de mestrado]. Acedido em http://repositorio.ismt.pt/handle/123456789/112
Osterrieth, P. A. (1944). Le test de copie d’une figure complexe, contribution à l’étude de la perception et de la mémoire. Archives de Psychologie, 30, 206-356.
Pestana, M. H. e Gageiro, J. N. (2008). Análise de dados para ciências sociais - A complementaridade do SPSS (5.ª ed). Lisboa: Edições Sílabo.
Pestana, M. H. e Gageiro, J. N. (2014). Análise de dados para ciências sociais - A complementaridade do SPSS (6.ª ed.). Lisboa: Edições Sílabo.
Spreen, O. e Strauss, E. (1998). A compendium of neuropsychological tests: Administration, norms, and commentary (2.ª ed.). New York: Oxford University Press.
Sternberg, S. (1966). High-speed scanning in human memory. Science,
153(3736), 652-654. doi: 10.1126/science.153.3736.652
Strauss, E., Sherman, E. e Spreen, O. (2006). A compendium of neuropsychological tests: Administration, norms, and commentary
(3.ª ed.). New York: Oxford University Press.
Stroop, J. R. (1935). Studies of interference in serial verbal reactions.
Journal of Experimental Psychology, 18, 643–662. doi: 10.1037/h0054651
Swerdlow, N. R., Filion, D., Geyer, M. A. e Braff, D. L. (1995). “Normal” personality correlates of sensorimotor, cognitive, and visuospatial gating. Biological Psychiatry, 37(5), 286-299. doi: 10.1016/0006-3223(94)00138-s
Templeton, G. F. (2011). A two-step approach for transforming continuous variables to normal: implications and recommendations for IS research (Vol. 28, Article 4). Apresentado em Communications of the Association for Information. Disponível em http://aisel.aisnet.org/cais/vol28/iss1/4
Treisman, A. e Fearnley, S. (1969). The Stroop test: selective attention to colours and words. Nature, 222(5192), 437–439. doi: 10.1038/222437a0
Trenerry, M. R., Crosson, B., DeBoe, J. e Leber, W. R. (1995). Stroop neuropsychological screening test (Manual). Tampa: Psychological Assessment Resources.
Troyer, A. K., Moscovitch, M., Winocur, G., Alexander, M. P. e Stuss, D. (1998). Clustering and switching on verbal fluency: The effects of focal frontal- and temporal-lobe lesions. Neuropsychologia, 36(6),
499–504. doi: 10.1016/s0028-3932(97)00152-8
Van Boxtel, M. P. J., ten Tusscher, M. P. M., Metsemakers, J. F. M., Willems, B. e Jolles, J. (2001). Visual determinants of reduced performance on the Stroop Color-Word Test in normal aging individuals. Journal of Clinical and Experimental Neuropsychology, 23(5), 620-627. doi: 10.1076/jcen.23.5.620.1245
Vitkovitch, M., Bishop, S., Dancey, C. e Richards, A. (2002). Stroop interference and negative priming in patients with multiple sclerosis. Neuropsychologia, 40(9), 1570-1576. doi: 10.1016/s0028-3932(02)00022-2
Wyszecki, G. e Stiles, W. S. (1982). Color Science: Concepts and methods, quantitative data and formulae (2.ª ed.). New York: John Wiley & Sons.