Vari´avel resposta MI - Modelos longitudinais para momentos de inovação em psicoterapia

Figura 29: Gr´afico WAI x RPMs.

As variáveis outcome e treat não eram significativas no modelo longitudinal antes de acrescentarmos a variável psicoterápica rpm.total, e continuam a não ser significativas (outcome p-valor = 0,749 > α = 0,05, não se rejeita H0) (treat p-valor = 0,542 > α = 0,05, não se rejeita H0). A variável rpm.total não é significativa para explicar WAI (p-valor =

0,114 > _α = 0,05, não se rejeita H₀), isto é, a aliança paciente - terapeuta não é afetada pelo n úmero de vezes que o paciente retorna a falar do problema (rpm.total). Na Figura ?? representamos os valores preditos de WAI, e notamos que as retas têm pouca variação com o aumento do n úmero de RPMs ocorridos (não significativa).

5.3 va r i´avel resposta - M I

5.3.1 OQ10 como preditor de MIs

Quando analisamos a sintomatologia (OQ10) como variável resposta, verificamos que o efeito dos momentos de inovação (MIs) são significativos para a sintomatologia. Conforme aumentamos o n úmero de ocorrências de MIs, diminui o score de OQ10 (há melhora nos sintomas de depressão/ansiedade). Nesta seção vamos verificar se o contrário também é verdadeiro. A variável resposta são os momentos de inovação (MIs), e ela é apresentada como uma proporção do total de palavras que formam os momentos de inovação pelo total de palavras na sessão. Por tratar-se de uma proporção, usamos os modelos lineares genera-

lizados mistos, estamos a modelar chances de ocorrˆencias de MIs. O modelo generalizado misto Randon Intercept and Slop, com parte f ixa: Xi jβ= β0+β₁outcome+β2treat+β3session

foi determinado na seção4.3. A variável OQ10 foi acrescentada à parte f ixa do modelo e também testou-se a sua interação com o tempo (session).

A interação oq10∗session é significativa (p-valor = < 0,0001 < _α = 0,05, rejeita-se H₀), e com função desvio menor, o modelo com interação foi o que apresentou melhor ajustamento (resultados apresentados na Tabela25.

Tabela 25: Output do Modelo com interac¸ ˜ao (OQ10 preditor de MIs).

Coeficientes Estimativas Desvio Padr˜ao z value P-valor

β0 -1,190 0,216 -5,500 <0,0001 β1oq10 -0,037 0,001 -43,810 <0,0001 β2session 0,023 0,011 2,000 0,0460 β3outcome2 (poor) -0,391 0,211 -1,850 0,0638 β4treat2 (narrativo) 0,549 0,223 2,460 0,0139 β5oq10*session 0,000 0,000 5,510 <0,0001

Figura 30: Gr´afico MIs x OQ10.

O outcome não apresenta diferença estat´ıstica entre seus n´ıveis, good e poor (p-valor = 0,064> _α = 0,05, não se rejeita H₀), logo, é indiferente para a ocorrência de MIs se o paciente teve poor ou good outcome. Para os tratamentos, temos diferença entre cognitivo e

5.3. Vari´avel resposta - MI 51

narrativo (p-valor = 0,014<α= 0,05, rejeita-se H0), sendo que h´a mais ocorrˆencias de MIs

para os pacientes com tratamento narrativo, contudo, como sua interação não é significativa, essa diferença não se altera com o passar das sess ões, por conseguinte, não tem efeito sobre a ocorrência de momentos de inovação MIs.

A sintomatologia (OQ10) é significativa (p-valor = < 0,0001 < _α = 0,05, rejeita-se H₀), quer dizer, para cada score de OQ10 que aumentamos, a chance de ocorrerem MIs diminui cerca de 3,65% vezes. Quanto pior o paciente está da doença, menos chances de ocorrerem momentos de inovação ele terá. Na Figura 30 estão as retas com valores preditos de MI em função do OQ10, para a primeira e última sessão de terapia. Observamos que conforme o paciente piora da doença (aumento do score de OQ10), a ocorrência de momentos de inovação diminui e é afetada pelo efeito do tempo, pois a interação OQ10∗session é significativa.

5.3.2 WAI como preditor de MIs

Em análise prévia, observamos que os momentos de inovação (MIs) têm efeito significativo para explicar o aumento da aliança paciente - terapeuta (WAI), e vamos testar se o inverso se comprova. Usamos o modelos linear generalizado misto Randon Intercept and Slop, sendo a parte f ixa: Xi jβ=β0+β1outcome+β2treat+β3session (seção4.3). A variável MI (variável resposta) é apresentada em proporção do total de palavras que formam os momentos de inovação pelo total de palavras na sessão. Acrescentamos a variável WAI à parte f ixa do modelo e analisamos sua influência sobre os momentos de inovação, assim como a sua interação com o tempo.

A interação WAI é significativa (p-valor = < 0,0001 < _α= 0,05, rejeita-se H₀), sendo assim, o modelo com interação foi o com melhor ajustamento, com função desvio = 98215,37. Os resultados são apresentados na Tabela26.

Tabela 26: Output do Modelo com interac¸ ˜ao (WAI preditor de MIs).

Coeficientes Estimativas Desvio Padr˜ao z value P-valor

β0 -2,367 0,251 -9,419 < 0,0001 β₁wai 0,012 0,001 11,276 < 0,0001 β2session -0,091 0,015 -6,144 < 0,0001 β3treat2 (narrativo) 0,355 0,238 1,492 0,1357 β4outcome2 (poor) -0,606 0,230 -2,632 0,0085 β5wai*session 0,002 0,000 22,858 < 0,0001

Figura 31: Gr´afico MIs x WAI (good outcome).

Figura 32: Gr´afico MIs x WAI (poor outcome).

A aliança paciente-terapeuta WAI é significativa (p-valor = < 0,0001 < _α= 0,05, rejeita- se H0), então, para cada score a mais de WAI a chance de ocorrência de momentos de

inovação MIs aumenta 1,23% durante as sess ões. S ó que a sua interação com o tempo (WAI∗session) também é significativa (p-valor =<0,0001<_α= 0,05, rejeita-se H₀), logo, o efeito do tempo também deve ser considerado como mostra a Figura31, onde observamos

5.4. Vari´avel resposta - RPM 53

que na 20a sessão é muito maior que na 1a sessão de terapia.

O outcome ´e significante (p-valor = 0,0085<α= 0,05, rejeita-se H0), logo, temos ocorrˆencias

de MIs diferentes para good e poor, representados pelas Figuras31 e32 (as ocorrências de MIs são mais baixas em pacientes com poor outcome). Já os tratamentos não são significativos (p-valor = 0,1357> α= 0,05, não se rejeita H0), sendo indiferente para a ocorrência de

MIs qual o tipo de tratamento realizado (cognitivo ou narrativo).

5.4 va r i´avel resposta - R P M

5.4.1 OQ10 como preditor de RPMs

A variável resposta, retornos ao problema (RPM), é uma proporção do total de momentos de inovação ocorridos. Por ser uma proporção, usamos um modelo linear generalizado misto (Randon Intercept and Slop), com parte f ixa: Xi jβ= β0+β1outcome∗session+β2treat.

Constatamos anteriormente, que os retornos ao problema não têm influência na sintomatologia do paciente, e, para verificar se o inverso é verdadeiro, acrescentamos a variável OQ10

à parte f ixa do modelo e sua interação com o tempo (session) também foi testada.

A interação oq10∗session é significativa (p-valor = < 0,0001 < _α = 0,05, rejeita-se H₀), sendo assim, o modelo com interação foi o que melhor ajustamento obteve, com função desvio = 167559,1. Os resultados são apresentados na Tabela27.

Tabela 27: Output do Modelo com interac¸ ˜ao (OQ10 preditor de RPMs).

Coeficientes Estimativas Desvio Padr˜ao z value P-valor

β0 2,000 0,211 -9,490 < 0,0001 β1oq10 0,046 0,001 56,650 < 0,0001 β2session -0,034 0,016 -2,050 0,0399 β3outcome2 (poor) -0,442 0,242 -1,820 0,0683 β4treat2 (narrativo) 0,370 0,194 1,910 0,0565 β5oq10*session -0,002 0,000 -19,910 < 0,0001 β6outcome2*session 0,055 0,023 2,380 0,0172

A variável OQ10 é significativa (p-valor =< 0,0001 < _α= 0,05, rejeita-se H₀) para explicar a chance de ocorrerem retornos ao problema. Para cada score de aumento em OQ10, a chance de ocorrerem RPMs aumenta 4,70%. Quanto mais baixa a sintomatologia (melhor o paciente está da doença), menor será a ocorrência de retornos ao problema. A sua interação com o tempo (OQ10∗session) também é significativa (p-valor =<0,0001<_α= 0,05, rejeita-

Figura 33: Gr´afico RPMs x OQ10 (good outcome).

Figura 34: Gr´afico RPMs x OQ10 (poor outcome).

se H0), ou seja, o efeito do tempo deve ser considerado. Nas Figuras 33 e34 observamos que na 20a sessão a ocorrência de RPMs é muito diferente da 1a sessão.

Ao analisarmos a variável explicativa outcome, sua interação é significativa (p-valor = 0,017 < _α = 0,05, rejeita-se H₀), portanto, o efeito do tempo é diferente para good e

5.4. Vari´avel resposta - RPM 55

poor outcome. Os paciente com good outcome apresentam scores de OQ10 menores ao longo das sess ões de terapia. Para os pacientes com good outcome, esperamos que na sessão 20, independente do score de OQ10, 75% dos pacientes tenham menos que 10% de chances de ocorrências de retornos ao problema RPM (Figura33). Já para os pacientes com poor outcome, na última sessão, independente do score de OQ10, esperamos que as chances de ocorrência de RPMs fiquem entre 10% e 20% (Figura34). E para a ocorrência de RPMs, é indiferente o tipo de tratamento realizado (cognitivo ou narrativo), pois a variável treat não é significativa (p-valor = 0,0565 >α= 0,05, não se rejeita H0).

5.4.2 WAI como preditor de RPMs

Na seção 5.2.3vimos que os retornos ao problema (RPMs) não explicam a aliança paciente - terapeuta (WAI) e nessa seção verificamos se o inverso é verdadeiro, se a aliança tem influência na chance de ocorrência de RPMs. A variável resposta RPM é apresentada como uma proporção do total de momentos de inovação que o paciente teve numa sessão, por essa razão usamos um modelo linear generalizado misto (Randon Intercept and Slop), com parte f ixa: Xi jβ = β0+1 outcome∗session+β2treat. Acrescentamos a variável

psicoterápica WAI à parte f ixa do modelo e testamos a sua interação com o tempo (session). A interação WAI∗session é significativa (p-valor = < 0,0001 < _α = 0,05, rejeita-se H₀), sendo assim, o modelo com a interação foi o que melhor ajustamento obteve, com função desvio = 168092,10, e seus resultados são apresentados na Tabela28.

Tabela 28: Output do Modelo com interac¸ ˜ao (WAI preditor de RPMs).

Coeficientes Estimativas Desvio Padr˜ao z value P-valor

β0 0,368 0,210 1,750 0,0798 β1wai -0,030 0,001 -32,300 < 0,0001 β2session -0,022 0,018 -1,230 0,2202 β3outcome2 (poor) -0,409 0,233 -1,750 0,0797 β4treat2 (narrativo) 0,547 0,196 2,790 0,0052 β5wai*session -0,001 0,000 -11,820 < 0,0001 β6outcome2*session 0,072 0,025 2,940 0,0033

Os tratamentos cognitivo e narrativo apresentam diferenc¸a estat´ıstica (p-valor = 0,005

< α = 0,05, rejeita-se H0), mas sua interação com o tempo não é significativa, por isso, o

efeito do tratamento na ocorrência de RPMs não é relevante, sendo que, os pacientes com tratamento narrativo possuem valores mais altos de RPMs (72,81%) que os pacientes com

Figura 35: Gr´afico RPMs x WAI (good outcome).

Figura 36: Gr´afico RPMs x WAI (poor outcome).

tratamento cognitivo, mas de forma cont´ınua ao longo do tempo. A variável outcome não apresenta diferença estat´ıstica (p-valor = 0,080 > α = 0,05, não se rejeita H0) entre seus

n´ıveis no in´ıcio da terapia, contudo, com o passar das sess ões, essa diferença passa a ser significativa (interação significativa, p-valor = 0,003< α= 0,05, rejeita-se H0). Os pacientes

5.5. Conclus ˜oes 57

de good outcome (Figuras35e36).

A variável psicoterápica WAI é significativa (p-valor =<0,0001<_α= 0,05, rejeita-se H₀), assim como sua interação WAI∗session (p-valor =< 0,0001< _α= 0,05, rejeita-se H₀), por conseguinte, quanto maior a aliança com o terapeuta, menor a chance de ocorrerem RPMs, levando-se em consideração que o efeito do tempo é significativo.

5.5 c o n c l u s˜oes

Com as análises realizadas, conclu´ımos que a variável OQ10 (sintomatologia) é influenciada pela aliança paciente - terapeuta (WAI), quanto maior a aliança, menor o score de OQ10 (melhora do paciente). O n úmero de momentos de inovação (MIs) também influenciam a sintomatologia, quanto maior a ocorrência de MIs, melhor o paciente estará da doença, e esse efeito aumenta com o passar das sess ões. Já o n úmero de retornos ao problema (RPMs) que ocorrem, não tem efeito sobre a sintomatologia. Os pacientes com good outcome, possuem os scores de OQ10 significantemente menores nas últimas sess ões do que os pacientes com poor outcome.

A aliança que o paciente forma com o terapeuta (WAI) é afetada pela sintomatologia (OQ10), quanto melhor o paciente está (menor score de OQ10), maior a aliança formada. Os momentos de inovação (MIs) também influenciam a aliança, quanto maior o n úmero de MIs, maior a aliança (WAI). Não existem diferenças significativas entre good outcome e poor outcome. Os tratamentos cognitivo e narrativo também não têm influência, sendo indiferente o tipo de tratamento realizado.

A ocorrência de momentos de inovação (MI) é influenciada pela sintomatologia do paciente, quanto menor o score de OQ10, maior o n úmero de MIs ocorridos, e isso se intensifica com o passar das sess ões. A aliança paciente - terapeuta (WAI) também tem efeito posi- tivo sobre a ocorrência de MIs, quanto melhor a aliança, maiores as chances de ocorrerem MIs, e, com o passar das sess ões, essa influência é crescente. A variável outcome não tem influência na ocorrência de MIs, assim como o tipo de tratamento (cognitivo ou narrativo)

é indiferente à ocorrência de momentos de inovação (MIs).

Os retornos ao problema (RPMs) sofrem a influência da sintomatologia (OQ10), quando o paciente tem scores mais altos de OQ10, as chances de ocorrerem RPMs também au- mentam, e esse efeito aumenta com o passar das sess ões. A aliança (WAI) também tem uma influência significativa sobre as chances de ocorrerem RPMs, quanto maior a aliança, menor as chances de ocorrerem RPMs, e isso é potencializado com o avanço no tempo. O contrário, RPMs a influenciar a sintomatologia (OQ10) e a aliança (WAI), não é verdadeiro, os retornos ao problema não têm efeito significativo em OQ10 e WAI. Os tratamentos cognitivo e narrativo não têm efeito significativo sobre os retornos ao problema.

Figura 37: Influˆencia das vari´aveis umas nas outras.

Na Figura37apresentamos o esquema proposto nos objetivos iniciais com os resultados das influências das variáveis psicoterapêuticas umas nas outras. O único que não tem um efeito significativo é o retorno ao problema (RPM) em relação a OQ10 e WAI.

6

E F E I T O S D O S M O M E N T O S D E I N O VA C¸ ˜A O

Sabendo que os momentos de inovação (MIs) estão a influenciar a sintomatologia do paciente (OQ10) e que Miguel M. Gonçalves, Mendes et al.,2012já testou o comportamento

deles individualmente, novas teorias tem surgido no último ano e dividiu-se os 5 tipos de MIs em apenas duas categorias, os MI.low e os MI.high. Os momentos de inovação podem ser do tipo: action (A), reflection (R), protest (P), reconceptualization (RC), e performing change (PC); sendo que os tipos A, R e P possuem 2 n´ıveis (1 e 2), onde dividimos os MIs nos dois grupos de interesse:

• High MIs: A2, R2, P2, RC e PC; • Low MIs: A1, R1 e P1.

Essas novas variáveis são uma transformação da variável original MI, e a soma das duas é exatamente a variável original. O modelo longitudinal para a variável resposta OQ10 tem um efeito aleat ório, uma estrutura de correlação exponencial, e uma parte f ixa E[Yi j] = β0+β1 mi∗session+β2 outcome∗session+β3treat. Substitu´ımos a variável MI

pelas novas vari´aveis MI.high e MI.low e analisamos suas influˆencias.

A interação da variável original MI com o tempo é significativa para explicar o score de OQ10, contudo, as novas variáveis, em interação com o tempo, não se mostraram significativas (MI.high∗session, p-valor = 0,063> α= 0,05, não se rejeita H0; e MI.low∗session,

p-valor = 0,125>α= 0,05, n˜ao se rejeita H0), por isso, os modelos com melhor ajustamento

são os sem as interaç ões e os resultados dos ajustamentos são apresentados nas Tabelas 29 e30.

A vari´avel MI.high tem efeito significativo (p-valor = 0,000<α= 0,05, rejeita-se H0), j´a a

variável MI.low não é significativa (p-valor = 0,163>α= 0,05, não se rejeita H0) para expli-

car a sintomatologia (OQ10). O tipo de tratamento (cognitivo e narrativo) não tem influência no score de OQ10 (p-valor > α= 0,05, não se rejeita H0). O outcome manteve seu compor-

tamento: no in´ıcio do tratamento não há uma diferença significativa entre good outcome e

Tabela 29: Output do Modelo high.1 (MI.high.perc preditor de OQ10).

Coeficientes Estimativas Desvio Padr˜ao t value P-valor

β0 22,779 2,174 10,477 <0,0001 β1 mi.high.perc -0,076 0,022 -3,483 0,0006 β2 outcome2 (poor) -0,116 2,510 -0,046 0,9639 β3 session -0,769 0,122 -6,325 <0,0001 β4 treat2 (narrativo) 3,430 2,003 1,712 0,1105 β5 outcome*session 0,790 0,164 4,807 <0,0001

Tabela 30: Output do Modelo low.1 (MI.low.perc preditor de OQ10).

Coeficientes Estimativas Desvio Padr˜ao t value P-valor

β0 22,542 2,296 9,817 <0,0001 β1 mi.low.perc 0,011 0,039 0,290 0,7717 β2 outcome2 (poor) -0,056 2,583 -0,022 0,9831 β3 session -0,860 0,118 -7,276 <0,0001 β4 treat2 (narrativo) 3,111 2,103 1,479 0,1630 β5 outcome*session 0,861 0,162 5,306 <0,0001

poor outcome, mas com o avanço do tempo, a ,diferença torna-se significativa e, nas últimas sess ões, os pacientes com good outcome têm score de OQ10 inferiores aos dos pacientes com poor outcome.

(a)

good outcome

(b)

poor outcome

Figura 38: Gr´afico OQ10 x MI.high.perc.

Na Figura 38 apresentamos os gráficos de OQ10 em função dos MI.high. No gráfico

6.1. Conclus ˜oes 61

Notamos uma grande variação entre os scores de OQ10 da primeira sessão para a última, onde os valores são bem inferiores. No gráfico (b), a diferença entre a primeira e última sessão é praticamente impercept´ıvel, pois trata-se dos pacientes com poor outcome. Com o aumento no n úmero de ocorrências de High MIs, temos uma diminuição no score OQ10, assim, quanto mais ocorrências de High MIs, melhor o paciente irá encontra-se da doença. Ao analisamos os resultados do modelo, com Mi.low como variável explicativa, a mesma não é significativa para explicar a sintomatologia do paciente. Comprovamos essa afirmação com a Figura39, onde vemos que a reta dos scores preditos de OQ10 mantêm-se quase na horizontal (sem variação no score de OQ10), indiferente ao aumento, ou não, do n úmero de ocorrências de Low MIs.

(a)

good outcome

(b)

poor outcome

Figura 39: Gr´afico OQ10 x MI.low.perc.

6.1 c o n c l u s˜oes

Da análise dos dois grupos de momentos de inovação (low e high) como variáveis explicati- vas da sintomatologia (OQ10), resultou-nos que a variável MI.high tem efeito significativo no score de OQ10, enquanto a variável MI.low não é significativa. Desta forma, conclu´ımos que os momentos de inovação do tipo action (A2), reflection (R2), protest (P2), reconceptualization (RC), e performig change (PC), têm maior influência na melhora do paciente (score OQ10 baixo) que os tipos action (A1), reflection (R1) e protest (P1).

7

C O N S I D E R A C¸ ˜O E S F I N A I S

Com este estudo fomos capazes de concluir que, quando em estudo transversal, o tipo de terapia realizada (cognitiva ou narrativa) é significativa para explicar as variáveis MI e RPM, contudo, ao realizarmos o estudo longitudinal, com a correlação das medidas de um mesmo indiv´ıduo sendo introduzidas no modelo, o tipo de tratamento realizado passa a não ter influência nas variáveis psicoterapêuticas estudadas (OQ10, WAI, MI, e RPM), logo, o paciente pode ser tratado em qualquer um dos dois métodos (cognitivo ou narrativo) que isto não irá influenciar nos resultados finais do tratamento terapêutico. O outcome que, em análise transversal, tinha efeito significativo para explicar as variáveis OQ10, MI, e RPM, continuou sendo significativo para explicar a sintomatologia do paciente e a ocorrência de retornos ao problema no estudo longitudinal. Pacientes com good outcome, no decorrer das sess ões de terapia, têm uma diminuição nos scores de OQ10 (melhora nos sintomas da doença), e diminuição nas chances de ocorrerem RPMs.

A sintomatologia do paciente (OQ10) é influenciada pela aliança (WAI) e pela ocorrência de MIs, sendo que os retornos ao problema não têm efeito sobre o score de OQ10. A aliança (WAI) é a variável com maior influência, quanto melhor a aliança formada com o terapeuta, melhor a sintomatologia do paciente será. O n úmero de momentos de inovação também tem influência na sintomatologia, quanto maior o n úmero de momentos de inovação, melhor a sintomatologia será (menor o score de OQ10). A aliança (WAI) é afetada pela sintomatologia e pelo n úmero de ocorrências de MIs. A variável com maior influência na aliança é a sintomatologia, quanto melhor o paciente está da doença, maior será a aliança com o terapeuta. Os momentos de inovação também têm efeito significativo e quanto maior o n úmero de MIs, melhor a aliança paciente - terapeuta (WAI).

Os momentos de inovação (MIs) são diretamente afetados pela sintomatologia (OQ10) e pela aliança com o terapeuta (WAI). A sintomatologia é a variável com maior influência, por isso, para cada score a mais de OQ10, a chance de ocorrerem momentos de inovação diminui 3,63% (quanto pior o paciente está da doença, menor a chance de ocorrerem MIs). Na aliança paciente - terapeuta, por sua vez, para cada score a mais na aliança, a chance

de ocorrerem momentos de inovação aumenta 1,21% (quanto melhor a aliança, maior o n úmero de MIs).

Ao analisarmos os dois grupos de momentos de inovação (low e high) em relação a in- fluência deles sobre a sintomatologia, o grupo de MI.low não é significativo ao explicar a melhora do paciente, enquanto o grupo MI.high é significativo (está a explicar a melhora do paciente), logo, os MIs dos tipos ação (A2), reflexão (R2), protesto (P2), re-conceptualização (RC), e mudança de performance (PC), têm maior influência na melhora do paciente.

Para futuro trabalho, sugerimos o estudo dos momentos de inovação, onde a chance de ocorrência deles numa sessão seja preditora da chance de ocorrência de MIs na sessão se- guinte.

B I B L I O G R A F I A

Beck, A. T. et al. (1961). “An inventory for measuring depression.” Em: Archives of General Psychiatry 4, pp. 561–571.

Ciências Médicas, Faculdade de (2013). Estudo Epidemiológico Nacional de Sa úde Mental - 1oRe- latório. www.fcm.unl.pt/main/alldoc/galeriaimagens/RelatorioEstudoSaude−Mental2.pd f .

Universidade Nova de Lisboa.

DGS, Direção Geral Da Sa úde - (2016). Portugal – Sa úde Mental em N úmeros 2015. ISSN: 2183-1505. Direção-Geral da Sa úde.

Diggle, P. J. et al. (2002). Analysis of Longitudinal Data. 2aed. Oxford University Press. Faria, Susana (2016a). Acetatos da disciplina de Modelos Lineares Generalizados - Mestrado em

Estat´ıstica.

– (2016b). Acetatos da disciplina de Modelos Lineares - Mestrado em Estat´ıstica.

Gonc¸alves, Miguel M., Inˆes Mendes et al. (2012). “Innovative moments and change in client- centered therapy”. Em: Psychotherapy Research 22.4. DOI: 10.1080.10503307.2012.662605, pp. 389–401.

Gonçalves, Miguel M. e Joana R. Silva (2014). “Momentos de inovação em psicoterapia: Das narrativas aos processos , dial ógicos”. Em: Análise Psicológica 32.1. DOI: 10.14417/ap.837, pp. 27–43.

Lambert, Michael J., Ann T. Gregersen e Gary M. Burlingame (2004). “The Outcome Ques- tionnaire - 45.” Em: Lawrence Erlbaum Associates Publishers.

Mello, José Márcio de (2004). “Geoestat´ıstica Aplicada ao Inventário Florestal.” Tese de doutoramento. Universidade de São Paulo.

Mufson, L. e C.V. Wright (2006). “Overcoming Depression: How psychologists help with depressive disorders”. Em: http://www.apa.org/helpcenter/depression.pdf.

Powell, V.B. et al. (2008). “Terapia cognitivo-comportamental da depress˜ao”. Em: Revista Brasileira de Psiquiatria 30.Supl II, pp. 73–80.

Santos, A., M. M. Gonc¸alves e M. Matos (2011). “Innovative moments and poor outcome in narrative therapy”. Em: Counselling Psychotherapy and Research 11.2. http://tandfonline.com /doi/abs/10.1080/14733140903398153, pp. 129–139.

Santos, A., M. Gonc¸alves et al. (2009). “Innovative moments and change pathways: A good outcome case of narrative therapy”. Em: Psychology and Psychotherapy: Theory, Research and Practice 82. DOI:10.1348/147608309X462442, pp. 449–466.

Singer, Julio M., Juvêncio S. Nobre e Francisco Marcelo M. Rocha (2017). Análise de dados longitudinais: versão preliminar. Universidade de São Paulo.

No documento Modelos longitudinais para momentos de inovação em psicoterapia (páginas 62-79)