6 DISCUSSÃO
6.2 Considerações sobre a interpretação dos componentes da validação dos
Mesmo que bem calibrado e discriminante, um modelo de risco será completamente inútil para fins prognósticos se consegue bom desempenho apenas na amostra específica que lhe deu origem. Para que seja generalizável a outras realidades, sua acurácia (i.e., discriminação e calibração) deve ser reproduzível e transportável (JUSTICE et al., 1999).
A reprodutibilidade se refere à acurácia do modelo para replicar seu desempenho em pacientes não incluídos no seu desenvolvimento, mas que pertencem à
mesma população subjacente que deu origem ao modelo. Testar a reprodutibilidade de um modelo é validar internamente o grau em que ele ajusta padrões reais dos dados, ao invés de ajustar ruído aleatório, fenômeno tecnicamente conhecido como sobreajuste (JUSTICE et al., 1999). O sobreajuste dos modelos aos dados usados para o seu desenvolvimento é fenômeno nem sempre reconhecido na pesquisa biomédica. A literatura cirúrgica não tem sido a exceção. Da multiplicidade de estudos que já propuseram modelos alternativos ao índice NNIS, apenas um validou internamente seu desempenho (GEUBBELS et al., 2006b) (seção 2.6).
Devemos a Mosteller & Tukey6,7 (1977 apud BRAITMAN; DAVIDOFF, 1996, p. 411) esta magnífica definição do sobreajuste dos modelos (tradução do autor):
Pôr à prova [um modelo] nos mesmos dados que lhe deram origem é quase certo que irá superestimar o desempenho, pois o processo de otimização que seleciona este modelo dentre todos os vários possíveis [modelos para esses dados] faz o máximo uso possível de todas e cada uma das idiossincrasias desses dados em particular. Como resultado, o modelo funcionará melhor nesses dados, às vezes produzindo associações espúrias, que em quase qualquer outro conjunto de dados que possa vir a surgir na prática.
Conjuntos de dados são só amostras de uma população subjacente. O objetivo de qualquer inferência estatística não é apenas descrever a amostra o melhor possível, mas conhecer o máximo possível acerca do comportamento da população. Embora conhecer mais sobre a amostra possa parecer, em aparência, conhecer mais sobre a população, isto não é necessariamente verdade. De fato, a especificação de modelos estatísticos baseada completamente em decisões conduzidas pelos próprios dados implica em melhor ajuste do modelo aos dados em mão, mas não garante, em igual medida, o mesmo comportamento na população, podendo levar a desempenho aparente superotimista (STEYERBERG et al., 2000). Exemplos de decisões baseadas nos dados incluem os métodos automáticos de seleção passo-a-passo de variáveis, a análise univariada de preditores, e o reagrupamento de variáveis baseado na associação com o desfecho (STEYERBERG et al., 2000). Os efeitos do sobreajuste são mais manifestos em amostras pequenas, quando são ajustados muitos preditores no modelo, ou na presença de pequeno número de eventos por variável explicativa (em modelos logísticos, tipicamente < 10), mesmo quando em modelos completamente pré-especificados (i.e., sem utilização de decisões baseadas nos dados) (STEYERBERG et al., 2000).
6 MOSTELLER, F.; TUKEY, J. W. Data Analysis and Regression. Reading, MA: Addison-Wesley; 1977:37.
A validação interna põe à prova o papel que a variação aleatória dos dados pode ter tido durante a construção de um modelo de predição (HIRSCH, 1991). Existem, em essência, três formas através das quais a variação aleatória dos dados pode interferir na decisão sobre quais variáveis incluir ou excluir durante o desenvolvimento de um modelo: o erro tipo I, o erro tipo II e o grau em que ela determina a presença de multicolinearidade entre as variáveis independentes, o que pode conduzir à seleção de uma variável em detrimento de outra(s) (HIRSCH, 1991). Por ser a validação interna usada para avaliar o desempenho de modelos previamente definidos, ela geralmente pode fazer pouco para avaliar a presença de multicolinearidade. Também é pouco o que pode fazer para detectar variáveis independentes associadas com o evento de interesse na população, porém erroneamente ignoradas durante a construção do modelo (i.e., erro tipo II) (HIRSCH, 1991). Entretanto, a validação interna força o pesquisador a reconhecer a presença de variáveis erroneamente consideradas significativas e retidas durante a construção do modelo, quando, de fato, elas não estão associadas com o evento de interesse na população (i.e., erro tipo I) (HIRSCH, 1991). A flutuação aleatória dos dados também pode interferir na estimação dos coeficientes de regressão das variáveis retidas no modelo, determinando a distribuição dos valores das variáveis dependente e independentes na amostra e a magnitude da sua interassociação (HIRSCH, 1991). Quando a variação aleatória dos dados determina erros na construção do modelo, é esperado que o seu desempenho durante a validação interna seja pior do que na amostra original. O motivo disto é o conhecido fenômeno de regressão à média: distribuições de dados atípicas, extremas ou não representativas da população tendem a não ser reproduzidas pelo método de construção das amostras de validação interna (HIRSCH, 1991).
Nesta pesquisa, o grau de sobreajuste dos modelos de regressão logística foi quantificado pelo cálculo de C cal por validação cruzada tipo deixe um de fora seç~o 4.7.4.1). Embora esta técnica teste o sobreajuste do modelo logístico (e não propriamente do correspondente escore prognóstico), espera-se que o grau de sobreajuste do modelo logístico seja transferido diretamente para o escore prognóstico que tem seus fatores ponderados pelos coeficientes do modelo logístico (i.e., os escores alternativos ponderados). É interessante notar que, pelas TAB. 11, 25, 39 e 53, a ponderação dos escores pareceu associar-se, nas amostras de desenvolvimento, com desempenho discretamente melhor que os escores não ponderados. Entretanto, a magnitude de C cal adverte que parte do que sabemos acerca do escore ponderado na
amostra de desenvolvimento pode de fato ser mero ruído aleatório não replicável. Isto é fortemente sugerido pelo fato de que o desempenho dos escores ponderados foi quase sempre pior que o dos não ponderados nas amostras de validação (TAB. 14, 28, 42, 56). A explicação mais plausível para este fenômeno é o sobreajuste dos modelos às amostras de desenvolvimento.
Outra constatação interessante é que a magnitude de C cal foi menor para os modelos logísticos alternativos 1 e 2 do que para os modelos alternativos NNIS. Isto indica que a quantidade de sobreajuste foi de fato reduzida pela revisão, e ainda mais, pela extensão dos modelos. A magnitude de C cal indica que, comparado aos escores alternativos NNIS e 1, menor proporção do ajuste dos modelos logísticos alternativos 2 pode ser atribuída ao ruído aleatório que é próprio da modelagem e, portanto, pouco replicável em amostras de validação. De acordo com Harrell et al. (1996), se C cal indica a proporção do ajuste do modelo devido a tendências reais dos dados, em oposição às tendências aleatórias, pode esperar-se que os coeficientes das variáveis dos modelos alternativos 2 carreguem menos sobreajuste, e que apresentem comportamento mais estável e menos típico de amostras desbalanceadas e esparsas, levando à maior replicabilidade do modelo em amostras externas de características similares.
Conclusão similar é sugerida quando é analisada a magnitude da correção introduzida pela macro ReLogit nos coeficientes de máxima verossimilhança. Observou- se que a variação das predições conjuntas baseadas nos coeficientes corrigidos pelo MMVC, em relação às predições baseadas nos coeficientes do MMV, foi maior para os modelos alternativos NNIS que para os modelos alternativos 1 e 2, fato corroborado pelos valores de MMV/MMVC e MMV/MMVC mais próximos de 0 e 1, respectivamente.
O benefício outorgado pela revisão e pela extensão dos modelos, quanto à redução do sobreajuste, pode ser atribuído ao aumento global no seu poder de explicação. Além de ser calculado por validação cruzada ou reamostragem tipo bootstrap, o fator de redução dos modelos pode ser estimado por argumentos heurísticos. No caso dos estimadores de máxima verossimilhança do modelo de regressão logística, este fator heurístico de redução (C heur) pode ser estimado como [ ( χ2 do modelo – p ) / χ2 do modelo ] (VAN HOUWELINGEN; LE CESSIE, 1990) ou também como { 1 – [ ( p – 2 ) / χ2 do modelo ] } (COPAS, 1983), onde p é o número de graus de liberdade dos regressores do modelo (COPAS, 1983; VAN HOUWELINGEN; LE CESSIE, 1990), embora Copas (1983) argumente que, quando o modelo é construído por seleção
passo-a-passo de variáveis, p está conceitualmente mais próximo do número total de graus de liberdade candidatos a entrarem no modelo durante a etapa de sua construção do que do número efetivamente selecionado para o modelo final. Assim, quanto maior o χ2 do modelo (e maior seu poder de explicação), mais próximo C heur tende a ficar de 1. Note-se que C heur é calculado usando-se os mesmos parâmetros usados pelos critérios de informação AIC e BIC, cujos valores foram sempre menores para os modelos alternativos 1 e 2 do que para os modelos alternativos NNIS.
O benefício da extensão e da revisão dos modelos também é explicado analisando-se individualmente as variáveis retidas nos modelos. Em modelos de regressão logística, Moons et al. (2004) observaram que preditores mais fortes (i.e., com valores p baixos) tendem a carregar pouco sobreajuste, resultando em fatores de redução mais próximos da unidade. Contrariamente, os coeficientes dos preditores mais fracos (i.e., com valores p relativamente mais altos) e os preditores com prevalência baixa na casuística (que apresentam comumente comportamento mais instável) tendem a mostrar maior sobreajuste (MOONS et al., 2004). Ao comparar os pontos de corte alternativos escolhidos para os modelos alternativos 1 e 2 com os pontos de corte das variáveis do índice NNIS (TAB. 1, 15, 29, 43), é possível observar que, geralmente, resultaram em maior prevalência do fator de risco na casuística (e.g., prevalência de escore da ASA 3 = 1,3% vs. escore da ASA = 13,9% em outras operações do aparelho geniturinário, TAB. 1) e em valores p menores, justificando assim o menor sobreajuste dos modelos revisados e dos estendidos.
É interessante notar que o escore da ASA não foi admitido nos modelos de outras operações do aparelho geniturinário (TAB. 2) e de histerectomia abdominal (TAB. 44) quando foram usados os pontos de corte do índice NNIS. Já após a recategorização, o escore da ASA foi admitido nos modelos alternativos 1 (TAB. 5 e 47). A recategorização do escore da ASA aumentou a prevalência deste fator de risco na amostra (TAB. 1 e 43), tornando a distribuição dos seus valores menos desbalanceada e trazendo maior estabilidade e significância estatística para esta variável, o que resultou, por fim, na seleção do fator para os modelos.
6.3 CONSIDERAÇÕES SOBRE A INTERPRETAÇÃO DOS COMPONENTES DA VALIDAÇÃO DOS MODELOS: VALIDAÇÃO EXTERNA
A transportabilidade se refere à acurácia do modelo para reproduzir seu desempenho em pacientes que diferem, em uma ou mais características sistemáticas, dos pacientes da amostra de desenvolvimento do modelo. Testar a transportabilidade de um modelo é validar externamente o grau em que ele prediz acuradamente um evento em uma amostra retirada de uma população diferente daquela que originou a amostra de desenvolvimento do modelo, ou em dados coletados por métodos diferentes aos usados na amostra de desenvolvimento (JUSTICE et al., 1999).
Enquanto a falta de reprodutibilidade decorre do sobreajuste aos dados, a falta de transportabilidade é produto do subajuste do modelo (JUSTICE et al., 1999). O subajuste ocorre quando preditores importantes do desfecho são omitidos durante a etapa de construção do modelo, ou quando outros perdem seu poder de predição em amostras vindas de populações com comportamento diferente ao da amostra de desenvolvimento (JUSTICE et al., 1999). O subajuste dos modelos clínicos é fenômeno frequente na prática.
Horwitz & Ferleger8,9 (1980 apud BRAITMAN; DAVIDOFF, 1996, p. 412) notaram que a maior parte das predições tem como pressuposto b|sico se as tendências atuais continuassem... Infelizmente, n~o é isso que geralmente acontece . Para que um modelo apresente bom desempenho em contextos diversos, todos os fatores que influenciam o desfecho devem ser incluídos no modelo ou ter a mesma distribuição que na amostra usada para o seu desenvolvimento. Diferenças entre os países e/ou através do tempo tornam esta condição pouco provável na prática (HARRISON et al., 2006). O modo específico em que a amostra de validação difere da amostra de desenvolvimento determina o componente da transportabilidade que é desafiado, sendo os mais frequentes os componentes histórico, geográfico e metodológico (JUSTICE et al., 1999).
No presente estudo, ao avaliar os escores prognósticos em conjuntos de dados coletados em época mais recente que a amostra de desenvolvimento, o principal componente da transportabilidade desafiado foi o histórico. Nas últimas décadas, o
8 HORWITZ, L.; FERLEGER, L. Statistics for Social Change. Boston: South End Press; 1980:20.
melhor entendimento da patogenia das ISC e o conhecimento de novos fatores de risco levaram à definição de protocolos de prevenção das ISC baseados em evidências, especialmente de profilaxia antibiótica e de esterilização de instrumental cirúrgico (MANGRAM et al., 1999). A aplicação destes protocolos, diretamente ligada à qualidade dos cuidados assistenciais dispensados pelos hospitais, representa importante diferença no risco extrínseco de ISC entre os pacientes das amostras de desenvolvimento e de validação. As implicações no desempenho dos escores nas amostras de validação são discutidas na próxima seção.
Outro componente desafiado foi o metodológico. Ao longo dos anos do estudo, a vigilância das ISC nas instituições participantes foi sempre realizada por pessoas treinadas, sem que tenham acontecido mudanças nos métodos de busca das ISC nem nas definições das variáveis do índice NNIS. Entretanto, a vigilância das ISC está intrinsecamente sujeita a erros de classificação dos fatores de risco e a diferenças na interpretação dos critérios diagnósticos das infecções, especialmente em estudos com tempos de seguimento prolongados, nos quais participam diferentes examinadores em momentos diferentes do acompanhamento (CARDO et al., 1993). Os erros de classificação causam maior impacto quando ocorrem de forma sistemática. Mas, mesmo quando o erro de classificação acontece de modo aleatório, atenua as associações entre os fatores de risco e o desfecho em direção à hipótese nula de não associação.
Dos estudos que já propuseram modificações ao índice NNIS, ou ainda modelos alternativos de ajuste do risco de ISC (vide seção 2.6), apenas dois tiveram seu desempenho avaliado em amostras diferentes das usadas para o desenvolvimento. O escore alternativo de infecção da esternotomia em pacientes revascularizados descrito na Austrália por Friedman et al. (2007b) (vide seção 2.6, p. 69) foi recentemente avaliado nos Estados Unidos em pequeno estudo caso-controle aninhado (CHEN et al., 2010). Esta avaliação atestou menor discriminação do escore alternativo (AROC 0,62) e maior discriminação do índice NNIS (AROC 0,57) (CHEN et al., 2010) que no estudo original (AROC 0,64 e 0,52, respectivamente) (FRIEDMAN et al., 2007b). Também em estudo caso-controle, Batista et al. (2006) avaliaram o benefício da estratégia proposta em 2001 por Kaye et al. (2001) (vide seção 2.6, p. 73), que consistia em retirar do índice NNIS o escore da ASA e substituí-lo por escore de doença crônica, definido pelo padrão de prescrição de medicações para tratamento de doenças crônicas no dia da admissão hospitalar. Aplicando o escore alternativo em pacientes submetidos a cirurgia de revascularização do miocárdio entre 1999 e 2001, no mesmo hospital usado para o
desenvolvimento do escore, observaram coeficiente G de 0,19 para o escore alternativo e 0,07 para o índice NNIS (BATISTA et al., 2006).
Pela comparação do desempenho dos escores alternativos nas amostras de desenvolvimento (TAB. 11, 25, 39 e 53) e de validação (TAB. 14, 28, 42 e 56), é possível observar que muitos escores se desempenharam significativamente pior ao serem aplicados em amostras diferentes, mesmo que vindas dos mesmos hospitais. Isto reforça a necessidade de avaliações mais abrangentes dos modelos antes de serem propostos como alternativos ao índice NNIS.
6.4 CONSIDERAÇÕES SOBRE A INTERPRETAÇÃO DO DESEMPENHO DOS ESCORES