Foram feitas análises para verificar se há possibilidade de obter resultados confiáveis da rede em valores além da faixa daquela apresentada no conjunto de treinamento. Para isso foi utilizada a equação de Manning.
Essa análise foi executada observando inicialmente os resultados das 20 redes neurais para o conjunto de treinamento. Foram utilizados o erro padrão da estimativa e o coeficiente de determinação para a classificação das melhores redes neurais. A Tabela 9 apresenta os valores destes dois parâmetros para cada uma das RNA avaliadas.
TABELA 9 – VALORES DOS COEFICIENTES DE DETERMINAÇÃO (R²) E DO ERRO PADRÃO DA ESTIMATIVA (EPE) PARA O CONJUNTO DE TREINAMENTO – EQUAÇÃO DE MANNING
Rede R² EPE Rede R² EPE
RNA 1 0,9982 0,0013 RNA 6 0,9998 0,0004
RNA 2 0,9848 0,0037 RNA 7 0,9982 0,0012
RNA 3 0,9914 0,0028 RNA 8 0,9940 0,0023
RNA 4 0,9938 0,0023 RNA 9 0,9968 0,0017
RNA 5 0,9997 0,0005 RNA 10 0,9929 0,0025
Rede R² EPE Rede R² EPE
RNA 11 0,9994 0,0004 RNA 16 0,9961 0,0018 RNA 12 0,9926 0,0026 RNA 17 0,9948 0,0021 RNA 13 0,9998 0,0004 RNA 18 0,9992 0,0009 RNA 14 0,9989 0,0010 RNA 19 0,9984 0,0012 RNA 15 0,9995 0,0006 RNA 20 0,9996 0,0005 FONTE: O AUTOR (2018)
Ao analisar a Tabela 9, nota-se que todos os resultados foram bons. Entretanto, a rede que obteve o menor erro padrão da estimativa correspondeu a RNA 13, equivalente a 0,0004, associado a um coeficiente de determinação de 0,9998, indicando uma boa aderência dos resultados fornecidos pela rede neural e dos resultados calculados pela equação de Manning.
O valor do coeficiente de determinação da RNA 13 não corresponde ao maior valor encontrado deste parâmetro para as 20 redes avaliadas. Contudo, este valor unicamente não é suficiente para concluir se o desempenho da rede neural é bom ou não. Por isso, o coeficiente de determinação foi utilizado como um parâmetro auxiliar para avaliar a aderência dos pontos.
Após a análise dos resultados para o conjunto de treinamento, todas as 20 redes neurais artificiais foram testadas de maneira similar aos conjuntos de simulação. Essa análise teve como objetivo identificar e confirmar se a RNA 13 realmente possui uma capacidade melhor de generalização frente as outras redes analisadas, identificando eventuais ocorrências de underfitting ou overfitting. A Tabela 10 apresenta os valores para cada rede neural analisada.
TABELA 10 – VALORES DOS COEFICIENTES DE DETERMINAÇÃO (R²) E DO ERRO PADRÃO DA ESTIMATIVA (EPE) PARA OS CONJUNTOS DE SIMULAÇÃO – EQUAÇÃO DE MANNING
CONJUNTO DE SIMULAÇÃO Área e Raio
hidráulico Longitudinal Declividade Manning Vazão Todos os dados Interpolação
RNA R² EPE R² EPE R² EPE R² EPE R² EPE R² EPE
RNA 1 0,985 55,3 0,995 32,8 0,942 1,72 0,969 56,8 0,945 25,2 0,988 24,3 RNA 2 0,884 111 0,881 112 0,677 4,23 0,828 55,7 0,788 20,3 0,924 67,4 RNA 3 0,955 72,0 0,993 39,8 0,836 3,94 0,912 68,2 0,355 30,7 0,956 41,7 RNA 4 0,954 86,1 0,994 42,0 0,557 4,30 0,919 55,2 0,078 349 0,953 44,9 RNA 5 0,964 120 0,996 7,84 0,630 3,07 0,991 17,0 0,698 136 0,979 32,0 RNA 6 0,865 131 0,934 109 0,970 1,42 0,966 22,1 0,127 90,5 0,977 33,9 RNA 7 0,954 72,0 0,989 36,8 0,387 6,41 0,922 54,8 0,649 38,6 0,966 37,9 RNA 8 0,967 93,1 0,994 12,6 0,883 3,04 0,968 60,3 0,811 17,5 0,991 27,7 RNA 9 0,987 90,6 0,989 35,7 0,096 5,62 0,980 65,4 0,282 73,6 0,989 33,9 RNA 10 0,986 529 0,245 113 0,388 163 0,996 10,3 0,925 531 0,814 122 RNA 11 0,994 42,1 0,993 10,3 0,605 6,85 0,992 25,3 0,446 22 0,998 11,1 RNA 12 0,968 118 0,981 59,8 0,014 8,59 0,891 37,6 0,063 265 0,927 73,2 RNA 13 0,996 21,9 0,401 103 0,981 0,679 0,988 23,4 0,931 9,87 0,994 15,4 RNA 14 0,945 125 0,994 34,8 0,831 4,88 0,965 26,1 0,700 115 0,960 48,7 RNA 15 0,977 107 0,990 18,9 0,934 1,33 0,989 67,0 0,976 7,08 0,992 34,1 RNA 16 0,647 319 0,952 78,6 0,093 77,0 0,838 60,0 0,764 301 0,906 71,8 RNA 17 0,937 92,7 0,975 62,4 0,645 3,68 0,958 67,0 0,025 523 0,973 35,9 RNA 18 0,938 103 0,863 69,3 0,299 4,02 0,967 71,2 0,295 327 0,987 30,0 RNA 19 0,889 121 0,991 26,8 0,874 2,71 0,982 49,1 0,620 86,3 0,984 25,1 RNA 20 0,888 318 0,986 28,4 0,982 0,637 0,987 44,1 0,623 171 0,914 86,0 FONTE: O AUTOR (2018)
Analisando os resultados do conjunto de simulação apresentados na Tabela 10, nota-se que para o conjunto de extrapolação das variáveis correspondentes a área e o raio hidráulico a RNA 13 obteve o menor erro padrão da estimativa, equivalente a 21,9 associado a um coeficiente de determinação de 0,996. Para o conjunto de simulação o qual contemplou a extrapolação da declividade longitudinal a RNA 5 apresentou um melhor desempenho com um erro padrão da estimativa equivalente a 7,84 associado a um coeficiente de determinação de 0,996. No conjunto equivalente a extrapolação do coeficiente de Manning, a rede correspondente ao menor erro padrão da estimativa, equivalente a 0,637 associado a um coeficiente de determinação de 0,982 correspondeu a RNA 20. Para o conjunto de extrapolação da vazão, a RNA 10 apresentou um erro padrão da estimativa de 10,3 associado a um coeficiente de determinação equivalente a 0,996. No conjunto que contemplou a extrapolação de todos os dados de entrada, a rede que apresentou o melhor desempenho correspondeu a RNA 15 com um erro padrão da estimativa de 7,08
associado a um coeficiente de determinação de 0,976. E por fim, no conjunto de interpolação de todos os dados de entrada a RNA que apresentou um melhor desempenho correspondeu a RNA 11, com um erro padrão da estimativa de 11,133 associado a um coeficiente de determinação correspondente a 0,998.
Nota-se que para a extrapolação de cada variável uma rede diferente apresentou melhor desempenho frente as demais. Para seleção de uma rede com o melhor desempenho e mais indicada para a extrapolação de dados somou-se os erros padrões de todas as redes neurais e concluiu-se que a rede com um menor erro padrão da estimativa para todos os casos corresponde a RNA 11, com o erro padrão da estimativa acumulado de 118.
A Figura 11 abaixo ilustra a comparação dos valores obtidos pela RNA 11 e os valores calculados pela equação de Manning para os pontos observados nos seis conjuntos de simulação em um gráfico com escala logarítmica. É possível observar a existência de duas linhas pontilhadas que indicam um limite de erro aceitável, equivalente à 5%, para a vazão obtida pela rede em comparação com a vazão obtida pela equação de Manning. Além disso observa-se que os conjuntos correspondentes a extrapolação dos dados do coeficiente de Manning, da declividade longitudinal e a extrapolação de todos os dados de entrada apresentaram um maior desvio para o valor resultante da equação de Manning.
FIGURA 11 – COMPARATIVO ENTRE A VAZÃO OBTIDA PELA RNA 11 E PELA EQUAÇÃO DE MANNING
FONTE: O AUTOR (2018)
Ao analisar separadamente cada um dos conjuntos de resultados da rede para cada variável extrapolada, é possível determinar os limites para a extrapolação de cada variável individualmente. De forma que este limite corresponda a valores que proporcionem a rede a capacidade de extrapolação dos valores de saída (vazão) dentro do limite de erro apresentado (5%). Dito isso, apresenta-se na Tabela 11 os limites de extrapolação de cada uma das variáveis.
TABELA 11 – LIMITES DE EXTRAPOLAÇÃO OBSERVADOS
Grandeza
Valor máximo para extrapolação Valor Porcentagem acima do máximo valor do conjunto de treinamento Coeficiente de Manning (m-1/3/s) 0,354 7,30 % Declividade longitudinal (m/m) 0,0115 15,23 % Área (m²) 78,16 33,35 % Raio Hidráulico (m) 3,27 14,33 % Vazão (m³/s) 603,99 53,17 % FONTE: O AUTOR (2018)
Ao se retirar dos conjuntos de simulação os valores acima dos limites apresentados na Tabela 11, observa-se que todos os dados obtidos pela RNA 11 resultam dentro do limite de erro pré-determinado. A Figura 12 apresenta a correlação entre os valores obtidos através da equação de Manning e os valores obtidos pela RNA para os valores das variáveis envolvidas na equação de Manning extrapolados até os s apresentados na Tabela 11.
Nota-se que apesar da RNA 11 apresentar um limite de extrapolação para cada grandeza envolvida na equação de Manning de forma que continue resultando valores aceitáveis de vazão, conclui-se que avaliar se a extrapolação de uma RNA é boa ou não para determinado problema onde não se conhece o comportamento físico, é muito arriscado e envolve muitas incertezas. Essa afirmação se baseia nos resultados apresentados primordialmente na Tabela 9 e na Tabela 10. Nota-se na Tabela 9 que qualquer arquitetura de rede treinada poderia resultar um valor de vazão aceitável, analisando os valores dos erros padrões da estimativa e do coeficiente de determinação. Todavia, ao analisar a Tabela 10 verifica-se que para extrapolações e interpolações as redes apresentam comportamentos muito distintos, não sendo confiáveis caso não haja um critério de avaliação dos resultados. Por isso, as redes neurais não serão utilizadas em extrapolações na segunda etapa deste trabalho, que se refere a determinação do limite de deposição em galerias de drenagem.
FIGURA 12 – COMPARATIVO ENTRE A VAZÃO OBTIDA PELA RNA 11 E PELA EQUAÇÃO DE MANNING, CONSIDERANDO OS DADOS APRESENTADOS NA TABELA 11
FONTE: O AUTOR (2018)