Figura 20 – Rede neural com 2 camadas BiLSTM com 1.024 neurônios.
Fonte: Elaborado pelo autor.
Figura 21 – Rede neural com 2 camadas LSTM com 2.048 neurônios.
Fonte: Elaborado pelo autor.
Figura 22 – Rede neural com 1 camada LSTM com 4 neurônios.
Fonte: Elaborado pelo autor.
complexidade de um alto-forno, para apoiar esta interpretação qualitativa é avaliada a métrica MdRAE que permite a comparação ponto a ponto entre as predições realizadas por um modelo e um modelo referência, permitindo desta forma uma comparação de desempenho entre dois modelos. Com essa comparação adicional, observou-se que os modelos LSTM obtiveram melhores desempenhos frente aos demais modelos avaliados, exceto quando comparado com o modelo LSTM (Ablação). Nessa comparação com o modelo LSTM (Ablação) o melhor resultado obtido foi um desempenho quase equivalente do modelo LSTM que obteve melhor métrica RMSE (LSTM 1 Camada com 2.048 neurônios), a comparação de desempenho entre eles apresentou MdRAE de 1,03, apontando um desempenho próximo entre eles.
Considerando os componentes existentes no modelo LSTM, apresentados na Seção 3.2.1.6, eles permitem que o modelo retenha informações importantes sobre conjunto de dados e descarte informações menos importantes. Assim, o modelo LSTM é capaz de lidar com dependências de longo prazo, uma vez que as informações podem permanecer em sua memória por muitas etapas. Essa estratégia permite transpor limitações de técnicas tradicionais de previsão em séries temporais, adaptando-se ao comportamento não linear do processo de operação de um alto-forno. Dessa forma, dos modelos avaliados neste trabalho, esse foi o modelo que mais se adaptou ao cenário complexo, não linear e com dependências de longo prazo de um alto-forno.
5 CONCLUSÕES E TRABALHOS FUTUROS
Esse trabalho avaliou a utilização de redes neurais baseadas em LSTM no problema de predição da temperatura de ferro-gusa produzido por um alto-forno. Uma base de dados foi construída, pré-processada e utilizada para treinar e avaliar os modelos. Inicialmente, a base possuía mais de 430 variáveis de processo e após entrevistas com especialistas e engenheiros de processo, foram selecionadas 92 características.
Experimentos compararam a performance das redes neurais com baselines que prediziam a temperatura como sendo igual à anterior e usando a média móvel das temperaturas anteriores. Também foi realizado um estudo de ablação em que as redes não receberam dados das variáveis do processo, mas apenas as temperaturas anteriores. Além disso foi avaliado o uso do algoritmo Random Forest bem como o método estatístico VAR.
A utilização da rede neural LSTM se confirmou como melhor alternativa frente aos baselines considerando as avaliações quantitativas e qualitativas. A LSTM que recebe somente a temperatura como entrada e o modelo Random Forest (que recebeu todas as características selecionadas) apresentaram os menores RMSE e MAPE, porém elas apresentam comportamento similar a repetição de temperaturas anteriores; entende-se que não é um comportamento esperado para a tarefa objetivo, levando-se em conta o número de variáveis envolvidas e a complexa interação entre elas. As predições realizadas pela LSTM que recebe todas as características selecionadas apresentaram um comportamento mais próximo do esperado, sendo que o melhor resultado obtido utilizando a rede neural LSTM com 1 camada com 2.048 neurônios: RMSE de 11,75◦C, MAPE de 0,58% e R2 de 0,75; somado a isso esta LSTM apresentou também melhor performance, medida através da métrica MdRAE, quando comparada a maioria dos métodos avaliados.
Trabalhos futuros poderão incluir a aplicação dos modelos em dados de outros altos-fornos, para verificar se os modelos não aprenderam características específicas e únicas do alto-forno utilizado no projeto. Também é possível a aplicação de técnicas de seleção de características adicionais ao processo de seleção utilizada neste trabalho, o qual se baseou na experiência de especialistas e engenheiros de processo. Adicionalmente, ainda cabe nesse trabalho o uso de técnicas de calibração de hiperparâmetros, para melhor desempenho do modelo proposto.
A continuação desse trabalho se dará na investigação para identificar quais são as características que mais influenciam na variação da temperatura. O objetivo dessa identificação é principalmente orientar o operador qual a atuação necessária para modificação da temperatura de forma conveniente.
REFERÊNCIAS
ABBASIMEHR, Hossein; PAKI, Reza. Improving time series forecasting using lstm and attention models. Journal of Ambient Intelligence and Humanized Computing, Springer, v. 13, n. 1, p. 673–691, 2022.
AGGARWAL, Charu C et al. Neural networks and deep learning. Springer, Springer, v. 10, p. 978–3, 2018.
ASSIS, Paulo Santos; CARVALHO, Leonard de Araújo; IRGALIYEV, A. Artificial neural network-based committee machine for predicting fuel rate and sulfur contents of a coke blast furnace. 2019.
BOTO, Fernando et al. Data driven performance prediction in steel making. Metals, Multidisciplinary Digital Publishing Institute, v. 12, n. 2, p. 172, 2022.
BRASIL, Instituto Aço. Mercado Brasileiro do Aço - Análise setorial e regional. 2021.
6-7 p. Disponível em: <https://acobrasil.org.br/site/wp-content/uploads/2021/08/MBA_
EdiÃğÃčo-2021.pdf>. Acesso em: 28 novembro 2021.
BRASIL, Portal Siderurgia. Anuário Brasileiro da Siderurgia 2021. 2020. 12 p. Disponível em: <https://siderurgiabrasil.com.br/wp-content/uploads/2020/05/gc2021_site.pdf>.
Acesso em: 22 julho 2021.
BREIMAN, Leo. Bagging predictors. Machine learning, Springer, v. 24, n. 2, p. 123–140, 1996.
BREIMAN, Leo. Random forests. Machine learning, Springer, v. 45, n. 1, p. 5–32, 2001.
CARDOSO, Wandercleiton; FELICE, Renzo di; BAPTISTA, Raphael Colombo. Artificial neural network for predicting silicon content in the hot metal produced in a blast furnace fueled by metallurgical coke. Materials Research, SciELO Brasil, v. 25, 2022.
CARVALHO, Leonard de Araujo. Redes neurais artificiais para modelagem de altos-fornos.
2019. Disponível em: <http://www.repositorio.ufop.br/jspui/handle/123456789/11908>.
CAVANAUGH, Joseph E; NEATH, Andrew A. The akaike information criterion:
Background, derivation, properties, application, interpretation, and refinements. Wiley Interdisciplinary Reviews: Computational Statistics, Wiley Online Library, v. 11, n. 3, p.
e1460, 2019.
CHANDRASEKAR, Priyanga et al. Improving the prediction accuracy of decision tree mining with data preprocessing. In: 2017 IEEE 41st Annual Computer Software and Applications Conference (COMPSAC). [S.l.: s.n.], 2017. v. 2, p. 481–484.
CHIMMULA, Vinay Kumar Reddy; ZHANG, Lei. Time series forecasting of covid-19 transmission in canada using lstm networks. Chaos, Solitons & Fractals, Elsevier, v. 135, p. 109864, 2020.
CHRIST, Maximilian et al. Time series feature extraction on basis of scalable hypothesis tests (tsfresh–a python package). Neurocomputing, Elsevier, v. 307, p. 72–77, 2018.
CHRISTIANO, Lawrence J. Christopher a. sims and vector autoregressions. The Scandinavian Journal of Economics, Wiley Online Library, v. 114, n. 4, p. 1082–1104, 2012.
CLAESEN, Marc; MOOR, Bart De. Hyperparameter search in machine learning. arXiv preprint arXiv:1502.02127, 2015.
DETTORI, Stefano et al. A deep learning-based approach for forecasting off-gas production and consumption in the blast furnace. Neural Computing and Applications, Springer, v. 34, n. 2, p. 911–923, 2022.
DÍAZ, José; FERNÁNDEZ, F. Javier; SUÁREZ-RAMÓN, Inés. Hot metal temperature prediction at basic-lined oxygen furnace (bof) converter using ir thermometry and forecasting techniques. Energies, v. 12, p. 3235, 08 2019.
DISSANAYAKE, Bhanuka et al. A comparison of arimax, var and lstm on multivariate short-term traffic volume forecasting. In: FRUCT OY. Conference of Open Innovations Association, FRUCT. [S.l.], 2021. p. 564–570.
DONG, Xibin et al. A survey on ensemble learning. Frontiers of Computer Science, Springer, v. 14, n. 2, p. 241–258, 2020.
ERMAGUN, Alireza; LEVINSON, David. Spatiotemporal traffic forecasting: review and proposed directions. Transport Reviews, Taylor & Francis, v. 38, n. 6, p. 786–814, 2018.
FONTES, Diane Otília Lima; VASCONCELOS, Luis Gonzaga Sales; BRITO, Romildo Pereira. Blast furnace hot metal temperature and silicon content prediction using soft sensor based on fuzzy c-means and exogenous nonlinear autoregressive models.
Computers & Chemical Engineering, Elsevier, v. 141, p. 107028, 2020.
GAO-PENG, Wang et al. Silicon content prediction of hot metal in blast furnace based on attention mechanism and cnn-indrnn model. In: EDP SCIENCES. E3S Web of Conferences. [S.l.], 2021. v. 252, p. 02025.
GARCÍA-ASCANIO, Carolina; MATÉ, Carlos. Electric power demand forecasting using interval time series: A comparison between var and imlp. Energy Policy, Elsevier, v. 38, n. 2, p. 715–725, 2010.
GOEL, Hardik et al. Multivariate aviation time series modeling: Vars vs.
lstms. Unpublished manuscript Retrieved from https://www% 20semanticscholar%
20org/paper/Multivariate-Aviation-Time-Series-Modeling, 2016.
GOIS, Gabriela Araújo et al. Redes neurais artificiais para predição do consumo total de combustível de um alto-forno. Tecnologia em Metalurgia, Materiais e Mineração, ABM-Associação Brasileira de Metalurgia, Materiais e Mineração, v. 16, n. Especial, p. 0–0, 2019.
GONZÁLEZ-SOPEÑA, JM; PAKRASHI, V; GHOSH, B. An overview of performance evaluation metrics for short-term statistical wind power forecasting. Renewable and Sustainable Energy Reviews, Elsevier, v. 138, p. 110515, 2021.
GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. [S.l.]: MIT press, 2016.
GRAVES, Alex; SCHMIDHUBER, Jürgen. Framewise phoneme classification with bidirectional lstm and other neural network architectures. Neural networks, Elsevier, v. 18, n. 5-6, p. 602–610, 2005.
GREFF, Klaus et al. Lstm: A search space odyssey. IEEE transactions on neural networks and learning systems, IEEE, v. 28, n. 10, p. 2222–2232, 2016.
GUZMAN, Sandra M; PAZ, Joel O; TAGERT, Mary Love M. The use of narx neural networks to forecast daily groundwater levels. Water Resources Management, Springer, v. 31, n. 5, p. 1591–1603, 2017.
HARROU, Fouzi; SAIDI, Ahmed; SUN, Ying. Wind power prediction using bootstrap aggregating trees approach to enabling sustainable wind power integration in a smart grid.
Energy Conversion and Management, Elsevier, v. 201, p. 112077, 2019.
HASHIMOTO, Yoshinari et al. Practical operation guidance on thermal control of blast furnace. ISIJ International, v. 59, n. 9, p. 1573–1581, 2019.
HOCHREITER, Sepp; SCHMIDHUBER, Jürgen. Long short-term memory. Neural computation, MIT Press, v. 9, n. 8, p. 1735–1780, 1997.
HOUDT, Greg Van; MOSQUERA, Carlos; NÁPOLES, Gonzalo. A review on the long short-term memory model. Artif. Intell. Rev., v. 53, n. 8, p. 5929–5955, 2020.
HU, Tenghui et al. Prediction of blast furnace temperature based on evolutionary optimization. In: SPRINGER. Evolutionary Multi-Criterion Optimization: 11th International Conference, EMO 2021, Shenzhen, China, March 28–31, 2021, Proceedings 11. [S.l.], 2021. p. 759–768.
HUANG, Guang-Bin; WANG, Dian Hui; LAN, Yuan. Extreme learning machines: a survey. International journal of machine learning and cybernetics, Springer, v. 2, n. 2, p.
107–122, 2011.
HYNDMAN, Rob J; KOEHLER, Anne B. Another look at measures of forecast accuracy.
International journal of forecasting, Elsevier, v. 22, n. 4, p. 679–688, 2006.
IWANA, Brian Kenji; UCHIDA, Seiichi. An empirical survey of data augmentation for time series classification with neural networks. Plos one, Public Library of Science San Francisco, CA USA, v. 16, n. 7, p. e0254841, 2021.
JIMÉNEZ, Juan et al. Blast furnace hot metal temperature prediction through neural networks-based models. ISIJ international, The Iron and Steel Institute of Japan, v. 44, n. 3, p. 573–580, 2004.
KINGMA, Diederik P; BA, Jimmy. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
LEARN, Scikit. sklearn.preprocessing.StandardScaler. 2021. Disponível em: <https:
//scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.
html#sklearn.preprocessing.StandardScaler>. Acesso em: 12 dezembro 2021.
LEARN, Scikit. sklearn.ensemble.RandomForestRegressor. 2022. Disponível em: <https:
//scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestRegressor.
html>. Acesso em: 03 novembro 2022.
LEE, Tae-Hwy; ULLAH, Aman; WANG, Ran. Bootstrap aggregating and random forest.
In: Macroeconomic forecasting in the era of big data. [S.l.]: Springer, 2020. p. 389–429.
LI, Meng et al. Long short-term memory based on random forest-recursive feature eliminated for hot metal silicon content prediction of blast furnace. In: IEEE. 2019 IEEE 5th International Conference on Computer and Communications (ICCC). [S.l.], 2019. p.
1862–1866.
LUGHOFER, Edwin et al. Prediction and explanation models for hot metal temperature, silicon concentration, and cooling capacity in ironmaking blast furnaces. steel research international, Wiley Online Library, v. 92, n. 9, p. 2100078, 2021.
MAJEDI, ASL Z; SALEM, A. Investigation of the flame temperature for some gaseous fuels using artificial neural network. INTERNATIONAL JOURNAL OF ENERGY AND ENVIRONMENTAL ENGINEERING, 2010.
MEYES, Richard; SCHNEIDER, Moritz; MEISEN, Tobias. How do you act? an empirical study to understand behavior of deep reinforcement learning agents. CoRR, abs/2004.03237, 2020. Disponível em: <https://arxiv.org/abs/2004.03237>.
MINAR, Matiur Rahman; NAHER, Jibon. Recent advances in deep learning: An overview.
arXiv preprint arXiv:1807.08169, 2018.
MOHAN, Arvind T; GAITONDE, Datta V. A deep learning based approach to reduced order modeling for turbulent flow control using lstm neural networks. arXiv preprint arXiv:1804.09269, 2018.
MORETTIN, Pedro A; TOLOI, Clélia MC. Análise de séries temporais: modelos lineares univariados. [S.l.]: Editora Blucher, 2018.
MURPHY, Charlie; GRAY, Patrick; STEWART, Gordon. Verified perceptron convergence theorem. In: Proceedings of the 1st ACM SIGPLAN International Workshop on Machine Learning and Programming Languages. [S.l.: s.n.], 2017. p. 43–50.
MURPHY, Kevin P. Machine learning: a probabilistic perspective. [S.l.]: MIT press, 2012.
MUSHTAQ, Rizwan. Augmented dickey fuller test. 2011.
MUSTAFA, Nada et al. Comparison of different 1-d interpolation algorithms for estimation of shadow fading. In: IEEE. 2013 7th IEEE GCC Conference and Exhibition (GCC). [S.l.], 2013. p. 372–377.
NOH, Seol-Hyun. Analysis of gradient vanishing of rnns and performance comparison.
Information, MDPI, v. 12, n. 11, p. 442, 2021.
PINTO, Antonio Carlos Figueiredo. Estudo da relação dinâmica entre variáveis macroeconômicas no Brasil através da aplicação dos modelos VAR e FIAPARCH. 2016.
Tese (Doutorado) — PUC-Rio, 2016.
PROBST, Philipp; BOULESTEIX, Anne-Laure; BISCHL, Bernd. Tunability: Importance of hyperparameters of machine learning algorithms. The Journal of Machine Learning Research, JMLR. org, v. 20, n. 1, p. 1934–1965, 2019.
QUININO, Roberto C; REIS, Edna A; BESSEGATO, Lupércio F. O coeficiente de determinação r2 como instrumento didático para avaliar a utilidade de um modelo de regressão linear múltipla. Belo Horizonte: UFMG, 1991.
RABBATH, CA; CORRIVEAU, D. A comparison of piecewise cubic hermite interpolating polynomials, cubic splines and piecewise linear functions for the approximation of projectile aerodynamics. Defence Technology, Elsevier, v. 15, n. 5, p. 741–757, 2019.
RASHID, Khandakar M; LOUIS, Joseph. Times-series data augmentation and deep learning for construction equipment activity recognition. Advanced Engineering Informatics, Elsevier, v. 42, p. 100944, 2019.
ROSSI, Barbara; WANG, Yiru. Vector autoregressive-based granger causality test in the presence of instabilities. The Stata Journal, SAGE Publications Sage CA: Los Angeles, CA, v. 19, n. 4, p. 883–899, 2019.
SALA, Davi Alberto et al. Multivariate time series for data-driven endpoint prediction in the basic oxygen furnace. In: IEEE. 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA). [S.l.], 2018. p. 1419–1426.
SHYNK, JJ; BERSHAD, NJ. Steady-state analysis of a single-layer perceptron based on a system identification model with bias terms. IEEE transactions on circuits and systems, IEEE, v. 38, n. 9, p. 1030–1042, 1991.
SIAMI-NAMINI, Sima; TAVAKOLI, Neda; NAMIN, Akbar Siami. A comparison of arima and lstm in forecasting time series. In: IEEE. 2018 17th IEEE international conference on machine learning and applications (ICMLA). [S.l.], 2018. p. 1394–1401.
SIAMI-NAMINI, Sima; TAVAKOLI, Neda; NAMIN, Akbar Siami. The performance of lstm and bilstm in forecasting time series. In: IEEE. 2019 IEEE International Conference on Big Data (Big Data). [S.l.], 2019. p. 3285–3292.
SILVA, Anderson Badia da. Utilização de carepas como componente da carga de um forno elétrico a arco. p. 22, 2012.
SILVA, Ramon Gomes da et al. Application of a demand forecasting model in a rental company of billiard tables. 2016.
SIMS, Christopher A. Macroeconomics and reality. Econometrica: journal of the Econometric Society, JSTOR, p. 1–48, 1980.
SKTIME. MeanAbsolutePercentageError. 2022. Disponível em: <https://www.sktime.
org/en/stable/api_reference/auto_generated/sktime.performance_metrics.forecasting.
MeanAbsolutePercentageError.html>. Acesso em: 09 janeiro 2022.
SKTIME. MedianRelativeAbsoluteError. 2022. Disponível em: <https://www.sktime.
org/en/stable/api_reference/auto_generated/sktime.performance_metrics.forecasting.
MedianRelativeAbsoluteError.html>. Acesso em: 09 janeiro 2022.
SMAGULOVA, Kamilya; JAMES, Alex Pappachen. A survey on lstm memristive neural network architectures and applications. The European Physical Journal Special Topics, Springer, v. 228, n. 10, p. 2313–2324, 2019.
STATSMODELS. Granger Causality Tests. 2022. Disponível em: <https://www.
statsmodels.org/dev/generated/statsmodels.tsa.stattools.grangercausalitytests.html>.
Acesso em: 03 novembro 2022.