O estudo experimental relatado avaliou a abordagem proposta nesta dissertac¸˜ao para classificac¸˜ao autom´atica de widgets do tipo dropdown menu e suggestion box, bem como dos seus respectivos subcomponentes, por meio do uso de um pipeline de aprendizado de m´aquina. Os resultados obtidos sugerem viabilidade e efetividade do estudo, no entanto, para generalizar os resultados novas pesquisas para outros tipos de widgets ´e algo a ser realizado.
Apesar do Logger (Sec¸˜ao 3.1.1) poder coletar todos os registros de mutac¸˜oes do DOM das p´aginas de quaisquer sites web, o pipeline de aprendizado de m´aquina proposto (Sec¸˜ao 3.2) foi treinado exclusivamente para a classificac¸˜ao de widgets do tipo dropdown menu e suggestion box, bem como dos subcomponentes que os comp˜oem. Adicionalmente, o Logger foi instrumentalizado para coletar dados de sites web espec´ıficos (Tabelas 2 e 3) para o estudo experimental desta dissertac¸˜ao de mestrado. Assim sendo, antes que os resultados possam ser generalizados para outros tipos de widgets, ´e essencial a conduc¸˜ao de um novo estudo de caso para este fim. Por exemplo, para classificar um widget do tipo “Calend´ario” (Figura 1) e seus subcomponentes, o pipeline de aprendizado de m´aquina proposto precisa ser treinado para essa nova classe de widget, validar se o conjunto de caracter´ısicas que comp˜oem atualmente os conjuntos de dados s˜ao condizentes para a nova situac¸˜ao e por fim, verificar a qualidade de suas m´etricas de predic¸˜ao.
O estudo experimental realizado fez uso de conjuntos de dados de teste imparciais para a predic¸˜ao e obtenc¸˜ao dos resultados da avaliac¸˜ao do pipeline de aprendizado de m´aquina, ou seja, os dados contidos nos conjuntos de dados de teste n˜ao participaram do processo de treinamento dos algoritmos de aprendizado de m´aquina utilizados pelo pipeline (Figuras 11, 12 e 13). A conduc¸˜ao do estudo experimental foi executada desta forma para evitar vieses de tendˆencia de assertividade no modelo de aprendizado de m´aquina, ocasionados por dados de treinamento e teste n˜ao heterogˆeneos ou por induc¸˜ao na selec¸˜ao dos dados/caracter´ısticas.
Al´em dos resultados favor´aveis apresentados pelo estudo, tamb´em foram percebidas ocorrˆencias de falsos positivos nas matrizes de confus˜ao utilizadas como parte da avaliac¸˜ao dos resultados, sendo assim, estudos futuros s˜ao necess´arios para aprimorar a estrat´egia de classificac¸˜ao autom´atica de widgets e dos seus subcomponentes.
4.5 CONSIDERAC¸ ˜OES FINAIS
Neste cap´ıtulo foi apresentado um estudo experimental para avaliar a efetividade da abordagem de classificac¸˜ao autom´atica de widgets e dos seus subcomponentes, por meio de um pipelinede aprendizado de m´aquina. Foram coletados dados de 34 dos 50 sites mais acessados nos Estados Unidos (Tabela 1) fazendo uso das ferramentas implementadas especialmente para a conduc¸˜ao deste trabalho.
Os resultados obtidos no processo de avaliac¸˜ao deste estudo, sugerem que o pipeline de aprendizado de m´aquina bem como as caracter´ısticas das mutac¸˜oes do DOM utilizadas para composic¸˜ao dos conjuntos de dados, tando dos widgets quanto dos seus subcomponentes, deram
suporte para responder a Quest˜ao de Pesquisa. Eles tamb´em sugerem que o pipeline proposto pode contribuir para o desenvolvimento de ferramentas de avaliac¸˜ao de conformidade de RIAs para com as regras da ARIA ou mesmo para o desenvolvimento de ferramentas que fac¸am a adaptac¸˜ao autom´atica de c´odigo HTML para os padr˜oes de acessibilidade propostos pela ARIA. O cap´ıtulo a seguir conclui esta dissertac¸˜ao, reforc¸ando as principais contribuic¸˜oes, limitac¸˜oes e possibilidades para trabalhos futuros. Tamb´em apresenta uma sec¸˜ao com artigos j´a publicados na comunidade cient´ıfica e links para download da ferramenta ARIA Observer e dos conjuntos de dados utilizados no estudo experimental desta dissertac¸˜ao.
5 CONCLUS ˜AO
A especificac¸˜ao ARIA detalha uma ontologia com base em atributos de regras, estados e propriedades para propiciar semˆantica aos elementos HTML dos sites web. A inclus˜ao desses atributos em elementos gen´ericos do HTML, como por exemplo, DIVs, ULs, SPANs e outros, provˆe informac¸˜ao adicional `as Tecnologias Assistivas, o que as tornam mais eficientes e possibilitam que pessoas com deficiˆencia interajam apropriadamente com as RIAs (W3C, 2017a). Embora a especificac¸˜ao ARIA esteja dispon´ıvel e muitos esforc¸os venham sendo feitos para sua popularizac¸˜ao perante a comunidade dos desenvolvedores web, os requisitos da ARIA n˜ao est˜ao sendo considerados `a contento no processo de desenvolvimento de muitos sites web (FREIRE et al., 2008b, 2008a; WATANABE et al., 2014).
A n˜ao inclus˜ao de informac¸˜oes adicionais sobre semˆantica, proporcionada pela ontologia da ARIA nos sites web, reforc¸a a necessidade de disponibilizar ferramentas de suporte para os desenvolvedores com intuito de alertar poss´ıveis falhas e facilitar a implementac¸˜ao de RIAs acess´ıveis (ANTONELLI et al., 2018). Nesse sentido, esta dissertac¸˜ao apresentou uma abordagem que prop˜oe o uso de um pipeline de aprendizado de m´aquina para classificar automaticamente widgets do tipo dropdown menu e suggestion box, bem como os seus respectivos subcomponentes. A abordagem baseia-se na coleta de mutac¸˜oes do DOM em RIAs e, para tanto, foram selecionados 34 dos 50 sites web mais acessados nos EUA segundo o portal de informac¸˜oes Alexa. As amostras coletadas foram organizadas em conjuntos de dados para treinamento do pipeline de classificac¸˜ao e teste de sua efetividade. Uma ferramenta chamada Aria Observer foi desenvolvida para apoiar a abordagem e estrat´egias de captura, persistˆencia e gerac¸˜ao dos conjuntos de dados.
No processo de avaliac¸˜ao, os resultados evidenciaram que o conjunto de classificadores utilizados no pipeline foram capazes de identificar corretamente os widgets alvo deste trabalho, bem como sugeriram que as caracter´ısticas utilizadas para composic¸˜ao dos conjuntos de dados submetidos ao aprendizado de m´aquina foram suficientes para proporcionar assertividade aos algoritmos de classificac¸˜ao, no entanto, mostraram-se mais efetivos na identificac¸˜ao dos widgets do que dos seus respectivos subcomponentes.
A abordagem nesta dissertac¸˜ao n˜ao resulta em uma ferramenta a ser utilizada diretamente pelos desenvolvedores web, no entanto, introduz uma estrat´egia para classificar automaticamente widgets e seus respectivos subcomponentes. Indiretamente, o resultado deste estudo vem a contribuir com a acessibilidade web, no sentido de que o mesmo pode ser utilizado para o desenvolvimento de ferramentas de avaliac¸˜ao autom´atica de RIAs em detrimento as suas respectivas conformidades com as regras da ARIA, ou mesmo em ferramentas para adaptac¸˜ao autom´atica do c´odigo HTML de sites web, de acordo com as regras da ARIA, para torn´a-los acess´ıveis.