CONTEXTO DO DATA SPRINT MICHELE MAUR
INTERROGANDO AS APIS DE VISÃO COMPUTACIONAL E AS REPRESENTAÇÕES DOS SEUS ESPAÇOS SEMÂNTICOS
Grupo de trabalho: André Mintz, Tarcizio Silva, Beatrice Gobbo, Elena Pili- pets, Hamdan Azhar, Helen Takamitsu, Janna Joceli Omena, Taís Oliveira. SMART Data Sprint 2019, Lisboa
Este estudo de caso foi escolhido porque fica claro, a partir do relatório, como a anotação manual dos produtos semiacabados levou à elaboração de uma visua- lização holística e à associação de arquétipos/personas com os serviços analisados através de Vision APIs.
Por espaços semânticos, entende-se a topologia que é formada pelas relações entre as etiquetas atribuídas às imagens pelas APIs de visão computacional. Com métodos de atribuição variáveis, estas etiquetas respondem às técnicas de apren- dizagem automática das respetivas APIs de visão computacional de Google, IBM e Microsoft. O espaço semântico das relações formado pelas coocorrências dos
rótulos pode ser comparado. Depois de observar as diferenças e considerar o nível de detalhe oferecido por cada Vision API, chegou-se a descrevê-las com três arquétipos de personas.
Conforme descrito no parágrafo anterior, a anotação e leitura crítica dos semiacabados – utilizando, por exemplo, técnicas de análise de visual network
analysis – estimulam a coprodução de conhecimento e levam a projetar outras
visualizações e a elaborar novas questões de investigação.
A leitura crítica e anotação das primeiras redes semiacabadas de imagens e palavras revelaram diferenças de linguagem dos três serviços de visão computa- cional testados (Google, IBM e Microsoft). Embora reconhecendo clusters seme- lhantes nos mesmos grupos de imagens, os termos usados foram diferentes, em alguns casos, específicos, e noutros, muito genéricos.
Foi necessário encontrar uma maneira de comparar os espaços semânticos usando uma única visualização que pudesse destacar as diferenças e semelhan- ças nas línguas adotadas. Por esta razão, após uma série de tentativas e falhas, optou-se por utilizar a técnica de small multiples aplicada a uma rede (Gephi + Adobe Illustrator), destacando como o espaço semântico formado por todas as palavras e conexões descritivas do mesmo grupo de imagens, varia dependendo do serviço de Vision API adotado.
Comparando cada elemento dentro da matriz, fica claro que, por um lado, as conexões criadas pelo Microsoft Azure ocupam sempre a parte central de cada grafo, pois usa uma linguagem genérica para classificar as imagens, enquanto as da API do Google Vision, mais detalhadas e específicas, se concentrem nas áreas marginais da rede.
O uso de small multiples, dispostos numa matriz, mostra vários grafos, desta- cando ao mesmo tempo especificidades e diferenças, dando ao leitor a oportuni- dade de comparar rapidamente os comportamentos dos vários serviços de Vision API.
CONCLUSÕES
Neste capítulo foi descrito o papel do investigador em design no contexto de data
sprint.
Foram feitas considerações sobre o papel do designer tanto na fase de pré-
-sprint, como de sprint e pós-sprint.
Em geral, o papel do designer pode ser resumido em três ações principais: informar, guiar e registrar.
Finalmente, foram apresentados dois estudos de caso como exemplos recen- tes de colaboração efetiva entre designers e investigadores com diferentes exper-
tises e backgrounds.
REFERENCES
Barker, P., Campbell, L. M., & Hawksey, M. (2013). Writing in Book Sprints, 1-7.
Berry, D., Borra, E., Helmond, A., Plantin, J., & Walker Rettberg, J. (2015). The data sprint
approach: exploring the field of digital humanities through Amazon’s Application Program- ming Interface (API). Digital Humanities Quarterly, 9(4).
Colombo G., (2018) The design of composite images. Displaying digital visual content for social
research (Tese de doutoramento) Instituto Politécnico de Milão, Itália..
Bounegru, L., Gray, J., Venturini, T., & Mauri, M. (2017) A Field Guide to ‘Fake News’ and Other
Information Disorders, Public Data Lab, Amsterdam. Retirado de https://fakenews.pub-
licdatalab.org/
Knapp, J. (2017). SPRINT: Solve big problems and test new ideas in just five days. Retirado de https://books.google.no/books?hl=no&lr=&id=ICSpCwAAQBAJ&oi=fnd&pg=PA1&ot- s=s4Vga1urQ4&sig=8Zos7e4cw202kvhqrnB0yUcPHaM&redir_esc=y#v=onepage&- q&f=false
Mauri, M., & Ciuccarelli, P. (2016). Designing diagrams for social issues. In Proceedings of
DRS2016: Design + Research + Society - Future-Focused Thinking (Vol. 3, pp. 1-17). https://doi.
Mauri, M., Colombo, G., Angeles, B., & Ciuccarelli, P. (2019). Teaching the Critical Role of Designers in the Data Society: The DensityDesign Approach. In N. A. G. Z. Börekçi, D. Ö. Koçyıldırım, F. Korkut, & D. Jones (Eds.), Proceedings of DRS Learn X Design 2019:
Insider Knowledge (pp. 183–195). Ankara, Turkey: METU Department of Industrial
Design. https://doi.org/10.21606/LEARNXDESIGN.2019.12046
Munk, A. K., Madsen, A. K., & Jacomy, M. (n.d.). Thinking Through the Databody: Sprints
as Experimental Situations. Designs for Experimentation and Inquiry: Approaching Learning and Knowing in Digital Transformation.
Niederer, S., & Colombo, G. (2019). Visual Methodologies for Networked Images: Designing
Visualizations for Collaborative Research, Cross-platform Analysis, and Public Participation.
Diseña, 14, 40–67. https://doi.org/10.7764/disena.14.40-67
Venturini, T., Munk, A., & Meunier, A. (2018). Data-sprinting. In & E. U. C. Lury, P. Clough, M. Michael, R. Fensham, S. Lammes, A. Last (Ed.), Routledge Handbook of Inter- disciplinary Research Methods (1st ed., pp. 158-163). London: Routledge. https://doi. org/10.4324/9781315714523-24
Hagen S., de Zeeuw D., Peeters S., Jokubauskaite E., Briones Á., Blennerhassett R., Ferri C., Woudstra Hablé F., Blokbergen E., Haanshuus B., Poncin M., Hilhorst W., Tsapatsaris R. (January 2019), Understanding Normiefication, https://wiki.digitalmethods.net/Dmi/ WinterSchool2019Normiefication
Mintz A., Silva T., Gobbo B., Pilipets E., Azhar H., Takamitsu H., Omena J.J., Taís Oliveira, (March 2019), Interrogating Vision API, https://smart.inovamedialab.org/smart-2019/ project-reports/interrogating-vision-apis/ http://lab.softwarestudies.com/p/imageplot.html