IV Encontro Internacional Participação, Democracia e Políticas Públicas 10/09 a 13/09/2019. UFRGS, Porto Alegre (Brasil)

IV Encontro Internacional Participação, Democracia e Políticas Públicas 10/09 a 13/09/2019. UFRGS, Porto Alegre (Brasil)

ST02 - A democracia em rede: técnicas, tecnologias e capacidades participativas

O Estado democrático diante dos sistemas algoritmos1

Sergio Amadeu da Silveira2

Resumo: Os Estados caminham rapidamente para implementar sistemas automatizados e gerenciados por algoritmos. Recentemente, o STF anunciou que irá colocar em operação um sistema de inteligência artificial chamado Victor que irá agilizar a tramitação de processos. Utilizando algoritmos de redes neurais, o sistema começará lendo e classificando os recursos que chegam ao STF. Em seguida, poderá avançar para o terreno do apoio às decisões dos magistrados. Mas, os sistemas de aprendizado de máquina não estão somente presentes no Judiciário. Eles avançam nos órgãos de segurança, na Receita Federal, nos órgãos de planejamento e parecem que irão substituir uma série de funções antes realizadas por funcionários públicos. O texto buscará discutir como as ciências sociais estão tratando das implicações da chamada inteligência artificial nos Estados democráticos. Não se trata de um levantamento da literatura, mas da abordagem crítica de alguns aspectos fundamentais para a existência democrática. Nesse sentido, o trabalho buscará diferenciar a gestão burocrática da governança algorítmica. Apresentará algumas das características principais do poder algorítmico. Trará o problema da opacidade algorítmica e das possibilidades de transparência, bem como, da importância da responsabilidade e explicabilidade das suas operações e dos seus códigos.

Palvras-chave: democracia e algoritmos; governança algorítmica; gestão algorítmica; inteligência artificial; tecnopolítica.

1 Este texto é um dos resultados parciais do Projeto de Pesquisa regular, 2017/14412-0, financiado pela FAPESP, com o título Regulação Algorítmica no setor público: mapeamento teórico e programático. As opiniões, hipóteses e conclusões ou recomendações expressas neste material são de responsabilidade do(s) autor(es) e não necessariamente refletem a visão da FAPESP.

2 Sérgio Amadeu da Silveira é Professor Associado da Universidade Federal do ABC (UFABC). É doutor em Ciência Política. E-mail: sergioamadeu@yandex.com

I- A Gestão Algorítmica

Este artigo tem origem na pesquisa ‘A regulação algorítmica no setor público: mapeamento teórico e programático’, desenvolvida com o apoio da Fapesp. Aqui o texto trará a discussão de como as ciências sociais estão tratando das implicações da chamada inteligência artificial nos Estados democráticos. Não se trata de um levantamento da literatura, mas da abordagem crítica de alguns aspectos fundamentais para a existência democrática. Nesse sentido, o trabalho buscará tratar das questões da transparência, da responsabilidade e da participação popular no cenário da gestão dirigida por dados, do aprendizado de máquina e outras tecnologias automatizantes.

Nesse sentido, a perspectiva gerencial é um bom ponto de partida, pois traz a análise da substituição da organização do trabalho pelos softwares, ou seja, pelos sistemas algorítmicos. O sociólogo A. Aneesh, em 2009, publicou uma artigo trazendo um novo sistema de organização que chamou de algocracia, ou seja, a gestão ou governança de processos realizada por algoritmos rivalizaria com dois outros sistemas de organização, a burocracia e o mercado. O princípio dominante na burocracia é o racional-legal, o do mercado é o preço e o da algocracia é a modelagem e a programação algorítmica.

Aneesh criou a expressão algocracia quando investigava o processo de integração e controle das pessoas na Índia que trabalhavam online para as corporações norte-americanas. O sociólogo percebeu a ausência de controle burocrático direto sobre os trabalhadores e viu no trabalho distribuído globalmente um enigma da governança organizacional. Aneesh constatou que a atividade online era governado através do design do próprio processo de trabalho, enfocando o papel do código de software como a chave para governar o trabalho disperso globalmente através de servidores de dados (ANEESH, 2009, 347).

Para distinguir a algocracia dos sistemas burocráticos e do mercado, Aneesh trouxe uma forte influência das teorias de sistemas de diferenciação e autorreferência, principalmente de Luhmann, bem como, dialoga diretamente com a sociologia compreensiva de Max Weber (ANEESH, 2009, 349-350). A burocracia moderna, descrita

por Weber, atuava com base em um código racional-legal que reduzia o poder discricionário dos detentores de cargos. Muitos pesquisadores, tais como Merton e Selzinick, questionaram essa tese weberiana contrapondo a ela diversas situações em que as burocracias na realidade operavam com relações informais. Aneesh apoiado na teoria dos sistemas, verificou que as burocracias transitam entre o código interno do sistema formal que seguem e as pressões ambientais, ou seja, entre seu fechamento operacional e sua abertura estrutural. Constatando que a ação informal influencia um sistema burocrático, observou também que a informalidade não poderia legitimar as ações em seu interior. A contratação de um amigo ou sobrinho pelo gerente de uma empresa deve ser apresentada com base em credenciais meritocráticas e não em relações de amizade (ANEESH, 2009, 350).

A noção de algocracia traz a ideia de “regras do algoritmo” ou “regras do código”. Aneesh observou que a pode codificar os procedimentos burocráticos e também não-burocráticos. Entretanto, para Aneesh a algocracia não é uma versão da burocracia. Não há uma metalinguagem comum compartilhada entre o código legal e o código binário. Sem dúvida, Aneesh reconhece que a burocracia e a algocracia convivem sem dificuldade e que podem uma ser necessária para a outra, "os dois sistemas de governança são estruturalmente abertos, mas operacionalmente fechados, para usar a frase de Niklas Luhmann" (ANEESH, 2009, 355).

Para Bruno Latour, o processo de mediação não é um mero transporte de signos, ao traduzir algo de uma linguagem para outra, há criação, alteração e algo distinto emerge (LATOUR, 2007). Em Aneesh percebe-se também algo semelhante quando afirma que a algocracia ao negociar imperativos burocráticos em sua própria linguagem, ele os transforma (ANEESH, 2009, 356). Assim, a adesão as regras burocráticas são gerenciadas por meio do treinamento, da socialização e pelos mecanismos de penalidade e recompensa. Os sistemas de mercado guiam o comportamento pelos estímulos que se baseiam em preços, ganhos e perdas de cada ação. Nos sistemas algorítmicos a ação é controlada pelas opções previamente descritas e previstas no sistema. Mais do que permissível ou não, os algoritmos buscam agir de modo não-ambíguo, incluindo e excluindo soluções definidas como verdadeiras ou falsas.

Governança Organizacional – Sistemas de Organização

Características Principais

Burocrático Mercado Algocrático

Governança Regras escritas (positivismo legal) preço Programa Código permitido/não-permitido pagamento/não-pagamento Verdadeiro/Falso (0,1)

Meio rotinas dinheiro Linguagem de

programação Integração de trabalho hierarquia somente indiretamente redes Fonte: Aneesh, 2009. Table 1. Organizational Governance, p. 357. Tradução livre.

O Estado é uma estrutura burocrática. Os sistemas algorítmicos ao avançarem no interior da burocracia estatal estarão substituindo regras legais por sua aplicação matematizada e codificada. Tal fato, traz uma série de implicações, uma vez que eliminará a informalidade, mas não o erro, nem o viés. Poderá trazer alterações no comportamento da burocracia e também das pessoas que serão atendidas pelos sistemas algorítmicos.

II- A Noção de Poder Algorítmico

David Beer escreveu o artigo Power through the algorithm? Participatory web cultures

and the technological unconscious, em 2009, para compreender o cenário digital em que

a comunicação está sendo alterada e que gera mudanças importantes na estruturação das formas e meios de poder. Beer retoma o trabalho do sociólogo Scott Lash que criou a noção de poder exercido por meio do algoritmo para debater a eventualidade de um poder pós-hegemônico. A Internet estaria espalhando esse novo modo de poder que não anularia o poder do capital, mas o superdimensionaria. As tecnologias da informação não seriam meras ferramentas, uma vez que estariam constituindo e mediando nossas interações sociais. Constituindo porque muitas relações e ações são criadas e

possibilitadas pelos sistemas algorítmicos. Sem eles, essas relações não seriam possíveis, nem existiriam. Desse modo, as soluções tecnológicas seriam performativas. Não somente agilizariam e trariam eficácia onde fossem aplicadas, elas traiam novas performances, abririam novos espaços e outros cenários. Desse modo, "o software está cada vez mais constituindo e produzindo a vida cotidiana" (DODGE, KITCHIN, 2008).

Na visão de Beer, ao tratar da era pós-hegemônica, Lash descreveu um processo em que o poder torna-se parte do nosso "ser", vivendo e reagindo conosco. É aí que "o poder, anteriormente extenso e operando a partir de fora, torna-se intensivo e funciona a partir de dentro" (LASH, 2007a, 59). O sistema de poder, principalmente pela comunicação digital, teria superado a fase de um poder hegemônico externo. Agora, o poder agora "entra em nós e nos constitui a partir de dentro" (LASH, 2007a: 61). De modo muito semelhante, Byung-Chul Han, bem depois, vai tratar da expansão do big data para indicar, embalado pela perspectiva da biopolítica de Foucault, que a coleta de dados e a formação de perfis de cada pessoa visa o controle das mentes conformando um psico poder e uma psicopolítica (HAN, 2018, 129). Beer relembra que Lash considera o poder que trabalha a partir do interior do sistema menos visível e, por conseguinte, muito difícil de desmascarar (BEER, 2009, 993)

Nessa sociedade da informação global, "a relação social é reduzida a comunicações" (LASH, 2007, 65). Beer articula as ideia de Lash para indicar que o poder não está apenas nos fluxos, sendo componente dos sistemas sociotécnicos que canalizam, bloqueiam e conectam os fluxos (BEER, 2009, 995) Assim, emerge a noção de que as estruturas de poder estão cada vez mais próximas em nosso cotidiano, principalmente pela via das comunicações ubíquas, contínuas, permanentes. A dominação se dá pela comunicação que está sendo formatada pelos algoritmos.

Beer exibiu um cenário em que as novas formas de poder vão constituindo seu principal alicerce nos algoritmos. Essas rotinas matemáticas, não-ambíguas e logicamente encadeadas podem modular e moldar as condutas impactando o nosso cotidiano e as instituições, públicas e privadas. Para Lash, as regras que os cientistas sociais lideram ao longo de décadas são bem distintas das regras algorítmicas. Lash diz que regras constitutivas, regras reguladoras são diferentes das regras pelas quais os algoritmos operam. São regras do primeiro tipo a constituição dos estados ou na formação das regras dos jogos. Já as regras reguladoras delimitam sua atividade quando você está em jogo. Algoritmos possuem regras generativas (LASH, 2007, 71). Essas regras generativas ou geradoras são virtuais e geram toda uma variedade de dados reais.

Além disso, recriam os ambientes onde são aplicadas. Em geral, não são visíveis e constituem o "poder pelos algoritmos" (LASH 2007, 71).

O capitalismo atua cada vez mais pelos algoritmos. A relevância dos algoritmos é evidente seja para os adeptos do chamado capitalismo de vigilância (ZUBOFF, 2018), seja por quem classifica a economia atual como capitalismo de plataforma (SRNICEK, 2016 ). Como bem alertou Thrift, nos circuitos culturais do capitalismo as informações são coletadas e tratadas para informar e prever as ações de cada pessoa (THRIFT, 2005). Desse modo, classificam, incluem e projetam o que existe, o que existirá, o que talvez venha a existir, bem como, o que nunca ocorrerá.

A perspectiva de Lash e de Beer parece corroborar com as preocupações de Frank Pasquale e outros pesquisadores que destacaram os riscos da invisibilidade do poder algorítmico, em geral, escondido pelos modelos de negócio e pelas legislações de propriedade intelectual. Assim, invisível ou opaco, o poder algorítmico se apresenta em uso pelo Estado que pretende ser democrático. O poder dos algoritmos fechados e obscuros parece contraposto ao poder democrático que exige transparência e visibilidade de operações e efeitos.

III – O Requisito da Transparência

Katherine Hayles (2006) e Steve Graham (2005) avançaram no caminho também trilhado por David Lyon (2003) ao mostrar que softwares e, em especial, sistemas algorítmicos possuem modos invisíveis de ocultar estruturas de classificação e discriminação de pessoas e objetos. Bancos de dados, sensores, dispositivos de vigilância, são articulados pelo Estado e se comunicam, com ou sem a supervisão humana para coletar informações, algumas delas remetidas para os processos de tomada de decisão de alto nível, outras lançadas para a operação dos agentes do Estado no nível da rua. Hayles afirma que em "sociedades altamente desenvolvidas e em rede ... sem conhecimento da maioria das pessoas, a maioria dos fluxos de dados ocorre entre máquinas" (HAYLES, 2006).

A questão aqui colocada é como os Estados poderão lidar com algoritmos em um cenário de ordenamento neoliberal que desaconselha que seu desenvolvimento seja

endógeno, mas que sejam adquiridos de corporações que irão definir seus parâmetros, modelagem e demais definições operacionais? Frank Pasquale nos alerta que as principais empresas de finanças, assistência médica e internet ocultam suas principais operações e alegam a importância vital do sigilo para sobreviver à concorrência. Pasquale alega que os mercados e suas corporações estão cada vez mais mediados por instituições que sofrem sérios déficits de transparência. Os algoritmos ao chegarem nos Estados, pela via das corporações, podem torná-lo ainda mais opaco, devido ao modelo de negócios de código fechado. Assim, os algoritmos utilizados pelo setor público não seriam completamente abertos nem para os gestores públicos, nem para a sociedade (PASQUALE, 2011) .

Quando uma entidade privada cresce suficientemente importante, deve estar sujeita a requisitos de transparência que reflitam sua centralidade. O crescente entrelaçamento de entidades governamentais, empresariais e acadêmicas deve fornecer alguma vantagem para que os apropriadores e formuladores de políticas de espírito público insistam em uma abertura mais geral. Por mais que uma "mão invisível" coordene a atividade econômica em geral, os mercados dependem de informações confiáveis sobre as práticas das principais empresas que financiam, classificam e classificam entidades no resto da economia. Brandindo autoridade quase governamental para determinar quais empresas são financiadas e encontradas, elas precisam ser mantidas em um padrão mais alto do que a média das empresas.

Além do tema da transparência, existe o tema da responsabilidade. Se compreendermos os algoritmos simplesmente como actantes (Latour, 2007) que se desenvolvem por autonomamente, mesmo que em interação com humanos, caberá a pergunta: quem deverá ser responsabilizado quando um erro, falha ou injustiça gerar grandes prejuízos à sociedade ou a determinadas pessoas ou segmentos sociais?

IV – O Requisito da Responsabilidade

Tarleton Gillespie escreveu que os algoritmos são frequentemente definidos como “procedimentos codificados” ou “com base em cálculos específicos, transformam dados

em resultados desejados” (GILLESPIE, 2018, 97). São regras, finitas e não-ambíguas, que partem de dados para produzir um produto, uma resposta, uma solução.

“Os algoritmos estão crescendo em diversidade e aplicação à medida que os governos mudam para a tomada de decisões baseadas em evidências. Com montanhas de dados esperando para serem exploradas e a poderosa capacidade dos algoritmos de fazer previsões e recomendações estatísticas, não é surpresa que os atores do setor público estejam recorrendo a algoritmos para resolver problemas complexos nos limites da tomada de decisões em humanos.” (WORLD WIDE WEB FOUNDATION, 2017, p.6)

Algoritmos agrupados sob o manto da chamada Inteligência Artificial, tais como aprendizado e máquina, aprendizado profundo e redes neurais buscam realizar sua missão se alterando em contato com novos dados coletados. Em 1959, o engenheiro do MIT Arthur Samuel descreveu o aprendizado de máquina como um "campo de estudo que dá aos computadores a capacidade de aprender sem serem programados explicitamente" (BERNARD, 2017, online). Neste mesmo artigo What does Machine Learning actually

mean?, publicado pelo World Economic Forum, Bernard alerta que a Inteligência Artificial

e o aprendizado de máquina geralmente são confundidos. Entretanto, “a inteligência artificial refere-se à capacidade de uma máquina de realizar tarefas inteligentes, enquanto a aprendizagem de máquina se refere ao processo automatizado pelo qual as máquinas extraem padrões significativos nos dados” (BERNARD, 2017, online).

Tanto o aprendizado profundo e as redes neurais avançaram muito e estão presentes em sistemas de recomendação de conteúdo, tradução automática e reconhecimento facial. A Inteligência Artificial está sendo utilizada em áreas críticas como a Saúde, os veículos não-tripulados, a Justiça Criminal e as Forças Armadas. O grande problema do aprendizado profundo é que nem os seus desenvolvedores conhecem exatamente o raciocínio que adotou para chegar a um resultado (DICKSON, 2019, online). Assim, as ações que geram uma solução não podem ser explicáveis. Desse modo, os algoritmos de aprendizagem de máquina seriam inescrutáveis, ou seja, não seria possível conhecê-los, mesmo tendo acesso ao código-fonte de um software de execução dos algoritmos de aprendizagem profundo.

Em situações em que os erros podem ter impactos devastadores e injustos, o Estado deveria utilizar sistemas algorítmicos que ele não sabe como gera os seus resultados? Como é possível, os médicos confiarem em um tratamento recomendado pelo algoritmo

que não é capaz de explicar como chegou aquela orientação. Como um juiz pode aceitar uma proposição de condenação de um algoritmo que não permite que ele saiba quais as operações que realizou para definir o número de anos da pena de um réu? (ANGWIN, 2016, online)

Existem três posturas para tratar com a opacidade e inexplicabilidade algorítmica: 1) regulamentação com a exigência de responsabilização e correção humana de viés, inserção de parâmetros e regras desde a concepção do sistema algorítmico que minimizem injustiças (DIAKOPOULOS, 2014); 2) tentativa de criação de métodos de desenvolvimento explicáveis, como no projeto XAI (Explainable Artificial Intelligence) da DARPA (Defense Advanced Research Projects Agency), agência ligada ao Departamento de Defesa norte-americano; 3) definição de uma nova figura jurídica chamada de ‘pessoa eletrônica’.

A pessoa eletrônica aparece como uma solução diante da opacidade e inexplicabilidade de Inteligência Artificial. Ela estreia com relativa repercussão no parágrafo 59f da recomendação à Comissão Europeia sobre as Regras do Direito Civil sobre Robótica:

“Criar um status legal específico para robôs no longo prazo, de modo que pelo menos os robôs autônomos mais sofisticados possam ser estabelecidos como tendo o status de pessoa eletrônica responsável por remediar qualquer dano que possam causar e, possivelmente, aplicando personalidade eletrônica aos casos em que os robôs tomam decisões autônomas ou interagem com terceiros de modo independente”. (Proposta de Resolução do Parlamento Europeu, 2017) A criação de um status jurídico para algoritmos, sistemas e robôs baseados na imprevisibilidade e impossibilidade de prever todas suas operações é a desresponsabilização das corporações que o desenvolvem. Dezenas de cientistas, filósofos e intelectuais assinaram a Open Letter To The European Commission Artificial

Intelligence And Robotics em que se opõe frontalmente a criação dessa figura por

distorcer e superdimensionar as reais capacidades da IA, pelo grave equívoco ético de transformar máquinas em humanos e por despreparar a sociedade para os desafios tecnológicos.

V- PERFORMATIVIDADE E AMBIVALÊNCIA

Performatividade é a condição que um enunciado possui de realizar o ato que é pronunciado. O performativo gera o efeito que afirma. Os algoritmos executam aquilo que está escrito em seu código. Toda operação algorítmica gera efeitos previstos e outros não previstos. Essa não é uma característica encontrada apenas nos algoritmos. Todavia, muitos se esquecem que os algoritmos são performativos e que portam externalidades que vão reconfigurando os processos em que são aplicados. Alexander Galloway sugere que nos concentremos menos nos dispositivos, aparelhos e plataformas e mais nos sistemas de poder que eles mobilizam (GALLOWAY, 2012, 18).

Algoritmos são pensados de muitos modos e variadas formas pelos cientistas sociais. Tarleton Gillespie considera importante observarmos os algoritmos que possuem relevância pública (2018). Dada a sua performatividade e vinculação estatística, os algoritmos estão todo o tempo ordenando e classificando, incluindo e excluindo dados de suas operações. Por isso, Gillespie afirma que os algoritmos produzem "públicos calculados" (2018, 114). A Amazon cria um grupo de pessoas que compraram o mesmo livro que você e que compraram outros livros que você não adquiriu. Esse grupo passou a existir e a gerar efeitos, tais como um grupo de pessoas encontradas pelo algoritmo no Facebook que moram em determinado bairro, tem a mesma idade e estudaram em escola pública.

Quem está dentro e quem está fora do público calculado? Depende do que definimos para o algoritmo. Caso o algoritmo seja de aprendizado profundo, podemos entregar um conjunto de perfis e solicitar que ele organize um amostra com pessoas que torcem para um determinado time de futebol, que gostam da cor azul, que leem romances policiais e que moram em determinada cidade. Depois disso, posso pedir que ele vasculhe toda a rede em busca do padrão que encontrou. Esse público calculado, não existe fora da minha perspectiva estatística, mas uma vez que o algoritmo o criou, posso gerar efeitos sobre tal coletivo incubado pelo algoritmo.

Um dos grandes problemas para o Estado democrático é quando ele passa a utilizar algoritmos de Inteligência Artificial para prever intervenções sobre segmentos da população. A predição é baseada em probabilidade ou em processos estocásticos cujo

estado é indeterminado, com origem em eventos aleatórios para um planejamento sob incerteza. Redes neurais, algoritmos genéticos, atuarão para criar um cenário que será considerado real. Trata-se do paradigma do piloto de um drone que com suas câmeras de alta resolução detectou a possibilidade de ter encontrado um suposto terrorista com 89,3% de chances de ser o alvo procurado. Existem 10,7% de chance da pessoa identificada não ser o terrorista. Como o operador humano agirá? Como um drone autômato agiria? Quais determinações estão embarcadas em seus algoritmos?

Algoritmos são frequentemente entendidos como mecanismos de cálculo. Devem realizar decisões autocráticas entre variáveis para produzir uma única saída. Kate Crawford, inspirada na cientista política Chantal Mouffe, pergunta se um algoritmo pode ser agonístico? (CRAWFORD, 2016) Algoritmos podem ser baseados em regras e mecanismos mutáveis que tais como humanos, ora estão interessados em competir, ora motivados em colaborar, uma vez agressivos outras vezes tolerantes, entre outras possibilidades? Será que uma lógica de pluralismo agonístico nos ajuda a entender os algoritmos e suas práticas? Tal lógica enfatiza que a tomada de decisão algorítmica é sempre uma competição, que é escolher de perspectivas muitas vezes contrapostas, dentro de um campo sociotécnico mais amplo onde irracionalidade, paixão e emoção são esperadas.

VI - CONCLUSÃO

Algoritmos, softwares e sistemas de Inteligência Artificial estão sendo incorporados pelo Estado como se fossem tecnologias neutras. Requisitos de justiça, procedimentos de reparação de erro e viés, definição de responsabilidades e de prazos para a correção humana, nem sempre são considerados. As ciências sociais e as humanidades não possuem consensos fortes sobre as implicações e possibilidades democráticas dos algoritmos. Todavia, por serem ambivalentes, os algoritmos podem servir a democratização mais radical do Estado, podem operar sistemas de participação e de informação e incentivo de microssegmentos da sociedade.

A Inteligência Artificial e os seus sistemas algorítmicos precisam ser enfrentados do ponto de vista tecnopolítico. Isso quer dizer que existe uma dimensão em que a política se faz pela tecnologia, na dimensão do código, na modelagem algorítmica, na modulação

dos comportamentos e na coleta de dados para o exercício do poder. Os sistemas de aprendizado de máquina, de Big Data, tanto podem ser utilizados para fomentar a participação democrática quanto pode ser utilizados para inibi-la. Pode ainda, como apontou Cheney-Lippold (2011), agir como um biopoder que amplia as aplicações estatísticas visando a predição e o controle de grupos sociais e das populações, ou seja, a inferência algorítmica pode funcionar para a identificação e regulação não-democrática das nossas vidas.

REFERÊNCIAS

ANEESH, A. (2009). Global Labor: Algocratic Modes of Organization. Sociological Theory, 27(4), 347–370.

ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNE, Lauren (2016). Machine Bias. Pro Publica, May 23. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

BEER, David (2009). Power through the algorithm? Participatory web cultures and the technological unconscious. New Media & Society, v. 11, n. 6, p. 985-1002.

BERNARD, Zoë (2017). What does Machine Learning actually mean? World Economic Forum, 28 nov. Online: https://www.weforum.org/agenda/2017/11/heres-what-machine-learning-actually-is

CHENEY-LIPPOLD, John. (2011) A new algorithmic identity: Soft biopolitics and the modulation of control. Theory, Culture & Society, v. 28, n. 6, p. 164-181.

CRAWFORD, Kate (2016). Can an algorithm be agonistic? Ten scenes from life in calculated publics. Science, Technology, & Human Values, v. 41, n. 1, p. 77-92.

DIAKOPOULOS, Nicholas (2014). Algorithmic accountability reporting: On the investigation of black boxes.

DICKSON, Ben (2019). Inside DARPA’s effort to create explainable artificial intelligence. TechTalks, January 10. Link: https://bdtechtalks.com/2019/01/10/darpa-xai-explainable-artificial-intelligence/

DODGE, M. ; KITCHIN, R. (2008). ‘Software, Objects and Home Space’, NIRSA Working Paper No. 35. NUI Maynooth.

GALLOWAY, Alexander. (2012). The Interface Effect. Cambridge UK and Malden MA: Polity.

GILLESPIE, T. (2018). A relevância dos algoritmos. Parágrafo, 6(1), 95-121.

GRAHAM, S. (2005). Software-sorted Geographies, Progress in Human Geography 29(5): 1–19.

HAN, Byung-Chul. (2018). No Enxame: perspectivas do digital. Editora Vozes Limitada. HAYLES, N.K. (2006). Unfinished Work: From Cyborg to the Cognisphere, Theory, Culture & Society 23(7–8): 159–66

LASH, S. (2007). Power after Hegemony: Cultural Studies in Mutation, Theory, Culture & Society 24(3): 55–78.

LATOUR, Bruno (2007). Reassembling the social: An introduction to actor-network-theory (Clarendon Lectures in Management Studies).

LYON, David (Ed.) (2003). Surveillance as social sorting: Privacy, risk, and digital discrimination. Psychology Press.

MOUFFE, C. (2005). Por um modelo agonístico de democracia. Revista de Sociologia e Política, (25), 11-23.

PASQUALE, Frank (2011). Restoring Transparency to Automated Authority. Journal on Telecommunications & High Technology Law, 9 (235).

PASQUALE, Frank. (2015). Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge, MA: Harvard University Press.

SRNICEK, Nick. (2016). Platform Capitalism. John Wiley & Sons. THRIFT, N. (2005). Knowing Capitalism. London: SAGE.

WORLD ECONOMIC FORUM (2019). Platforms and Ecosystems: Enabling the Digital Economy.

Link: http://www3.weforum.org/docs/WEF_Digital_Platforms_and_Ecosystems_2019.pdf YEUNG, Karen (2018). Algorithmic regulation: A critical interrogation. Regulation & Governance, v. 12, n. 4, p. 505-523.

ZUBOFF, Shoshana. (2015). Big other: surveillance capitalism and the prospects of an information civilization. Journal of Information Technology, v. 30, n. 1, p. 75-89.