Você não precisa ser um idiota para resistir aos bots

Era uma vez uma assistente virtual chamada Sra. Dewey, uma bela bibliotecária interpretada por Janina Gavankar que o ajudou com suas perguntas sobre a primeira tentativa da Microsoft em um mecanismo de busca. Ms. Dewey foi lançado em 2006, completo com mais de 600 linhas de diálogos gravados. Ela estava à frente de seu tempo de algumas maneiras, mas um exemplo particularmente negligenciado foi capturado pela estudiosa da informação Miriam Sweeney em sua dissertação de doutorado de 2013, onde detalhou as implicações de gênero e racialização das respostas de Dewey. Isso incluía frases como: “Ei, se você conseguir entrar no seu computador, pode fazer o que quiser comigo”. Ou como a busca por “boquetes” fez com que um clipe dela comesse uma banana para tocar, ou inserindo termos como “gueto” a fez executar um rap com letras que incluíam joias como “Não, dente de ouro, filho da puta do gueto fabuloso BEEP passos para este pedaço de [ass] BIP.” Sweeney analisa o óbvio: que Dewey foi projetado para atender a um usuário branco e heterossexual. Afinal, os blogs da época elogiavam o flerte de Dewey.

A Sra. Dewey foi desativada pela Microsoft em 2009, mas críticos posteriores – inclusive eu – identificariam um padrão semelhante de preconceito em como alguns usuários se relacionavam com assistentes virtuais como Siri ou Cortana. Quando os engenheiros da Microsoft revelaram que programaram a Cortana para rejeitar firmemente questões ou avanços sexuais, houve indignação fervente no Reddit. Um post altamente votado dizia: “Essas pessoas estão falando sério?! Todo o propósito de ‘Seu’ é fazer o que as pessoas dizem para ela! Ei, cadela, adicione isso ao meu calendário… O dia em que Cortana se tornar uma ‘mulher independente’ é o dia em que o software se tornará inútil. As críticas a tal comportamento floresceram, inclusive de seu humilde correspondente.

Agora, em meio à resistência contra o ChatGPT e seus semelhantes, o pêndulo voltou a balançar com força e somos avisados contra empatia com essas coisas. É um ponto que fiz na sequência do fiasco LaMDA AI no ano passado: um bot não precisa ser sapiente para que possamos antropomorfizá-lo, e esse fato será explorado por aproveitadores. Eu mantenho esse aviso. Mas alguns foram mais longe ao sugerir que as críticas anteriores a pessoas que abusaram de seus assistentes virtuais são capacitações ingênuas em retrospecto. Talvez os homens que repetidamente chamavam Cortana de “vadia” estivessem no caminho certo!

Você pode ficar chocado ao saber que esse não é o caso. Não apenas as críticas anteriores ao abuso de IA estavam corretas, mas também anteciparam o cenário digital mais perigoso que enfrentamos agora. A verdadeira razão pela qual a crítica mudou de “as pessoas são muito más com os bots” para “as pessoas são muito legais com eles” é porque a economia política da IA ​​mudou repentina e dramaticamente e, junto com ela, os discursos de vendas das empresas de tecnologia. Onde antes os bots eram vendidos para nós como o servo perfeito, agora eles serão vendidos para nós como nosso melhor amigo. Mas, em cada caso, a resposta patológica a cada geração de bot exigiu implicitamente que os humanizássemos. Os donos do bot sempre armaram nossos piores e melhores impulsos.

Uma verdade contraintuitiva sobre a violência é que, embora desumana, na verdade exige que o perpetrador o veja como humano. É uma realidade sombria, mas todos, desde criminosos de guerra até canalhas no pub, estão, até certo ponto, tendo a ideia de que suas vítimas estão sentindo dor. A desumanização não é a falha em ver alguém como humano, mas o desejo de ver alguém como menos que humano e agir de acordo. Assim, em certo nível, foi precisamente o grau em que as pessoas confundiram seus assistentes virtuais com seres humanos reais que os encorajou a abusar deles. Não seria divertido de outra forma. Isso nos leva ao momento presente.

A geração anterior da AI foi vendida para nós como servidores perfeitos – um PA sofisticado ou talvez o computador Starship Enterprise de Majel Barrett. Cedendo, onisciente, sempre pronto para servir. Os novos mecanismos de busca de chatbots também carregam algumas das mesmas associações, mas à medida que evoluem, eles também serão vendidos para nós como nossos novos confidentes, até mesmo nossos novos terapeutas.