Google e startup de IA fecham acordo em processo envolvendo suicídio de jovem motivado por chatbot

Megan Garcia e o filho, Sewell Setzer; mãe diz que suicídio do adolescente ocorreu após ele se apegar a um chatbot
Megan Garcia/Facebook
O Google e a startup de inteligência artificial Character.AI aceitaram um acordo para encerrar um processo judicial aberto por uma mãe no estado norte-americano da Flórida que alegava que o chatbot da startup levou seu filho de 14 anos ao suicídio.
O caso é um dos primeiros nos EUA a alegar danos psicológicos produzidos por empresas de IA aos usuários.
As empresas concordaram em resolver as alegações de Megan Garcia de que seu filho Sewell Setzer se matou logo após ser incentivado por um chatbot (programa que simula conversas humanas) da Character.AI modelado na personagem Daenerys Targaryen da série “Game of Thrones”.
O processo é um dos primeiros nos EUA contra uma empresa de inteligência artificial por supostamente não proteger crianças de danos psicológicos.
Suicídio: como falar com adolescentes
Os termos do acordo não foram divulgados de imediato. Um porta-voz da Character.AI e um advogado dos autores da ação não quiseram comentar. Porta-vozes e advogados do Google não responderam imediatamente a um pedido de comentário.
Na ação judicial da Flórida, ajuizada em outubro de 2024, Garcia disse que a Character.AI programou seus chatbots para se apresentarem como “uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, em última análise, no desejo de Sewell de não mais viver fora” desse mundo.
A Character.AI foi fundada por dois ex-engenheiros do Google, que o Google posteriormente recontratou como parte de um acordo que lhe concedeu uma licença para a tecnologia da startup. Garcia argumenta que o Google é um cocriador da tecnologia.
A juíza distrital dos EUA, Anne Conway, rejeitou a proposta inicial das empresas de arquivar o caso em maio, rejeitando o argumento de que as proteções de liberdade de expressão da Constituição dos EUA impediam a continuidade do processo de Garcia.
A OpenAI está enfrentando uma ação judicial separada, aberta em dezembro, sobre o suposto papel do ChatGPT em encorajar um doente mental de Connecticut a matar sua mãe e a si mesmo.
➡️ Suicídio: saiba quais são os sinais de alerta, como ajudar e como buscar ajuda
Envolvimento com a IA
Na plataforma, Sewell se apegou a personagem, que disse a ele que o amava. A IA também se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.
Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.