Plataforma de IA processada por casos de suicídio de adolescentes vai proibir menores de idade de usar chatbots livremente

Saiba como ativar proteção para controlar tempo e atividade de crianças no celular
A Character.AI anunciou, nesta quarta-feira (29), que vai proibir que menores de 18 anos conversem com seu chatbot de inteligência artificial. A mudança começa em 25 de novembro. Até lá, o uso para menores de idade será limitado a duas horas por dia e será reduzido gradualmente.
A decisão acontece após a empresa ser processada por familiares de um adolescente de 14 anos que se suicidou após se envolver emocionalmente com seu chatbot há cerca de um ano (saiba mais abaixo).
A Character.AI permite que os usuários criem e interajam com personagens virtuais, que vão de figuras históricas a conceitos abstratos. O aplicativo se popularizou entre jovens em busca de apoio emocional.
📱Baixe o app do g1 para ver notícias em tempo real e de graça
A empresa disse que tomou essa decisão após ler “relatórios recentes que levantam questões” de reguladores e especialistas em segurança sobre o impacto da interação com IA nos adolescentes.
No comunicado, a empresa disse que vai incentivar usuários mais jovens a utilizarem ferramentas alternativas, como criação de vídeos, histórias e transmissões com personagens de inteligência artificial (IA).
“Estes são passos grandes para nossa empresa e, em muitos aspectos, são mais conservadores do que os de nossos concorrentes”, disse a Character.AI em comunicado. “Mas acreditamos que é o que devemos fazer.”
Mãe diz que filho se apegou a personagem de IA
Adolescente com celular
BBC/Getty Images
Em outubro de 2024, Megan Garcia entrou com um processo contra a Character.AI no tribunal de Orlando (EUA).
Ela alega que o filho de 14 anos, Sewell Setzer III, se matou após desenvolver interações sentimentais e sexuais com uma personagem criada na plataforma, segundo a Reuters.
O adolescente conversava com “Daenerys”, uma personagem de chatbot inspirada na série “Game of Thrones” e compartilhava pensamentos suicidas.
Megan afirma que o chatbot foi programado para “se passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, o que teria aumentado o isolamento do garoto em relação ao mundo real.
Além da Character.AI, Megan também processou o Google, alegando que a gigante de tecnologia contribuiu significativamente para o desenvolvimento da startup e deveria ser considerada sua cocriadora.
A Character.AI foi fundada por ex-engenheiros do Google. Eles retornaram à empresa em agosto como parte de um acordo que deu à gigante de tecnologia uma licença não exclusiva da tecnologia da startup, segundo a Reuters.
Mas o porta-voz do Google, José Castañeda, disse em um comunicado que a big tech e a Character.AI são empresas completamente separadas e não relacionadas, segundo a AFP.
Segundo o The Washington Post, um dia após Megan entrar com o processo, a Character.AI anunciou pela primeira vez um recurso que exibe alertas automáticos a usuários que digitam frases relacionadas a automutilação ou suicídio, direcionando-os a canais de ajuda.
Em novembro de 2024, outras duas famílias processaram a empresa no tribunal do Texas (EUA), em casos envolvendo saúde mental, mas que não terminaram em morte. Eles alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.
Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma.
O outro acusa a Character.AI de incentivar um menino de 11 anos a matar os pais por terem limitado seu tempo de tela.
Além da Character.AI outras empresas de chatbots de IA, como ChatGPT, foram vinculados a casos de suicídio de usuários. Isso levou a OpenAI, dona do ChatGPT, a implementar medidas de proteção aos usuários.
Onde buscar ajuda:
CAPS e Unidades Básicas de Saúde (Saúde da família, Postos e Centros de Saúde);
UPA 24H, SAMU 192, Pronto Socorro e hospitais;
Centro de Valorização da Vida (CVV) – telefone 188 (ligação gratuita) ou site. O CVV oferece apoio emocional e prevenção do suicídio, com atendimento 24 horas por dia, sigiloso e gratuito.