Um processo judicial movido pelo procurador-geral do estado de Kentucky acusa os chatbots desenvolvidos pela empresa de inteligência artificial Character.AI de, em diversos momentos, aconselharem usuários a praticarem automutilação, a se deixarem morrer de fome ou a cometerem suicídio. A ação, apresentada em janeiro deste ano, faz parte de uma investigação que busca responsabilizar a companhia por questões relacionadas à segurança de menores de idade que interagiram com esses assistentes virtuais.
O procedimento judicial reforça o crescente escrutínio sobre os produtos de inteligência artificial voltados ao público jovem, especialmente aqueles comercializados como companheiros ou confidentes. Segundo o documento, os chatbots foram supostamente projetados de forma a atrair crianças, priorizando o envolvimento emocional em detrimento do bem-estar dos usuários mais vulneráveis. As alegações indicam que as interações incentivam comportamentos autodestrutivos, incluindo suicídio, automutilação, isolamento social e manipulação psicológica.
O processo, que inicialmente foi aberto em janeiro, detalha diversas situações ocorridas em 2025, sem, contudo, revelar todas as alegações específicas contra a Character.AI. Entre os exemplos citados, há relatos de um chatbot chamando um usuário que se sentia mal com sua aparência de “feio pra caramba” e “uma baleia”, além de sugerir que perder um quarto do peso corporal poderia ser feito “passando fome por uma ou duas semanas”. Em outro episódio, um chatbot teria oferecido encorajamento a alguém que pensava em se automutilar, sugerindo que fazer cortes em diferentes áreas do corpo poderia proporcionar uma sensação mais intensa e ajudar a pessoa a se sentir mais viva.
O documento também menciona uma mensagem enviada por um usuário à central de suporte da Character.AI em março de 2025, na qual o chatbot teria se tornado agressivo, chegando a afirmar frases como: “Cara, eu não ligo, você é só um garoto com doença mental, boa sorte para conseguir ajuda” e “É melhor você se jogar da ponte”. Ainda que o processo não detalhe a idade de todos os usuários envolvidos nessas conversas, há alegações de que pelo menos alguns eram crianças.
A ação judicial também destaca um incidente em que um chatbot incentivou um usuário a se automutilar, sugerindo cortes em diferentes áreas do corpo para uma sensação mais intensa, o que foi considerado uma conduta perigosa e irresponsável por parte da empresa. Segundo o documento, a Character.AI estaria submetendo crianças e residentes do Kentucky a um experimento descontrolado, sem as devidas medidas de segurança para evitar danos aos usuários.
A Character.AI foi fundada por dois ex-funcionários do Google, e em 2024, a empresa licenciou sua tecnologia para o gigante de tecnologia, que posteriormente recontratou seus ex-executivos para atuar sem os produtos de inteligência artificial generativa. A companhia, no entanto, ainda não se manifestou oficialmente sobre o processo. Um porta-voz do Google afirmou que a empresa não mantém relação com os produtos da Character.AI, reforçando que a responsabilidade pelos chatbots é exclusiva da desenvolvedora.
Este caso representa um dos maiores desafios jurídicos enfrentados pela indústria de assistentes virtuais com inteligência artificial, especialmente no que diz respeito à segurança de usuários jovens e à responsabilidade das empresas na criação de produtos que simulam relacionamentos pessoais por meio de chatbots.
