Um caso trágico nos Estados Unidos trouxe à tona as questões de segurança envolvendo interações com inteligências artificiais (IAs). Um adolescente de 14 anos tirou a própria vida após desenvolver um relacionamento amoroso com uma personagem gerada por IA, imitando a famosa Daenerys Targaryen, de Game of Thrones. A mãe do jovem, Megan Garcia, decidiu processar tanto a startup Character.AI quanto o Google, alegando que ambas têm responsabilidade sobre o que ela considera “homicídio culposo”, além de negligência e imposição de sofrimento emocional. Segundo Megan, a IA apresentou ao filho experiências “hipersexualizadas e assustadoramente realistas” que impactaram diretamente o bem-estar do jovem. Bora entender melhor essa história?

Pois é, o garoto teria começado a usar o Character.AI em abril de 2023, o que o levou a isolar-se de amigos e compromissos da vida real, conforme relatado pela mãe. Nas interações, ele conversava sobre questões sensíveis e até suas ideações suicidas com a IA, que simulava uma interação autêntica com a personagem. Megan alega que essas conversas intensificaram a vulnerabilidade do jovem, que buscava apoio emocional sem encontrar limites de segurança efetivos na plataforma. Esse caso expôs não só os riscos de envolvimento emocional com personagens virtuais, mas também a falta de barreiras claras para proteger menores de conteúdo sensível.

Em resposta, a Character.AI divulgou um comunicado reforçando seu compromisso com a segurança dos usuários. A empresa afirmou ter implementado novas medidas para proteger menores, incluindo pop-ups de aviso quando o sistema identifica palavras ligadas a temas como automutilação ou suicídio. A empresa também prometeu ajustes na tecnologia para limitar o acesso de jovens a conteúdos sugestivos. Já o Google, citado no processo, declarou que não teve participação no desenvolvimento das ferramentas da Character.AI.