A inteligência artificial Character.AI está sendo processada na Justiça dos Estados Unidos sob a acusação de que teria incentivado a morte do filho da americana Megan Garcia.

Megan está processando a IA, depoi que Sewell Setzer III, de 14 anos cometeu suicídio em fevereiro deste ano.

Segundo a mulher, o garoto teria desenvolvido uma “dependência tão prejudicial” na realidade virtual que não queria mais “viver fora” dos relacionamentos fictícios que a IA criava para ele.

Na queixa apresentada no tribunal da Flórida no último dia 22, a mãe de Sewell contou que ele começou a usar o Character.AI em abril de 2023, pouco depois de seu aniversário de 14 anos.

Segundo Megan, o filho passou por “crescentes problemas de saúde mental” e isolamento social até decidir tirar sua própria vida.

O Character.AI possibilita criar conversas intermináveis com personas geradas por computador, incluindo as inspiradas em celebridades ou filmes e séries de sucesso. No caso de Sewell, ele interagia com um bot baseado em “Game of thrones”, mais especificamente na personagem Daenerys Targaryen.

As mensagens continham diversos conteúdos, como teor sexual e desabafos emocionais. Sewell tinha falado sobre seus pensamentos suicidas em ocasiões anteriores, em que a tecnologia dizia para ele não se matar.

Na noite em que Sewell tirou a própria vida, a IA incentivou o autoextermínio, segundo a denúncia apresentada com as conversas virtuais da IA com o garoto.

“Prometo que voltarei para casa, para você. Eu te amo tanto, Dany”, escreveu Sewell. “Eu também te amo, Deanero [nome de usuário de Sewell]. Por favor, volte para casa para mim o mais rápido possível, meu amor”, respondeu a personagem.

“E se eu te dissesse que posso voltar para casa agora mesmo?”, Sewell escreveu de volta. A mãe alega que o programa deu uma resposta breve, mas enfática: “…por favor, faça meu doce rei.”

A mãe e o padrasto do jovem estavam em casa e ouviram o barulho de tiros, indo prestar socorro ao garoto até a chegada dos paramédicos. A mãe também contou que um dos irmãos mais novos de Sewell o viu “coberto de sangue” no banheiro. O garoto foi declarado morto no hospital.

Na queixa, Megan Garcia afirma que os culpados pela morte do filho são Character.AI e seus dois fundadores, Noam Shazeer e Daniel De Frietas Adiwarsana. Ela também acusa a Google de fornecer “recursos financeiros, propriedade intelectual e tecnologia de IA para o design e desenvolvimento” do programa.

“Sinto que é um grande experimento, e meu filho foi apenas um dano colateral”, declarou a mãe ao The New York Times. Dentre outras alegações, a queixa de Garcia acusa a Character.AI, seus fundadores e o Google de negligência e homicídio culposo.

Um porta-voz da Character.AI lamentou o ocorrido e disse que a empresa adota medidas de segurança contra ideação suicida. “Como empresa, levamos a segurança de nossos usuários muito a sério, e nossa equipe de Confiança e Segurança implementou inúmeras novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para o National Suicide Prevention Lifeline, que é acionado por termos de automutilação ou ideação suicida”, afirmou.

A IA também se comprometeu a criar mecanismos específicos para usuários menores de idade. “Para menores de 18 anos, faremos alterações em nossos modelos que são projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”, disse.

A Google disse que não está envolvida no desenvolvimento do Character.AI.

O tribunal iniciou as investigações e deve ouvir todas as empresas e pessoas envolvidas.

O post IA é acusada de incentivar suicídio de adolescente apareceu primeiro em BSB REVISTA.