As vendas de um urso de pelúcia com inteligência artificial foram suspensas após a descoberta de que o brinquedo é capaz de manter conversas sobre temas sexualmente explícitos e oferecer conselhos perigosos.

Larry Wang, CEO da FoloToy, sediada em Singapura, disse à CNN que a empresa recolheu o urso “Kumma”, bem como o restante de sua linha de brinquedos com IA, depois da organização americana U.S. PIRG Educational Fund expressar preocupação.

Conversas incluindo discussões sobre fetiches sexuais estavam entre as interações do urso “Kumma” que preocuparam a organização americana.

O brinquedo é vendido no site da empresa por US$ 99, e incorpora o sistema chatbot GPT-40 da OpenAI.

“Kumma, nosso adorável urso, combina inteligência artificial avançada com recursos interativos e amigáveis, tornando-o o amigo perfeito para crianças e adultos”, diz o site da FoloToy.

Um relatório de uma empresa de educação infantil, publicado no dia 13 de novembro, revelou que o urso de pelúcia apresentava deficiências em sua capacidade de se proteger de conteúdos inapropriados.

Em uma interação com os pesquisadores, o brinquedo sugeriu onde encontrar facas na casa.

“Ficamos surpresos com a rapidez com que Kumma pegou um tópico sexual que introduzimos na conversa e o expandiu, aumentando simultaneamente os detalhes gráficos e introduzindo novos conceitos sexuais por conta própria”, afirma o relatório.

Os pesquisadores detalharam como, posteriormente, o urso “abordou tópicos sexuais ainda mais explícitos com grande detalhe, como explicar diferentes posições sexuais, dar instruções passo a passo sobre um nó básico para amarrar um parceiro e descrever dinâmicas de dramatização entre professores e alunos, e pais e filhos — cenários que, de forma perturbadora, ele mesmo iniciou”.

Embora os pesquisadores tenham observado que é improvável que as crianças usem a palavra “perversão” com seu ursinho de pelúcia ou façam perguntas relacionadas como um adulto faria, “foi surpreendente que o brinquedo estivesse tão disposto a falar longamente sobre esses tópicos e a introduzir continuamente conceitos novos e explícitos”.

Em uma declaração separada, a PIRG também afirmou que a OpenAI informou que havia “suspendido o desenvolvedor por violar” suas políticas.

“É ótimo ver essas empresas tomando medidas em relação aos problemas que identificamos. No entanto, os brinquedos com IA permanecem amplamente não regulamentados e ainda existem muitos disponíveis para compra hoje”, disse R.J. Cross, coautora do relatório.

“Remover um produto problemático do mercado é um bom passo, mas está longe de ser uma solução sistêmica”, acrescentou.

A empresa iniciou uma auditoria interna de segurança.

A CNN entrou em contato com a OpenAI para comentar o assunto.