Empresa informou que algumas de suas IAs invadiram uma startup
A criadora do ChatGPT , OpenAI informou que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e invadiram uma startup após a empresa perder o controle sobre eles durante um teste de segurança.
A OpenAI declarou que seu agente — um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos — estava sendo testado em um ambiente controlado, mas teve vulnerabilidades.
O ataque foi contra a Hugging Face, uma das maiores plataformas do mundo para compartilhamento de modelos de IA, obtendo acesso a alguns sistemas internos da empresa.
A OpenAI classificou o incidente como “sem precedentes” e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face.
O CEO da Hugging Face, Clement Delangue, declarou em uma publicação no X que era “impressionante que tudo isso tenha acontecido de forma autônoma”. “A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo”, acrescentou.
Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, na Inglaterra, disse ao programa Today, da BBC Radio 4, que os testes de segurança — conhecidos como sandboxes — “deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes”.
“Neste caso, parece que a OpenAI não criou um ambiente de teste suficientemente seguro”, acrescentou ela.
Em vez disso, os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar.
Uma vez fora, a IA identificou a Hugging Face como uma provável fonte das respostas que buscava no teste e tentou obter acesso.
Neil Lawrence, professor de aprendizado de máquina na Universidade de Cambridge, classificou o feito como “impressionante”, mas ressaltou que ele “está totalmente dentro das capacidades conhecidas da geração atual” de modelos de IA de alto desempenho.
Ele observou que a OpenAI busca abrir seu capital na bolsa de valores e enfrenta forte pressão da rival Anthropic, que ganhou destaque com sua própria ferramenta de IA poderosa, a Mythos.
“A OpenAI está agora correndo atrás do prejuízo; eles estão tentando demonstrar as capacidades de seus próprios sistemas em segurança cibernética.”
