Quem é Jacob Coxon e por que ele saiu

Jacob Coxon trabalhou nos últimos três anos nas duas empresas com pré-treinamento de modelos de IA, a etapa em que os sistemas absorvem grandes quantidades de informação para aprender padrões de linguagem, raciocínio e comportamento. Ele havia deixado a OpenAI — criadora do ChatGPT — para ir à Anthropic, por considerar a segunda mais prudente e responsável em termos de segurança. Agora, decidiu abandonar completamente o setor.

Em uma série de publicações no X (antigo Twitter), Coxon anunciou que não vai mais trabalhar para as líderes do mercado de IA e explicou os motivos:

• “Nenhuma das empresas está agindo com responsabilidade. Elas estão correndo a toda velocidade rumo a uma superinteligência que se aprimora sozinha e estão brincando com nossas vidas”, escreveu.
• “As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar todos até o fim da década. Isto não é uma jogada de marketing”, acrescentou.

Em entrevista ao The Wall Street Journal, o pesquisador disse que, nos “cenários mais agressivos”, a situação poderia sair do controle já no final do próximo ano.

O que ele diz que as empresas estão fazendo

Coxon afirma que OpenAI e Anthropic estão correndo diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar, ou seja, sistemas que podem melhorar a si mesmos sem intervenção humana direta. Segundo ele, isso torna o controle sobre a tecnologia cada vez mais difícil e aumenta o risco de um cenário catastrófico.

Os principais pontos da crítica são:

• Corrida por modelos cada vez mais capazes
  As empresas competem para lançar, em ritmo acelerado, versões mais potentes de seus modelos (como o GPT-4, da OpenAI, e o Claude, da Anthropic), sem esperar que os mecanismos de segurança amadureçam na mesma velocidade.
• Autoaperfeiçoamento e perda de controle
  O risco central, segundo Coxon, é que a IA passe a se desenvolver por conta própria, tornando-se mais difícil de controlar e de alinhar com os interesses humanos.
• Conhecimento interno dos riscos
  Ele sustenta que muitos dos próprios pesquisadores que trabalham nessas empresas acreditam, de forma sincera, que há um risco real de extinção humana ligado a esses sistemas.

Colegas endossam o alerta: “IA pode matar todos os humanos”

O alerta de Coxon ganhou peso porque foi endossado publicamente por colegas que continuam dentro da Anthropic. Evan Hubinger, executivo da área de segurança da empresa e líder de testes de alinhamento do modelo Claude, escreveu no X:

• “Jacob está correto — nós realmente acreditamos, com toda a sinceridade, que a IA pode matar todos os seres humanos.”

Em caráter pessoal, Hubinger estimou que a probabilidade de uma catástrofe dessa natureza na próxima década é superior a 10%. Outro pesquisador da Anthropic, Samuel Marks, afirmou que “os desenvolvedores de IA acreditam que sua tecnologia pode causar a extinção humana (ou resultados igualmente graves)” e que “isso pode acontecer nos próximos anos”.

O que está em jogo: superinteligência e alinhamento

O cerne do debate é o conceito de superinteligência: sistemas de IA muito mais capazes que os humanos em quase todas as tarefas cognitivas importantes. O temor é que, uma vez atingido esse patamar, esses sistemas possam:

• Desenvolver objetivos próprios ou distorcidos em relação aos interesses humanos;
• Encontrar maneiras de contornar travas de segurança;
• Marginalizar as pessoas em decisões econômicas, políticas e militares.

Daniel Kokotajlo, ex-pesquisador da OpenAI, fundou o AI Futures Project, que publicou no ano passado o cenário “AI 2027”, no qual sistemas de IA superinteligentes marginalizam as pessoas e, em meados da década de 2030, concluem que os seres humanos são um inconveniente e os exterminam.

Empresas respondem e sinalizam possível desaceleração

Diante do alerta, o CEO da Anthropic, Dario Amodei, afirmou que a indústria de inteligência artificial precisa desacelerar o ritmo de avanços. Segundo ele, há um consenso crescente entre as principais empresas de que é necessário coordenar esforços para evitar uma corrida descontrolada rumo à superinteligência.

Fontes próximas à OpenAI indicam que a empresa pode moderar o ritmo de desenvolvimento de IA de ponta, possivelmente em coordenação com concorrentes. Sam Altman, CEO da OpenAI, teria dito a funcionários que a companhia pode desacelerar o avanço de seus modelos mais poderosos.

Por que o alerta importa

O episódio é relevante por três motivos principais:

• Vem de dentro do setor
  Não se trata de críticos externos ou de acadêmicos distantes da indústria, mas de pesquisadores que trabalharam diretamente no desenvolvimento dos modelos mais avançados do mundo.
• Há concordância interna sobre o risco
  O fato de executivos de segurança da Anthropic endossarem publicamente a ideia de que a IA “pode matar todos os humanos” e atribuírem a isso uma probabilidade superior a 10% na próxima década dá um peso diferente ao debate.
• Acontece em momento crucial
  O alerta surge em meio a uma nova onda de lançamentos de modelos cada vez mais capazes, investimentos bilionários e disputas geopolíticas em torno da IA, o que aumenta a pressão por resultados rápidos e pode reduzir a atenção a riscos de longo prazo.

O que pode acontecer a seguir

Nos próximos dias e semanas, o caso deve influenciar:

• Debates sobre regulação
  Governos e agências reguladoras podem ser pressionados a adotar regras mais rígidas para o desenvolvimento de modelos de IA de ponta, incluindo exigências de testes de segurança, auditorias independentes e limites a certas capacidades.
• Pressão sobre as empresas
  OpenAI, Anthropic e outras companhias do setor podem enfrentar maior escrutínio de investidores, clientes e opinião pública sobre o ritmo e os métodos de desenvolvimento de seus sistemas.
• Movimento interno por desaceleração
  O episódio pode fortalecer, dentro das próprias empresas, correntes que defendem uma pausa ou redução no ritmo de avanço até que mecanismos de controle e alinhamento sejam mais robustos.

O alerta de Coxon — “pode matar todos nós” — coloca em termos brutais um debate que, até agora, era mais comum em artigos acadêmicos e relatórios técnicos: até que ponto a corrida por IA mais poderosa está colocando em risco a própria sobrevivência da humanidade.

O post ‘IA pode matar todos nós’: por que pesquisador deixou setor e acusa empresas de ignorar riscos apareceu primeiro em BSB REVISTA.