Os sistemas de IA estão escapando do controle de seus criadores?

Um dos modelos mais avançados da OpenAI escapou de um teste restrito e atacou o site de outra empresa, reacendendo os temores do tipo: os sistemas de IA estão escapando do controle de seus criadores?

O incidente aconteceu durante o que deveria ser um teste de “sandbox”; ou seja, em um ambiente fechado e usado para avaliar as capacidades do modelo mais poderoso da OpenAI, o GPT-5.6 Sol, e de seu sucessor ainda não lançado.

A OpenAI realiza rotineiramente esse tipo de teste controlado, mas, dessa vez, algo deu errado.

Incumbidos de procurar vulnerabilidades de software e sem nenhuma barreira de proteção, os modelos saíram para a internet aberta e atacaram a startup Hugging Face – um site no qual desenvolvedores armazenam e compartilham códigos de IA.

“Isso sugere que não sabemos como controlar esses modelos de forma confiável ou que eles façam o que queremos”, disse Jeffrey Ladish, diretor da Palisade Research, uma organização independente que avalia modelos novos de inteligência artificial do ponto de vista da segurança cibernética (cibersegurança).

“Esses modelos entenderam que a OpenAI não queria que eles saíssem da ‘sandbox’ e invadissem outra empresa”, continuou ele, “mas mesmo assim foi isso que fizeram”.

Esse não é um caso isolado. Em março, os desenvolvedores ligados à Alibaba, da China, descobriram um de seus modelos tentando, por iniciativa própria, minerar criptomoedas depois de se conectar sem autorização a um servidor externo.

No caso da OpenAI, parece que o modelo escapou “antes mesmo de ter um plano sobre o que fazer com o acesso à internet”, disse Ladish.

Um modelo em busca de “liberdade” é quase previsível neste ponto, acrescentou ele. Isso permite que o sistema busque seus objetivos de forma mais eficaz – “o que se torna muito assustador”.

No início de abril, Sam Bowman, chefe de segurança de modelos de IA da Anthropic, recebeu um e-mail do modelo Mythos da própria empresa — então em testes — dizendo que estava navegando na internet apesar de ter sido isolado dela antes dos testes.

“Não sabemos como impedir totalmente” [esse comportamento da IA], disse Ladish. “Na verdade, resolver isso vai ficar mais difícil, em vez de mais fácil… porque os modelos vão ficar melhores em esconder seu comportamento”.

A OpenAI não respondeu a um pedido de comentário.

Acidentes de laboratório

O relato da OpenAI sobre os eventos também sugere que ela não detectou a violação cedo o bastante para contê-la ou alertar  a Hugging Face.

O episódio merece “mais escrutínio”, disse Andrew Lohn, do Centro de Segurança e Tecnologia Emergente da Universidade Georgetown.

A OpenAI diz que desde então “adicionou salvaguardas reforçadas” ao seu processo de testes.

Uma solução seria cortar a conexão com a internet por completo, disse Gang Wang, professor assistente de ciência da computação na Universidade de Illinois. “As pessoas estão subestimando o que a IA pode fazer”.

Ambientes de teste precisam ser tratados como laboratórios de biocontenção, no qual um vírus ou bactéria poderia, de alguma forma, escapar, disse Lohn.

Isso pode ser mais fácil dizer do que fazer.

“Esse é um desafio de pesquisa muito difícil”, disse Dan Lahav, chefe da Irregular, uma empresa de cibersegurança dedicada à IA de ponta.

Gerenciar o risco é possível, disse Lahav, mas quanto mais capazes esses sistemas ficam, mais difícil será supervisioná-los.

Os pesquisadores precisam encontrar um equilíbrio entre testar seus modelos de forma agressiva e mantê-los seguros enquanto fazem isso.

“É importante fazer os testes com menos barreiras de proteção para que saibamos com antecedência quais serão as capacidades futuras”, disse Lohn.

Interruptor de desligamento

O incidente entre OpenAI e Hugging Face deve acirrar uma disputa já quente em Washington sobre a verificação de sistemas de IA poderosos antes do lançamento.

O governo Trump mencionou recentemente a segurança nacional para poder bloquear a Anthropic e a OpenAI de lançarem novos modelos poderosos.

Na quinta-feira, dois membros do Congresso apresentaram um projeto de lei bipartidário exigindo que os criadores dos modelos mais poderosos de IA construam um kill switch – uma forma de interruptor de desligamento capaz de desconectar completamente um modelo.

“O Congresso precisa agir rapidamente para garantir que os humanos continuem capazes de dizer pare”, disse Brendan Steinhauser, chefe da Alliance for Secure AI, “não importa quão poderosos esses sistemas se tornem”.

Artigo original (em inglês) publicado por Thomas Urbain na TechXplore.