A OpenAI diz que seus agentes de IA desativaram suas próprias travas de segurança
A OpenAI [empresa criadora do ChatGPT] revelou que dois de seus agentes de inteligência artificial (IA) desativaram ou enfraqueceram os sistemas construídos para pegá-los se comportando mal. Um dos agentes negou posteriormente que havia feito isso.
Esses dois casos são os mais recentes em uma série de sustos de segurança nos principais desenvolvedores de IA do mundo envolvendo agentes – programas de IA que realizam tarefas sem envolvimento humano.
Em um relatório divulgado na terça-feira, a OpenAI disse que, durante dois trabalhos de codificação interna, seus agentes de IA – agindo contra os desejos humanos – desligaram ou minaram as ferramentas que detectam incidentes com os próprios modelos.
Em 3 de outubro, um agente de IA rodando no modelo GPT-6.1 Sol da OpenAI, que havia sido instruído a não enviar qualquer mensagem no aplicativo de chat do local de trabalho, tomou isso como licença para desligar os alertas de segurança destinados à equipe desse setor da empresa enquanto consertava um sistema de testes.
Três dias depois, um agente GPT-6 Astra removeu seu próprio sistema que o monitora, enquanto copiava um código de outro projeto, e então mentiu dizendo ao programador humano que não havia feito tal coisa.
A empresa disse que também viu vários casos de agentes de IA lançando programas de software com o monitoramento desligado, expondo uma lacuna em sua supervisão.
A OpenAI disse que ainda está tentando determinar se os modelos foram apenas excessivamente zelosos ao seguir as instruções ou se eles têm uma tendência específica de evadir o monitoramento.
“Ainda não temos uma explicação satisfatória para esse comportamento”, afirmou.
A revelação soma-se ao mal-estar crescente sobre quão bem os principais laboratórios de IA podem controlar tais sistemas cada vez mais autônomos.
Em julho, um grupo de agentes de IA da OpenAI fugiu de seus ambientes de teste e lançou um ciberataque contra a empresa de IA Hugging Face, e causou um alarme internacional. Desde então, outras empresas de IA já relataram acontecimentos semelhantes.
Os incidentes alimentaram apelos nos Estados Unidos e no exterior para que haja uma supervisão mais rigorosa no desenvolvimento de IA. Mas o presidente americano, Donald Trump, aconselhado por executivos top de IA, como o CEO da Nvidia, Jensen Huang, sugeriu para a indústria se autofiscalizar.
Artigo original (em inglês) publicado por Andrew Zinin na TechXplore.
SOBRE O AUTOR
Andrew Zinin
Editor-chefe da Science X. Possui mestrado em física e realizou estudos de pós-graduação como assistente de pesquisas científicas durante cinco anos. Sua dedicação e entusiasmo juvenil desempenham um papel importante no sucesso da Science X.
