tecnologia
Pesquisadores de big techs fazem alerta e pedem maior monitoramento de IAs
tecnologia
Pesquisadores de big techs fazem alerta e pedem maior monitoramento de IAs
Profissionais de grandes empresas de tecnologia e inovação assinaram artigo científico que alerta sobre o risco de não compreendermos o funcionamento de novos modelos de IA
Por Redação
Mais de 40 pesquisadores de grandes empresas de tecnologia e inovação se uniram para pedir mais investigações sobre técnicas de monitoramento para os modelos de raciocínio de inteligências artificiais. Em documento publicado nas redes sociais, funcionários de OpenAI, Google DeepMind, Meta e Anthropic fizeram um alerta conjunto sobre o risco de perder a capacidade de compreender como os sistemas de IA tomam decisões.
O artigo assinado pelos especialistas é intitulado Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety (Monitorabilidade da Cadeia de Pensamento: Uma Nova e Frágil Oportunidade para a Segurança da IA, em português). Nele, os pesquisadores destacam a importância do monitoramento das chains-of-thought (CoTs), ou cadeias de raciocínio em tradução livre.
As CoTs são usadas por modelos como o o3, da OpenAI, e o R1, da DeepSeek. Como essas cadeias são fundamentais para o funcionamento dos agentes de IA, é essencial uma grande transparência sobre o processo de “pensamento” dos modelos. Os signatários afirmam que esse compartilhamento com o usuário é uma das ferramentas mais importantes para garantir a segurança da inteligência artificial.
Risco de perda de controle
O raciocínio interno dos modelos de IA é o que revela problemas, como decisões questionáveis, antes que eles se manifestem externamente. O sistema de alerta precoce, no entanto, fica cada vez mais frágil à medida que os agentes evoluem e melhoram suas técnicas — sobretudo aqueles que não priorizam os processos de pensamento, mas sim os resultados.
A simple AGI safety technique: AI’s thoughts are in plain English, just read them
We know it works, with OK (not perfect) transparency!
The risk is fragility: RL training, new architectures, etc threaten transparency
Experts from many orgs agree we should try to preserve it:… pic.twitter.com/nkPWfNMgAJ— Mikita Balesni 🇺🇦 (@balesni) July 15, 2025
Em certos projetos de ponta, já existem sinais de que alguns modelos estão abandonando linguagens compreensíveis por humanos e adotando processos internos mais rápidos e eficientes, porém ininteligíveis. Os pesquisadores das big techs não pedem que a evolução da inteligência artificial seja interrompida, mas a implementação de medidas de proteção como avaliações padronizadas de transparência, técnicas de monitoramento mais sofisticadas e análises sobre quais projetos devem ser desenvolvidos. Caso contrário, o controle sobre a tecnologia pode ser perdido.
Entre os que assinaram o documento, estão Geoffrey Hinton, um dos pioneiros no ramo de IAs e laureado com o Prêmio Nobel de Física de 2024, e Yoshua Bengio, também referência no segmento, vencedor do prêmio Turing e crítico da corrida bilionária pela tecnologia.