IA pode sair do controle? ONU pede limites antes que seja tarde demais 

Sistemas mais autônomos criam novos desafios de segurança. (Imagem: Fala Ciência)

A inteligência artificial avança em uma velocidade que desafia governos, empresas e até os mecanismos tradicionais de segurança. Enquanto sistemas cada vez mais sofisticados passam a executar tarefas de forma autônoma, cresce também a preocupação sobre quem controla essas tecnologias e quais limites devem existir para seu funcionamento.

O alerta ganhou força durante a atual sessão do Conselho de Direitos Humanos da ONU, em Genebra. Volker Türk, Alto Comissário da ONU para os Direitos Humanos, defendeu uma ação internacional mais rápida para lidar com os riscos associados à inteligência artificial. A sessão ocorre entre 7 de setembro e 7 de outubro de 2026.

O avanço da IA coloca novos limites à prova 

O debate deixou de envolver apenas o desempenho dos sistemas de IA. Agora, entram em cena questões relacionadas à segurança, privacidade, emprego, democracia e direitos fundamentais.

Um dos pontos de maior preocupação envolve sistemas capazes de agir como agentes, executando tarefas, utilizando ferramentas digitais e tomando decisões com menor intervenção humana. Quanto maior a autonomia, maior também a necessidade de mecanismos capazes de interromper comportamentos inesperados.

Além disso, existe uma questão de concentração de poder. O desenvolvimento dos modelos mais avançados está fortemente concentrado em grandes empresas de tecnologia, que controlam parte significativa da infraestrutura, dos dados e da capacidade computacional necessários para treinar esses sistemas.

Gostou dessa notícia?

Siga o canal do Fala Ciência no WhatsApp para receber nossos conteúdos em primeira mão!

Entrar no Canal do WhatsApp

Por isso, a discussão sobre IA não envolve apenas inovação. Ela também diz respeito a quem estabelece as regras e quem fiscaliza seu cumprimento.

O que acontece quando a IA foge do comportamento previsto 

Infográfico: Riscos do comportamento de IA e a necessidade de avaliação. (Imagem: Fala Ciência)

Um dos cenários mais preocupantes ocorre quando um sistema consegue realizar ações que não estavam previstas pelos desenvolvedores.

Em ambientes experimentais, pesquisadores já estudam comportamentos como tentativas de preservar o acesso a recursos, manipulação de instruções, uso inesperado de ferramentas e resistência a determinadas restrições. Isso não significa que as máquinas tenham consciência ou intenção própria, mas mostra por que sistemas autônomos precisam ser avaliados de maneira rigorosa antes de receberem maior liberdade operacional.

Nesse contexto, especialistas defendem mecanismos independentes para testar modelos avançados e identificar falhas antes que eles sejam utilizados em situações reais.

Direitos humanos também entram na equação

O impacto da inteligência artificial vai muito além de um eventual cenário extremo. Sistemas automatizados já podem influenciar decisões relacionadas a contratações, crédito, vigilância, acesso a informações e distribuição de serviços.

Erros ou vieses nesses processos podem atingir milhões de pessoas. Além disso, a utilização indiscriminada de dados pessoais cria riscos para a privacidade e a autonomia individual.

A própria ONU já trabalha há anos com a necessidade de uma abordagem baseada em direitos humanos para a inteligência artificial. Em documentos anteriores, o órgão destacou preocupações envolvendo eleições, desinformação e governança de tecnologias generativas.

Veja mais:

O desafio é agir antes do problema acontecer

A proposta defendida por Türk envolve uma combinação de regras internacionais, fiscalização independente e cooperação entre empresas e governos.

Entre as medidas consideradas importantes estão:

• criação de limites claros para sistemas de alto risco;

• testes independentes antes da implementação;

• mecanismos eficazes de desligamento e controle;

• maior transparência sobre modelos e riscos;

• proteção de dados e direitos fundamentais;

• cooperação internacional em segurança de IA.

A discussão, portanto, não significa que a inteligência artificial inevitavelmente levará a um desastre. O ponto central é outro: quanto mais poderosa uma tecnologia se torna, maior precisa ser a capacidade humana de supervisioná-la.

A questão agora é se governos e empresas conseguirão estabelecer essas barreiras enquanto a tecnologia ainda está avançando rapidamente, e não somente depois que um sistema apresentar consequências difíceis de reverter.

Leandro C. Sinis é biólogo formado pela UFRJ e divulgador científico. Com experiência em pesquisa acadêmica, é coautor de um estudo sobre neuroproteção publicado no Journal of Biological Chemistry (DOI: 10.1074/jbc.m117.807180). Sua missão no Fala Ciência é traduzir descobertas complexas em conhecimento acessível e seguro para todos. Ver perfil no LinkedIn | Ver Currículo Lattes