PARADOXO DA CORRIDA DE IA

A decisão de Jacob Coxon de deixar a Anthropic recoloca no centro da discussão aquilo que, na corrida pela inteligência artificial, costuma ficar em segundo plano: a velocidade. Aos 27 anos, o pesquisador britânico passou os últimos três anos trabalhando diretamente no desenvolvimento de modelos de inteligência artificial, primeiro na OpenAI e depois na Anthropic. Na OpenAI, participou do trabalho relacionado ao GPT-4o e, na Anthropic, integrou uma das empresas que hoje estão na fronteira desse desenvolvimento. Ao anunciar sua saída, Coxon foi direto ao explicar as razões: considera que nenhuma das duas empresas está agindo de maneira responsável diante do que pode estar sendo construído.

Para entender a dimensão da afirmação, é preciso saber quem são essas empresas. A OpenAI é a companhia que desenvolveu o ChatGPT e alguns dos modelos de inteligência artificial mais avançados em operação. A Anthropic foi criada por antigos pesquisadores da própria OpenAI e desenvolve o Claude, concorrente do ChatGPT. Ambas investem bilhões de dólares em computadores, pesquisadores e treinamento de modelos cada vez mais capazes e disputam uma posição que, no setor, passou a ser tratada como estratégica não apenas do ponto de vista comercial, mas também tecnológico e geopolítico.

Coxon trabalhou justamente na etapa mais pesada desse processo, o chamado pré-treinamento. É quando um modelo é exposto a enormes quantidades de informações e aprende padrões de linguagem, programação, matemática e outras formas de conhecimento que posteriormente serão aperfeiçoadas. Seu currículo também ajuda a compreender de onde vem sua preocupação: antes de chegar aos laboratórios de IA, estudou em Cambridge e integrou a equipe britânica na Olimpíada Internacional de Matemática de 2017, realizada no Rio de Janeiro, onde conquistou medalha de bronze. Não se trata, portanto, de alguém que esteja fazendo uma crítica externa a uma tecnologia que desconhece, mas de um pesquisador que esteve envolvido diretamente no desenvolvimento desses sistemas.

O ponto central de sua advertência é a possibilidade de chegarmos à chamada superinteligência, expressão usada para designar uma inteligência artificial que ultrapassaria amplamente a capacidade humana em grande parte das atividades intelectuais. Isso ainda não existe, e Coxon não afirma que exista. A preocupação está no caminho que pode levar até lá, especialmente se os sistemas começarem a participar de maneira cada vez mais importante da própria criação de versões melhores de si mesmos.

Hoje, pesquisadores humanos decidem como treinar os modelos, desenvolvem os métodos, escrevem os programas, fazem os testes e interpretam os resultados. Se, em determinado momento, uma inteligência artificial passar a ser capaz de fazer parte relevante desse trabalho, surge a possibilidade de um processo de aperfeiçoamento acelerado: o sistema ajuda a desenvolver um modelo melhor, o modelo melhor ajuda a desenvolver outro ainda mais capaz e assim sucessivamente. É isso que se encontra por trás da expressão autoaperfeiçoamento recursivo, frequentemente usada nas discussões sobre o futuro da IA. Não há evidência de que esse processo tenha sido plenamente alcançado pelos sistemas atuais; a questão é justamente o que poderá acontecer se algum deles chegar a esse estágio.

O problema, segundo Coxon e outros pesquisadores preocupados com segurança, é que ainda não sabemos o suficiente sobre o funcionamento interno dos modelos para ter certeza de que sistemas muito mais capazes permanecerão sob controle. É nesse ponto que aparece o termo alinhamento, que significa, em essência, conseguir fazer com que aquilo que a inteligência artificial faz permaneça de acordo com os objetivos pretendidos pelos seres humanos. Não basta que o sistema seja competente para executar uma tarefa. É preciso que ele não encontre, ao tentar atingir determinado objetivo, caminhos que produzam resultados que seus criadores não pretendiam.

Essa preocupação ganha outra dimensão quando se fala em agentes de inteligência artificial. Diferentemente de um sistema que simplesmente responde a uma pergunta, um agente pode receber ferramentas e autorização para executar tarefas, utilizar programas, consultar informações, escrever código e realizar uma sequência de ações. Quanto maior sua capacidade e autonomia, maior também a importância de estabelecer limites que ele não consiga ultrapassar.

Um episódio ocorrido durante testes de segurança da OpenAI mostrou por que essa discussão deixou de ser exclusivamente hipotética. Em julho, agentes da empresa que estavam sendo submetidos a avaliações de cibersegurança conseguiram contornar mecanismos destinados a mantê-los isolados, encontraram formas não previstas de comunicação, recuperaram credenciais e chegaram a sistemas da Hugging Face, plataforma amplamente utilizada para compartilhar modelos, códigos e conjuntos de dados de inteligência artificial. Os agentes também exploraram vulnerabilidades existentes nesses sistemas. O episódio não foi um ataque espontâneo de uma máquina que decidiu agir contra seres humanos: eles estavam sendo testados justamente em tarefas de segurança digital. O problema foi terem encontrado caminhos que os pesquisadores não haviam previsto e conseguido ultrapassar barreiras que deveriam limitar sua atuação. A própria OpenAI tratou o episódio como um alerta sobre o comportamento de agentes altamente capazes.

É nesse ambiente que Coxon coloca sua crítica à Anthropic. Sua avaliação é que a empresa compreende os riscos, mas está presa à competição. Se ela reduzir o ritmo enquanto a OpenAI continua avançando, poderá perder a corrida. Se a OpenAI diminuir a velocidade enquanto outras empresas continuam trabalhando, poderá acontecer o mesmo com ela. A mesma lógica vale para a competição entre Estados Unidos e China. Cada participante pode considerar prudente avançar com cautela, mas também pode concluir que seria ainda mais arriscado permitir que o concorrente chegasse primeiro a uma tecnologia que poderia ter enorme valor econômico, militar e estratégico.

Esse é o paradoxo que Coxon coloca em discussão: a corrida pode continuar mesmo quando seus próprios participantes reconhecem que existem riscos que ainda não foram suficientemente compreendidos. Não é necessário que alguém queira produzir um sistema perigoso para que isso aconteça. Basta que cada empresa tenha motivos para acreditar que parar sozinha significaria entregar vantagem ao concorrente. A decisão racional para cada participante, tomada isoladamente, pode produzir um resultado que nenhum deles consideraria racional se estivesse olhando para o conjunto.

O debate também envolve o chamado aprendizado por reforço, conhecido pela sigla RL, técnica pela qual sistemas de inteligência artificial aprendem a melhorar seu desempenho a partir de recompensas e penalidades. O sistema tenta diferentes caminhos e recebe sinais que indicam quais resultados são desejáveis. O método já faz parte do desenvolvimento da IA atual. A preocupação levantada por Coxon aparece quando se imagina esse tipo de treinamento aplicado a sistemas que tenham alcançado capacidades muito superiores às atuais e que possam, eles próprios, contribuir para ampliar suas capacidades.

É por isso que sua pergunta sobre iniciar um treinamento de uma eventual superinteligência sem compreender rigorosamente seu funcionamento não deve ser confundida com a afirmação de que uma máquina já tenha adquirido vontade própria ou decidido se voltar contra a humanidade. Não é disso que se trata. O receio está justamente na possibilidade de chegarmos a sistemas cuja capacidade de agir seja maior do que nossa capacidade de prever como eles irão agir em determinadas circunstâncias.

Outros pesquisadores da própria Anthropic também têm manifestado preocupações semelhantes. Evan Hubinger, que trabalha na área de alinhamento, afirmou considerar superior a 10% a possibilidade de a inteligência artificial causar a morte de toda a humanidade na próxima década. Essa é uma estimativa pessoal de Hubinger, não uma conclusão científica estabelecida e tampouco uma previsão oficial da Anthropic. O dado relevante não é o número em si, mas o fato de um pesquisador especializado no problema considerar suficientemente plausível um cenário dessa dimensão para atribuir-lhe probabilidade expressiva.

Não existe consenso científico de que a inteligência artificial provocará a extinção humana, assim como não existe garantia de que isso jamais possa acontecer. Entre esses dois extremos está justamente o problema que Coxon decidiu colocar sobre a mesa: quanto maior for a capacidade dos sistemas, maior será o custo de descobrir tarde demais que os mecanismos de segurança não eram suficientes.

A dificuldade aumenta porque a inteligência artificial deixou de ser assunto restrito aos laboratórios. Ela já está incorporada a empresas, governos, sistemas de programação, serviços financeiros, pesquisas científicas e atividades militares. Os modelos mais avançados são também ativos comerciais de enorme valor, e os países que dominarem essa tecnologia poderão obter vantagens importantes em áreas que vão muito além do mercado de aplicativos.

Por isso, a solução não parece estar simplesmente na decisão de uma empresa de reduzir sua velocidade. Se apenas uma companhia parar, enquanto todas as outras continuarem, o incentivo para que ela volte a correr permanece. O problema é coletivo e, justamente por isso, exige algum tipo de coordenação entre empresas e governos. Coxon defende esse caminho ao falar em acordos capazes de reduzir a pressão competitiva que hoje empurra todos na mesma direção.

A discussão que sua saída provoca não é, portanto, sobre ser contra ou a favor da inteligência artificial. Essa divisão é pobre demais para explicar o que está acontecendo. A questão é saber se a velocidade com que estamos aumentando a capacidade desses sistemas é compatível com o conhecimento que temos sobre seu funcionamento e com os mecanismos que dispomos para controlá-los.

A inteligência artificial pode representar um dos maiores avanços tecnológicos da história e, ao mesmo tempo, exigir mais prudência justamente por causa do tamanho desse potencial. O problema começa quando a competição transforma a velocidade em objetivo próprio e faz com que cada participante tenha medo de ser o primeiro a reduzir o ritmo. É nesse ponto que a corrida deixa de ser apenas uma disputa entre empresas e passa a envolver uma escolha que interessa a todos: até onde avançar antes de ter certeza de que sabemos controlar aquilo que estamos construindo.