Um grupo de especialistas da OpenAI está denunciando o que dizem ser uma cultura de imprudência e sigilo na empresa de inteligência artificial de São Francisco, que está correndo para construir os sistemas de IA mais poderosos já criados.

O grupo, que inclui nove funcionários atuais e antigos da OpenAI, reuniu-se nos últimos dias em torno de preocupações partilhadas de que a empresa não fez o suficiente para evitar que os seus sistemas de IA se tornassem perigosos.

Os membros dizem que o OpenAI, que começou como um laboratório de pesquisa sem fins lucrativos e se tornou público com o Lançamento de 2022 do ChatGPTestá a dar prioridade aos lucros e ao crescimento ao tentar construir inteligência artificial geral, ou AGI, o termo da indústria para um programa de computador capaz de fazer tudo o que um ser humano consegue.

Eles também afirmam que a OpenAI usou táticas duras para evitar que os trabalhadores expressassem suas preocupações sobre a tecnologia, incluindo acordos restritivos e não depreciativos que os funcionários que estavam saindo foram convidados a assinar.

“A OpenAI está realmente entusiasmada com a construção da AGI e está correndo de forma imprudente para ser a primeira”, disse Daniel Kokotajlo, ex-pesquisador da divisão de governança da OpenAI e um dos organizadores do grupo.

O grupo publicou um carta aberta na terça-feira apelando às principais empresas de IA, incluindo a OpenAI, para estabelecerem maior transparência e mais proteções para os denunciantes.

Outros membros incluem William Saunders, um engenheiro de pesquisa que deixou a OpenAI em fevereiro, e três outros ex-funcionários da OpenAI: Carroll Wainwright, Jacob Hilton e Daniel Ziegler. Vários funcionários atuais da OpenAI endossaram a carta anonimamente porque temiam retaliação da empresa, disse Kokotajlo. Um atual e um ex-funcionário do Google DeepMind, o laboratório central de IA do Google, também assinaram.

Uma porta-voz da OpenAI, Lindsey Held, disse em comunicado: “Estamos orgulhosos de nosso histórico de fornecimento dos sistemas de IA mais capazes e seguros e acreditamos em nossa abordagem científica para lidar com riscos. Concordamos que um debate rigoroso é crucial dada a importância desta tecnologia, e continuaremos a colaborar com governos, sociedade civil e outras comunidades em todo o mundo.”

Um porta-voz do Google não quis comentar.

A campanha chega em um momento difícil para a OpenAI. A empresa ainda está a recuperar de uma tentativa de golpe no ano passado, quando membros do conselho de administração da empresa votaram pela demissão de Sam Altman, o presidente-executivo, devido a preocupações com a sua franqueza. Altman foi trazido de volta dias depois, e o conselho foi refeito com novos membros.

A empresa também enfrenta batalhas legais com criadores de conteúdo que a acusam de roubar obras protegidas por direitos autorais para treinar seus modelos. (O jornal New York Times processou a OpenAI e sua parceira, a Microsoft, por violação de direitos autorais no ano passado.) E a recente revelação de um assistente de voz hiper-realista foi marcado por uma briga pública com a atriz de Hollywood Scarlett Johansson, que alegou que a OpenAI imitou sua voz sem permissão.

Mas nada permaneceu como a acusação de que a OpenAI tem sido muito arrogante em relação à segurança.

No mês passado, dois pesquisadores seniores de IA – Ilya Sutskever e Jan Leike – deixaram a OpenAI sob uma nuvem. Dr. Sutskever, que tinha esteve no conselho da OpenAI e votou pela demissão de Altman, levantou alarmes sobre os riscos potenciais de poderosos sistemas de IA. Sua saída foi vista por alguns funcionários preocupados com a segurança como um revés.

O mesmo aconteceu com a saída do Dr. Leike, que junto com o Dr. Sutskever liderou a equipe de “superalinhamento” da OpenAI, que se concentrava no gerenciamento dos riscos de modelos poderosos de IA. Em um série de postagens públicas ao anunciar sua saída, o Dr. Leike disse acreditar que “a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes”.

Nem o Dr. Sutskever nem o Dr. Leike assinaram a carta aberta escrita por ex-funcionários. Mas suas saídas estimularam outros ex-funcionários da OpenAI a se manifestarem.

“Quando me inscrevi na OpenAI, não assinei esta atitude de ‘Vamos divulgar as coisas para o mundo, ver o que acontece e corrigi-las depois’”, disse Saunders.

Alguns dos ex-funcionários têm ligações com o altruísmo eficaz, um movimento de inspiração utilitarista que se preocupou nos últimos anos em prevenir ameaças existenciais da IA. Os críticos acusaram o movimento de promovendo cenários apocalípticos sobre a tecnologia, como a noção de que um sistema de IA fora de controle poderia assumir o controle e exterminar a humanidade.

Kokotajlo, 31 anos, ingressou na OpenAI em 2022 como pesquisador de governança e foi solicitado a prever o progresso da IA. Ele não era, para dizer o mínimo, otimista.

Em seu trabalho anterior em uma organização de segurança de IA, ele previu que a AGI poderia chegar em 2050. Mas depois de ver a rapidez com que a IA estava melhorando, ele encurtou seus prazos. Agora ele acredita que há 50% de probabilidade de que a AGI chegue até 2027 – em apenas três anos.

Ele também acredita que a probabilidade de a IA avançada destruir ou prejudicar catastroficamente a humanidade – uma estatística sombria muitas vezes abreviada para “p(desgraça)” nos círculos de IA – é de 70 por cento.

Na OpenAI, Kokotajlo percebeu que, embora a empresa tivesse protocolos de segurança em vigor – incluindo um esforço conjunto com a Microsoft conhecido como “conselho de segurança de implantação”, que deveria revisar novos modelos para riscos importantes antes de serem divulgados publicamente – eles raramente parecia desacelerar alguma coisa.

Por exemplo, disse ele, em 2022 a Microsoft começou a testar discretamente na Índia uma nova versão de seu mecanismo de busca Bing que alguns funcionários da OpenAI acreditavam conter uma versão então não lançada do GPT-4, o modelo de linguagem grande de última geração da OpenAI. Kokotajlo disse que foi informado de que a Microsoft não havia obtido a aprovação do conselho de segurança antes de testar o novo modelo, e depois que o conselho tomou conhecimento dos testes – via uma série de relatórios que o Bing estava agindo de forma estranha com os usuários – isso não impediu a Microsoft de lançá-lo de forma mais ampla.

Um porta-voz da Microsoft, Frank Shaw, contestou essas alegações. Ele disse que os testes na Índia não usaram GPT-4 ou qualquer modelo OpenAI. A primeira vez que a Microsoft lançou tecnologia baseada em GPT-4 foi no início de 2023, disse ele, e foi revisada e aprovada por um antecessor do conselho de segurança.

Eventualmente, disse Kokotajlo, ele ficou tão preocupado que, no ano passado, disse a Altman que a empresa deveria “girar para a segurança” e gastar mais tempo e recursos na proteção contra os riscos da IA, em vez de avançar para melhorar seus modelos. Ele disse que o Sr. Altman afirmou concordar com ele, mas que nada mudou muito.

Em abril, ele desistiu. Num e-mail para sua equipe, ele disse que estava saindo porque “perdeu a confiança de que a OpenAI se comportará de maneira responsável” à medida que seus sistemas se aproximam da inteligência de nível humano.

“O mundo não está pronto e nós não estamos prontos”, escreveu Kokotajlo. “E estou preocupado que estejamos avançando independentemente e racionalizando nossas ações.”

OpenAI disse na semana passada que tinha começado a treinar um novo modelo emblemático de IA e que estava a formar um novo comité de segurança e proteção para explorar os riscos associados ao novo modelo e a outras tecnologias futuras.

Ao sair, Kokotajlo recusou-se a assinar a papelada padrão da OpenAI para funcionários que saíam, que incluía uma cláusula estrita de não depreciação que os impedia de dizer coisas negativas sobre a empresa, ou então correriam o risco de ter seu patrimônio adquirido retirado.

Muitos funcionários poderiam perder milhões de dólares se se recusassem a assinar. O patrimônio adquirido de Kokotajlo valia cerca de US$ 1,7 milhão, disse ele, o que equivalia à grande maioria de seu patrimônio líquido, e ele estava preparado para abrir mão de tudo isso.

(Uma pequena tempestade de fogo ocorreu no mês passado depois Vox relatou notícias desses acordos. Em resposta, a OpenAI alegou que nunca recuperou o capital adquirido de ex-funcionários e que não o faria. Altman disse que estava “genuinamente envergonhado” por não ter conhecimento dos acordos, e a empresa disse que removeria cláusulas de não depreciação de sua documentação padrão e isentaria ex-funcionários de seus acordos.)

Em sua carta aberta, Kokotajlo e outros ex-funcionários da OpenAI pedem o fim do uso de acordos de não depreciação e confidencialidade na OpenAI e em outras empresas de IA.

“Os amplos acordos de confidencialidade impedem-nos de expressar as nossas preocupações, exceto às próprias empresas que podem não estar a abordar estas questões”, escrevem.

Eles também pedem que as empresas de IA “apoiem uma cultura de crítica aberta” e estabeleçam um processo de denúncia para que os funcionários levantem anonimamente questões relacionadas à segurança.

Eles contrataram um advogado pro bono, Lawrence Lessig, um proeminente jurista e ativista. Lessig também aconselhou Frances Haugen, ex-funcionária do Facebook que tornou-se um denunciante e acusou essa empresa de colocar os lucros à frente da segurança.

Numa entrevista, Lessig disse que, embora as proteções tradicionais aos denunciantes sejam normalmente aplicadas a denúncias de atividades ilegais, é importante que os funcionários das empresas de IA possam discutir livremente os riscos e potenciais danos, dada a importância da tecnologia.

“Os funcionários são uma linha importante de defesa da segurança e, se não puderem falar livremente sem represálias, esse canal será fechado”, disse ele.

Held, porta-voz da OpenAI, disse que a empresa tinha “meios para os funcionários expressarem suas preocupações”, incluindo uma linha direta anônima de integridade.

Kokotajlo e o seu grupo estão cépticos de que a auto-regulação por si só seja suficiente para se preparar para um mundo com sistemas de IA mais poderosos. Portanto, eles estão pedindo aos legisladores que regulamentem o setor também.

“É preciso haver algum tipo de estrutura de governança transparente e democraticamente responsável responsável por este processo”, disse Kokotajlo. “Em vez de apenas algumas empresas privadas diferentes competindo entre si e mantendo tudo em segredo.”