Pouco depois do lançamento do OpenAI o1seu primeiro modelo de IA de “raciocínio”, as pessoas começaram a notar um fenômeno curioso. O modelo às vezes começava a “pensar” em chinês, persa ou algum outro idioma – mesmo quando fazia uma pergunta em inglês.

Dado um problema para resolver — por exemplo, “Quantos R existem na palavra 'morango?'” — o1 iniciaria o seu processo de “pensamento”, chegando a uma resposta através da execução de uma série de passos de raciocínio. Se a pergunta fosse escrita em inglês, a resposta final de o1 seria em inglês. Mas o modelo executaria algumas etapas em outro idioma antes de chegar à sua conclusão.

“[O1] comecei a pensar aleatoriamente em chinês no meio do caminho”, um usuário do Reddit disse.

“Por que [o1] começar a pensar aleatoriamente em chinês?” um usuário diferente perguntou em um postar no X. “Nenhuma parte da conversa (mais de 5 mensagens) foi em chinês.”

Por que o1 pro começou a pensar aleatoriamente em chinês? Nenhuma parte da conversa (mais de 5 mensagens) foi em chinês… muito interessante… influência dos dados de treinamento pic.twitter.com/yZWCzoaiit

-Rishab Jain (@RishabJainK) 9 de janeiro de 2025

A OpenAI não forneceu uma explicação para o comportamento estranho do o1 – nem mesmo o reconheceu. Então, o que pode estar acontecendo?

Bem, os especialistas em IA não têm certeza. Mas eles têm algumas teorias.

Vários no X incluindo o CEO da Hugging Face Clément Delangue aludiu ao fato de que modelos de raciocínio como o1 são treinados em conjuntos de dados contendo muitos caracteres chineses. Ted Xiao, pesquisador do Google DeepMind, afirmou que empresas, incluindo a OpenAI, usam serviços de rotulagem de dados chineses de terceiros e que a mudança para o chinês é um exemplo de “influência linguística chinesa no raciocínio”.

“[Labs like] OpenAI e Antrópico utilizam [third-party] serviços de rotulagem de dados para dados de raciocínio em nível de doutorado para ciências, matemática e codificação”, escreveu Xiao em um postar no X. “[F]ou disponibilidade de mão de obra especializada e razões de custo, muitos desses fornecedores de dados estão baseados na China.”

Os rótulos, também conhecidos como tags ou anotações, ajudam os modelos a compreender e interpretar os dados durante o processo de treinamento. Por exemplo, rótulos para treinar um modelo de reconhecimento de imagem podem assumir a forma de marcações em torno de objetos ou legendas referentes a cada pessoa, lugar ou objeto representado em uma imagem.

Estudos demonstraram que rótulos tendenciosos podem produzir modelos tendenciosos. Por exemplo, o anotador médio é mais provável que rotule frases em inglês vernáculo afro-americano (AAVE), a gramática informal usada por alguns negros americanos, como tóxicas, levando os detectores de toxicidade de IA treinados nos rótulos a ver AAVE como desproporcionalmente tóxico.

Outros especialistas, no entanto, não aceitam a hipótese chinesa de rotulagem de dados. Eles apontam que o1 tem a mesma probabilidade de mudar para hindi, Tailandêsou um idioma diferente do chinês enquanto procura uma solução.

Em vez disso, esses especialistas dizem, o1 e outros modelos de raciocínio pode ser simplesmente usando idiomas consideram mais eficiente para alcançar um objetivo (ou alucinando).

“O modelo não sabe o que é a linguagem ou que as línguas são diferentes”, disse Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, ao TechCrunch. “É tudo apenas uma mensagem de texto.”

Na verdade, os modelos não processam palavras diretamente. Eles usam fichas em vez de. Fichas pode ser palavras como “fantástico”. Ou podem ser sílabas, como “fan”, “tas” e “tic”. Ou podem até ser caracteres individuais em palavras – por exemplo, “f”, “a”, “n”, “t”, “a”, “s”, “t”, “i”, “c”.

Assim como a rotulagem, os tokens podem introduzir preconceitos. Por exemplo, muitos tradutores de palavra para token assumem que um espaço em uma frase denota uma nova palavra, apesar do fato de que nem todos os idiomas usam espaços para separar palavras.

Tiezhen Wang, engenheiro de software da startup de IA Hugging Face, concorda com Guzdial que as inconsistências de linguagem dos modelos de raciocínio podem ser explicadas por associações feitas pelos modelos durante o treinamento.

“Ao abraçar todas as nuances linguísticas, expandimos a visão de mundo do modelo e permitimos que ele aprenda com todo o espectro do conhecimento humano”, Wang escreveu em uma postagem no X. “Por exemplo, prefiro fazer contas em chinês porque cada dígito tem apenas uma sílaba, o que torna os cálculos nítidos e eficientes. Mas quando se trata de temas como preconceito inconsciente, mudo automaticamente para o inglês, principalmente porque foi lá que aprendi e absorvi essas ideias pela primeira vez.”

A teoria de Wang é plausível. Afinal, os modelos são máquinas probabilísticas. Treinados em muitos exemplos, eles aprendem padrões para fazer previsões, como “para quem” em um e-mail normalmente precede “pode interessar”.

Mas Luca Soldaini, cientista pesquisador do Instituto Allen de IA, sem fins lucrativos, alertou que não podemos ter certeza. “É impossível fazer backup desse tipo de observação em um sistema de IA implantado devido à opacidade desses modelos”, disse ele ao TechCrunch. “É um dos muitos casos em que a transparência na forma como os sistemas de IA são construídos é fundamental.”

Sem uma resposta da OpenAI, ficamos pensando sobre por que o1 pensa em músicas em francês, mas biologia sintética em mandarim.

Em um anúncio Terça-feira, a Amazon Web Services (AWS), divisão de computação em nuvem da Amazon, disse que planeja investir US$ 5 bilhões no México nos próximos 15 anos como parte de um “compromisso de longo prazo” na região.

Uma parte desse investimento é uma nova região de servidores no México, lançada hoje, AWS México, que permitirá aos clientes da AWS executar aplicativos e atender usuários de data centers da AWS localizados no país. A AWS estima que a construção e a operação contínua da AWS México acrescentarão cerca de US$ 10 bilhões ao PIB do México e apoiarão cerca de 7.000 “empregos equivalentes em tempo integral”.

“Este lançamento marca um passo significativo à medida que continuamos a expandir nossa infraestrutura e oferecer inovação global em aprendizado de máquina, IA e outras tecnologias avançadas para nossos clientes”, disse o vice-presidente de serviços de infraestrutura da AWS, Prasad Kalyanaraman, em um comunicado. “Com acesso a uma infraestrutura segura e confiável, juntamente com um amplo conjunto de tecnologias da AWS, esta nova região da AWS ajudará as empresas em todo o México a se posicionarem no centro da inovação em IA e machine learning.”

O mercado de data centers no México está crescendo. De acordo com segundo uma fonte, espera-se que as empresas tecnológicas gastem mais de 7 mil milhões de dólares em infra-estruturas de centros de dados nos próximos cinco anos, e mais de uma dúzia de projectos estão actualmente em curso.

A cidade de Querétaro, onde está localizada a AWS México, tornou-se o epicentro dos investimentos. O Google lançou um data center em nuvem em Querétaro em dezembro, enquanto a Microsoft criou um conjunto de servidores na cidade em maio passado.

Espera-se que 73 data centers sejam construídos no México nos próximos cinco anos – um volume que os especialistas dizem que terá um impacto sério na rede elétrica do país. De acordo com Segundo a Associação Mexicana de Data Centers (MDCA), um grupo industrial, a nova infraestrutura poderá consumir até 1.492 MWh de energia até 2029, o suficiente para abastecer cerca de 150.000 residências.

Para satisfazer a procura de electricidade, o MDCA estima que o governo mexicano e as empresas terão de investir pelo menos 8,73 mil milhões de dólares para melhorar a rede e os fornecedores de energia do México.

Os defensores do ambiente também levantaram preocupações sobre o impacto a longo prazo dos centros de dados. Os data centers normalmente consomem muita água; eles exigem água não apenas para resfriar componentes como chips, mas para manter um umidade operacional segura. Querétaro sofre com a seca há dois anos, e a estação seca do México em 2025 está esperado durar pelo menos seis meses.

A AWS disse que seu data center AWS México será refrigerado a ar e “não exigirá o uso contínuo de água de resfriamento nas operações”. Microsoft disse que o seu data center na região usaria novas tecnologias para reduzir o uso de água para resfriamento, e o Google se comprometeu a fazer parceria com suprimentos “ambientalmente responsáveis” para reduzir o consumo.

Hackers apoiados pela Coreia do Norte roubaram pelo menos US$ 659 milhões por meio de vários roubos de criptomoedas em 2024, ao mesmo tempo em que empregaram trabalhadores de TI para se infiltrarem em empresas de blockchain como ameaças internas, de acordo com o Japão, a Coreia do Sul e os Estados Unidos em um declaração conjunta rara (PDF) na terça-feira.

O anúncio forneceu a primeira confirmação oficial de que a Coreia do Norte estava por trás da iniciativa de Julho. Hack de US$ 235 milhões do WazirXa maior bolsa de criptomoedas da Índia. A violação de julho de 2024 forçou o WazirX a suspender a negociação e mais tarde reestruturar a empresa.

Outros ataques importantes incluíram um roubo de US$ 308 milhões do DMM Bitcoin do Japão, US$ 50 milhões cada da Upbit e Radiant Capital e US$ 16,13 milhões da Rain Management, de acordo com o comunicado conjunto.

A declaração diz que o Grupo Lazarus, um conhecido grupo ameaçador de hackers norte-coreanos, conduziu ataques de engenharia social e implantou malware para roubo de criptomoedas, como TraderTraidor para violar trocas, ao mesmo tempo que se infiltram em empresas, fazendo com que trabalhadores de TI norte-coreanos se apresentem como candidatos a empregos, de acordo com o comunicado.

“Os Estados Unidos, o Japão e a República da Coreia aconselham as entidades do setor privado, particularmente nas indústrias de blockchain e de trabalho freelance, a rever minuciosamente estes avisos e anúncios para melhor informar as medidas de mitigação de ameaças cibernéticas e mitigar o risco de contratação inadvertida de trabalhadores de TI da RPDC, ”, disseram os governos.

Relatórios anteriores da ONU estimavam que a Coreia do Norte roubou US$ 3 bilhões em criptomoeda entre 2017 e 2023 para financiar os seus programas de armas nucleares sancionados. Dados recentes da Chainalysis mostraram que os hackers norte-coreanos foram responsáveis ​​por 61% de todas as criptomoedas roubadas em 2024, totalizando US$ 1,34 bilhão.