Conecte-se com a gente!

TECNOLOGIA

O Amazon SageMaker HyperPod facilita o treinamento e o ajuste fino de LLMs

Na conferência re:Invent de hoje, o braço de nuvem AWS da Amazon anunciou o lançamento de SageMaker HyperPod, um novo serviço desenvolvido especificamente para treinamento e ajuste fino de grandes modelos de linguagem (LLMs). O SageMaker HyperPod agora está disponível para todos.

A Amazon aposta há muito tempo SageMaker, seu serviço de construção, treinamento e implantação de modelos de aprendizado de máquina, como a espinha dorsal de sua estratégia de aprendizado de máquina. Agora, com o advento da IA ​​generativa, talvez não seja surpresa que ela também esteja se apoiando no SageMaker como produto principal para tornar mais fácil para seus usuários treinar e ajustar LLMs.

Créditos da imagem: AWS

“O SageMaker HyperPod oferece a capacidade de criar um cluster distribuído com instâncias aceleradas otimizadas para treinamento disputado”, disse-me Ankur Mehrotra, gerente geral da AWS para SageMaker, em uma entrevista antes do anúncio de hoje. “Ele fornece as ferramentas para distribuir modelos e dados com eficiência em seu cluster – e isso acelera seu processo de treinamento.”

Ele também observou que o SageMaker HyperPod permite que os usuários salvem pontos de verificação com frequência, permitindo-lhes pausar, analisar e otimizar o processo de treinamento sem ter que recomeçar. O serviço também inclui uma série de dispositivos de proteção contra falhas para que, quando uma GPU falhar por algum motivo, todo o processo de treinamento também não falhe.

“Para uma equipe de ML, por exemplo, ela está apenas interessada em treinar o modelo – para eles, torna-se uma experiência sem toque e o cluster se torna uma espécie de cluster autocurável em certo sentido”, explicou Mehrotra. “No geral, esses recursos podem ajudá-lo a treinar modelos de base até 40% mais rápido, o que, se você pensar no custo e no tempo de lançamento no mercado, é um grande diferencial.”

Créditos da imagem: AWS

Os usuários podem optar por treinar nos chips Trainium personalizados da Amazon (e agora no Trainium 2) ou em instâncias de GPU baseadas em Nvidia, incluindo aquelas que usam o processador H100. A empresa promete que o HyperPod pode acelerar o processo de treinamento em até 40%.

A empresa já tem alguma experiência com o uso do SageMaker para construção de LLMs. O modelo Falcon 180B, por exemplo, foi treinado em SageMaker, usando um cluster de milhares de GPUs A100. Mehrotra observou que a AWS foi capaz de aproveitar o que aprendeu com isso e sua experiência anterior com escalonamento do SageMaker para construir o HyperPod.

Créditos da imagem: AWS

O cofundador e CEO da Perplexity AI, Aravind Srinivas, me disse que sua empresa obteve acesso antecipado ao serviço durante seu beta privado. Ele observou que sua equipe estava inicialmente cética quanto ao uso da AWS para treinar e ajustar seus modelos.

“Não trabalhávamos com a AWS antes”, disse ele. “Havia um mito — é um mito, não é um fato — de que a AWS não tem uma ótima infraestrutura para treinamento de modelos grandes e obviamente não tivemos tempo para fazer a devida diligência, então acreditamos nisso.” Porém, a equipe se conectou com a AWS e os engenheiros pediram que testassem o serviço (de graça). Ele também observou que achou fácil obter suporte da AWS – e acesso a GPUs suficientes para o caso de uso do Perplexity. Obviamente ajudou o fato de a equipe já estar familiarizada com a realização de inferências na AWS.

Srinivas também enfatizou que a equipe do AWS HyperPod se concentrou fortemente em acelerar as interconexões que ligam as placas gráficas da Nvidia. “Eles otimizaram os primitivos – os vários primitivos da Nvidia – que permitem comunicar esses gradientes e parâmetros entre diferentes nós”, explicou ele.

Leia mais sobre AWS re:Invent 2023 no TechCrunch

Fonte: techcrunch.com

Continue lendo
Clique para comentar

Deixe sua resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

TECNOLOGIA

A obsessão da startup EV Harbinger pela simplicidade alimenta a Série B de US$ 100 milhões

Não é um momento fácil para arrecadar dinheiro para uma startup de veículos elétricos, especialmente considerando quantos falharam ou estão perto de falir. Mas com sede em Los Angeles Prenúncio conseguiu isso adotando uma abordagem hiperfocada para eletrificar o transporte comercial.

A recompensa é uma Série B de US$ 100 milhões, co-liderada pelo primeiro investidor da Tesla, Capricorn Investor Group, e Leitmotif, um novo fundo dos EUA co-fundado pelo ex-chefe de fusões e aquisições da Volkswagen. Também participaram da rodada Tiger Global e empresa de risco de mobilidade Manivambos investidores existentes.

“Sabemos como foi o espaço dos EV. Sabemos que está repleto de corpos da década passada”, disse o CEO da Harbinger, John Harris, ao TechCrunch em uma entrevista. “Então, nós realmente tentamos manter nosso escopo muito focado e ter muita confiança no que dizemos que vamos fazer antes de dizermos que vamos fazer.”

Fundada em 2022 por um grupo de ex-funcionários da Canoo e da QuantumScapea Harbinger decidiu fabricar um chassi modular totalmente elétrico para caminhões médios.

Então… fez isso, e só isso.

A Harbinger manteve seu foco em um momento em que os investidores investiram bilhões de dólares em startups que afirmavam que fabricariam centenas de milhares de veículos elétricos ou remodelariam o transporte como o conhecemos. A chegada, por exemplo, começou em um setor semelhante ao Harbinger. Mas ao se tornar público, a Arrival afirmou que iria reinventar a fabricação de veículos com as chamadas microfábricasplanejava fabricar ônibus, desenvolveu um carro de passeio com a Uber e foi potencialmente até trabalhando em uma aeronave.

A chegada agora está falida. A Harbinger, por sua vez, fechou uma Série B e está prestes a entrar em produção.

“A Harbinger é uma equipe incrível de operadores muito experientes, com muitas cicatrizes e experiência relevante de suas funções anteriores”, disse o cofundador da Leitmotif, Jens Wiese, ex-executivo da VW, em entrevista. “Eles estão simplesmente focados neste segmento e acertando o produto.”

Harris disse que focar em um produto não apenas permitiu que sua startup sobrevivesse, mas também ajudou a melhorar o produto.

Como exemplo, Harris apontou as baterias que alimentam o chassi do Harbinger. Em vez de embalá-los em aço estampado, que precisa ser soldado – e pode causar vazamentos que danificam as baterias – a Harbinger investiu em uma prensa de 6.500 toneladas que usa altas pressões para fundir todo o gabinete.

Harris disse que a Harbinger só conseguiu investir em uma ferramenta tão especializada porque não precisava distribuir seus gastos por vários outros produtos. O resultado: gabinetes de baterias que custam apenas um vigésimo do custo normal.

Investimentos como este permitiram à Harbinger tornar o seu chassis mais acessível desde o início, em vez de depender de uma escala massiva para alcançar uma economia unitária atractiva.

E como a Harbinger está essencialmente vendendo para CFOs de empresas de frota, o sócio-gerente da Maniv, Michael Granoff, disse que é uma proposta tentadora.

“O segmento que eles buscam não substituem suas frotas com tanta frequência e, quando pensam nisso, já fazem isso há vários anos – e a matemática fica tão convincente que é simplesmente inevitável, – Granoff disse.

Granoff acredita tanto na oportunidade da Harbinger que sua empresa investiu mais na startup do que qualquer outra empresa. A Série B da Harbinger também é a única rodada de investimentos ao qual o segundo fundo da Maniv se juntou e que a empresa não liderou.

“Basicamente, já entregamos uma economia unitária convincente, e é por isso que entram pessoas que normalmente não estariam neste espaço, [investors] como Tiger”, disse Harris. “Temos economia unitária líder do setor, se você ignorar a Tesla, mas espero que tenhamos margens melhores do que elas, provavelmente em mais 12 a 18 meses.”

Fonte: techcrunch.com

Continue lendo

TECNOLOGIA

O modelo de raciocínio de IA da OpenAI às vezes 'pensa' em chinês e ninguém sabe realmente por quê

Pouco depois do lançamento do OpenAI o1seu primeiro modelo de IA de “raciocínio”, as pessoas começaram a notar um fenômeno curioso. O modelo às vezes começava a “pensar” em chinês, persa ou algum outro idioma – mesmo quando fazia uma pergunta em inglês.

Dado um problema para resolver — por exemplo, “Quantos R existem na palavra 'morango?'” — o1 iniciaria o seu processo de “pensamento”, chegando a uma resposta através da execução de uma série de passos de raciocínio. Se a pergunta fosse escrita em inglês, a resposta final de o1 seria em inglês. Mas o modelo executaria algumas etapas em outro idioma antes de chegar à sua conclusão.

“[O1] comecei a pensar aleatoriamente em chinês no meio do caminho”, um usuário do Reddit disse.

“Por que [o1] começar a pensar aleatoriamente em chinês?” um usuário diferente perguntou em um postar no X. “Nenhuma parte da conversa (mais de 5 mensagens) foi em chinês.”

A OpenAI não forneceu uma explicação para o comportamento estranho do o1 – nem mesmo o reconheceu. Então, o que pode estar acontecendo?

Bem, os especialistas em IA não têm certeza. Mas eles têm algumas teorias.

Vários no X incluindo o CEO da Hugging Face Clément Delangue aludiu ao fato de que modelos de raciocínio como o1 são treinados em conjuntos de dados contendo muitos caracteres chineses. Ted Xiao, pesquisador do Google DeepMind, afirmou que empresas, incluindo a OpenAI, usam serviços de rotulagem de dados chineses de terceiros e que a mudança para o chinês é um exemplo de “influência linguística chinesa no raciocínio”.

“[Labs like] OpenAI e Antrópico utilizam [third-party] serviços de rotulagem de dados para dados de raciocínio em nível de doutorado para ciências, matemática e codificação”, escreveu Xiao em um postar no X. “[F]ou disponibilidade de mão de obra especializada e razões de custo, muitos desses fornecedores de dados estão baseados na China.”

Os rótulos, também conhecidos como tags ou anotações, ajudam os modelos a compreender e interpretar os dados durante o processo de treinamento. Por exemplo, rótulos para treinar um modelo de reconhecimento de imagem podem assumir a forma de marcações em torno de objetos ou legendas referentes a cada pessoa, lugar ou objeto representado em uma imagem.

Estudos demonstraram que rótulos tendenciosos podem produzir modelos tendenciosos. Por exemplo, o anotador médio é mais provável que rotule frases em inglês vernáculo afro-americano (AAVE), a gramática informal usada por alguns negros americanos, como tóxicas, levando os detectores de toxicidade de IA treinados nos rótulos a ver AAVE como desproporcionalmente tóxico.

Outros especialistas, no entanto, não aceitam a hipótese chinesa de rotulagem de dados. Eles apontam que o1 tem a mesma probabilidade de mudar para hindi, Tailandêsou um idioma diferente do chinês enquanto procura uma solução.

Em vez disso, esses especialistas dizem, o1 e outros modelos de raciocínio pode ser simplesmente usando idiomas consideram mais eficiente para alcançar um objetivo (ou alucinando).

“O modelo não sabe o que é a linguagem ou que as línguas são diferentes”, disse Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, ao TechCrunch. “É tudo apenas uma mensagem de texto.”

Na verdade, os modelos não processam palavras diretamente. Eles usam fichas em vez de. Fichas pode ser palavras como “fantástico”. Ou podem ser sílabas, como “fan”, “tas” e “tic”. Ou podem até ser caracteres individuais em palavras – por exemplo, “f”, “a”, “n”, “t”, “a”, “s”, “t”, “i”, “c”.

Assim como a rotulagem, os tokens podem introduzir preconceitos. Por exemplo, muitos tradutores de palavra para token assumem que um espaço em uma frase denota uma nova palavra, apesar do fato de que nem todos os idiomas usam espaços para separar palavras.

Tiezhen Wang, engenheiro de software da startup de IA Hugging Face, concorda com Guzdial que as inconsistências de linguagem dos modelos de raciocínio podem ser explicadas por associações feitas pelos modelos durante o treinamento.

“Ao abraçar todas as nuances linguísticas, expandimos a visão de mundo do modelo e permitimos que ele aprenda com todo o espectro do conhecimento humano”, Wang escreveu em uma postagem no X. “Por exemplo, prefiro fazer contas em chinês porque cada dígito tem apenas uma sílaba, o que torna os cálculos nítidos e eficientes. Mas quando se trata de temas como preconceito inconsciente, mudo automaticamente para o inglês, principalmente porque foi lá que aprendi e absorvi essas ideias pela primeira vez.”

A teoria de Wang é plausível. Afinal, os modelos são máquinas probabilísticas. Treinados em muitos exemplos, eles aprendem padrões para fazer previsões, como “para quem” em um e-mail normalmente precede “pode interessar”.

Mas Luca Soldaini, cientista pesquisador do Instituto Allen de IA, sem fins lucrativos, alertou que não podemos ter certeza. “É impossível fazer backup desse tipo de observação em um sistema de IA implantado devido à opacidade desses modelos”, disse ele ao TechCrunch. “É um dos muitos casos em que a transparência na forma como os sistemas de IA são construídos é fundamental.”

Sem uma resposta da OpenAI, ficamos pensando sobre por que o1 pensa em músicas em francês, mas biologia sintética em mandarim.

Fonte: techcrunch.com

Continue lendo

TECNOLOGIA

AWS promete gastar US$ 5 bilhões no México e lança nova região de servidores no México

Em um anúncio Terça-feira, a Amazon Web Services (AWS), divisão de computação em nuvem da Amazon, disse que planeja investir US$ 5 bilhões no México nos próximos 15 anos como parte de um “compromisso de longo prazo” na região.

Uma parte desse investimento é uma nova região de servidores no México, lançada hoje, AWS México, que permitirá aos clientes da AWS executar aplicativos e atender usuários de data centers da AWS localizados no país. A AWS estima que a construção e a operação contínua da AWS México acrescentarão cerca de US$ 10 bilhões ao PIB do México e apoiarão cerca de 7.000 “empregos equivalentes em tempo integral”.

“Este lançamento marca um passo significativo à medida que continuamos a expandir nossa infraestrutura e oferecer inovação global em aprendizado de máquina, IA e outras tecnologias avançadas para nossos clientes”, disse o vice-presidente de serviços de infraestrutura da AWS, Prasad Kalyanaraman, em um comunicado. “Com acesso a uma infraestrutura segura e confiável, juntamente com um amplo conjunto de tecnologias da AWS, esta nova região da AWS ajudará as empresas em todo o México a se posicionarem no centro da inovação em IA e machine learning.”

O mercado de data centers no México está crescendo. De acordo com segundo uma fonte, espera-se que as empresas tecnológicas gastem mais de 7 mil milhões de dólares em infra-estruturas de centros de dados nos próximos cinco anos, e mais de uma dúzia de projectos estão actualmente em curso.

A cidade de Querétaro, onde está localizada a AWS México, tornou-se o epicentro dos investimentos. O Google lançou um data center em nuvem em Querétaro em dezembro, enquanto a Microsoft criou um conjunto de servidores na cidade em maio passado.

Espera-se que 73 data centers sejam construídos no México nos próximos cinco anos – um volume que os especialistas dizem que terá um impacto sério na rede elétrica do país. De acordo com Segundo a Associação Mexicana de Data Centers (MDCA), um grupo industrial, a nova infraestrutura poderá consumir até 1.492 MWh de energia até 2029, o suficiente para abastecer cerca de 150.000 residências.

Para satisfazer a procura de electricidade, o MDCA estima que o governo mexicano e as empresas terão de investir pelo menos 8,73 mil milhões de dólares para melhorar a rede e os fornecedores de energia do México.

Os defensores do ambiente também levantaram preocupações sobre o impacto a longo prazo dos centros de dados. Os data centers normalmente consomem muita água; eles exigem água não apenas para resfriar componentes como chips, mas para manter um umidade operacional segura. Querétaro sofre com a seca há dois anos, e a estação seca do México em 2025 está esperado durar pelo menos seis meses.

A AWS disse que seu data center AWS México será refrigerado a ar e “não exigirá o uso contínuo de água de resfriamento nas operações”. Microsoft disse que o seu data center na região usaria novas tecnologias para reduzir o uso de água para resfriamento, e o Google se comprometeu a fazer parceria com suprimentos “ambientalmente responsáveis” para reduzir o consumo.

Fonte: techcrunch.com

Continue lendo

Top

Social Media Auto Publish Powered By : XYZScripts.com