Não é exagero dizer que a indústria automobilística autônoma está enfrentando um acerto de contas.

Ainda esta semana, Cruise fez o recall de toda a sua frota de carros autônomos após um terrível acidente envolvendo um pedestre que levou o DMV da Califórnia a suspender a empresa de operar robotáxis sem motorista no estado. Entretanto, ativistas em São Francisco saíram às ruas — literalmente — para imobilizar carros sem condutor como forma de protesto contra a utilização da cidade como campo de testes para a tecnologia emergente.

Mas uma startup diz que detém a chave para uma tecnologia de condução autónoma mais segura – e pensa que esta chave convencerá os opositores.

A Ghost Autonomy, uma empresa que desenvolve software de direção autônoma para fabricantes de automóveis parceiras, anunciou esta semana que planeja começar a explorar as aplicações de modelos multimodais de grande linguagem (LLMs) – modelos de IA que podem compreender texto e também imagens – na direção autônoma. Para concretizar isso, o Ghost fez parceria com a OpenAI por meio do Fundo de inicialização OpenAI para obter acesso antecipado aos sistemas OpenAI e recursos do Azure da Microsoft, OpenAI’s colaborador próximoalém de um investimento de US$ 5 milhões.

“Os LLMs oferecem uma nova maneira de entender a ‘cauda longa’, adicionando raciocínio a cenas complexas onde os modelos atuais ficam aquém”, disse o cofundador e CEO do Ghost, John Hayes, ao TechCrunch em uma entrevista por e-mail. “Os casos de uso para análise autônoma baseada em LLM só crescerão à medida que os LLMs se tornarem mais rápidos e mais capazes.”

Mas como exatamente o Ghost está aplicando modelos de IA projetados para explicar imagens e gerar texto para controlar carros autônomos? De acordo com Hayes, o Ghost está testando um software que depende de modelos multimodais para “fazer interpretações de cenas de maior complexidade”. sugerindo decisões de trânsito (por exemplo, “mudar para a faixa da direita”) para hardware de controle de carro com base em imagens de cenas de estrada tiradas por câmeras montadas no carro.

“Na Ghost, trabalharemos para ajustar os modelos existentes e treinar nossos próprios modelos para maximizar a confiabilidade e o desempenho na estrada”, disse Hayes. “Por exemplo, zonas de construção têm componentes incomuns que podem ser difíceis de navegar para modelos mais simples – faixas temporárias, bandeiras segurando sinais que mudam e negociações complexas com outros usuários da estrada. Os LLMs demonstraram ser capazes de processar todas essas variáveis ​​em conjunto com níveis de raciocínio semelhantes aos humanos.”

Os especialistas com quem conversei estão céticos, no entanto.

“[Ghost is] usando ‘LLM’ como palavra-chave de marketing”, Os Keyes, Ph.D. candidato da Universidade de Washington com foco em direito e ética de dados, disse ao TechCrunch por e-mail. “Basicamente, se você aceitar essa proposta e substituir o LLM por ‘blockchain’ e enviá-lo de volta para 2016, seria igualmente plausível – e obviamente uma bobagem.”

Keyes postula que os LLMs são simplesmente a ferramenta errada para a direção autônoma. Eles não foram projetados ou treinados para esse propósito, afirma ele, e podem até ser um menos forma eficiente de resolver alguns dos desafios pendentes na autonomia veicular.

“É como ouvir que seu vizinho está usando um maço de notas do tesouro para sustentar uma mesa”, disse Keyes. “Você poderia faça assim, e certamente é mais sofisticado do que a alternativa, mas… por quê?

Mike Cook, professor sênior do King’s College London, cuja pesquisa se concentra na criatividade computacional, concorda com a avaliação geral de Keyes. Ele observa que os próprios modelos multimodais estão longe de ser uma ciência resolvida; na verdade, o modelo carro-chefe da OpenAI inventa fatos e faz erros básicos que os humanos não fariam, como copiar o texto incorretamente e errar as cores.

“Não acredito que exista uma solução mágica na ciência da computação”, disse Cook. “Simplesmente não há razão para colocar os LLMs no centro de algo tão perigoso e complexo como dirigir um carro. Pesquisadores de todo o mundo já estão lutando para encontrar maneiras de validar e provar a segurança dos LLMs para tarefas bastante comuns, como responder a perguntas dissertativas, e a ideia de que deveríamos aplicar essa tecnologia muitas vezes imprevisível e instável à direção autônoma é, na melhor das hipóteses, prematura – e na pior das hipóteses, equivocado.”

Mas Hayes e OpenAI não serão dissuadidos.

Num comunicado de imprensa, Brad Lightcap, COO da OpenAI e gestor do OpenAI Startup Fund, é citado como tendo dito que os modelos multimodais “têm o potencial de expandir a aplicabilidade dos LLMs a muitos novos casos de uso”, incluindo autonomia e automóvel. Ele acrescenta: “Com a capacidade de compreender e tirar conclusões combinando vídeo, imagens e sons, os modelos multimodais podem criar uma nova maneira de compreender cenas e navegar em ambientes complexos ou incomuns”.

O TechCrunch enviou perguntas por e-mail para Lightcap por meio da assessoria de imprensa da OpenAI, mas não recebeu resposta até o momento da publicação.

Quanto a Hayes, ele argumenta que os LLMs poderiam permitir que sistemas de direção autônomos “raciocinassem sobre cenas de direção de forma holística” e “utilizassem o conhecimento mundial de base ampla” para “navegar em situações complexas e incomuns” – mesmo situações que eles não tinham visto antes. Ele afirma que a Ghost está testando ativamente a tomada de decisões de condução de modelos multimodais por meio de sua frota de desenvolvimento e trabalhando com fabricantes de automóveis para “validar conjuntamente” e integrar novos modelos grandes na pilha de autonomia da Ghost.

“Sem dúvida, os modelos atuais ainda não estão prontos para uso comercial em automóveis”, disse Hayes. “Ainda há muito trabalho a ser feito para melhorar sua confiabilidade e desempenho. Mas é exatamente por isso que existe um mercado para empresas de aplicações específicas que realizam pesquisa e desenvolvimento nesses modelos gerais. Empresas como a nossa, com muitos dados de treinamento e um profundo conhecimento da aplicação, melhorarão drasticamente os modelos gerais existentes. Os próprios modelos também irão melhorar…. Em última análise, a condução autónoma exigirá um sistema completo para proporcionar segurança, com muitos tipos de modelos e funções diferentes. [Multimodal models] são apenas uma ferramenta para ajudar a fazer isso acontecer.”

Isso é muito promissor com tecnologia não comprovada. O Ghost pode entregar? Dado que empresas tão bem financiadas e com bons recursos como a Cruise e a Waymo estão enfrentando grandes reveses ao longo dos anos testando veículos autônomos na estrada, não tenho tanta certeza.