Fundação e império

É impossível dizer quão rapidamente as demandas de computação para treinar esses modelos de IA irão crescer, mas é amplamente aceito que o custo de treinar modelos de ponta continuará aumentando rapidamente no futuro previsível.

Já a complexidade e os obstáculos financeiros para criar um modelo de fundação colocaram essa tarefa além do alcance de todos, exceto um pequeno número de gigantes da tecnologia e startups de IA bem financiadas. Das startups capazes de construir seus próprios modelos, não é coincidência que a maioria tenha conseguido fazê-lo com financiamento e créditos em nuvem das hiperscalers.

Isso impede a maioria das empresas de competir em um espaço que poderia ser extremamente disruptivo, solidificando o controle nas mãos de algumas empresas que já dominam o mercado de infraestrutura da Internet existente. Em vez de representar uma mudança de guarda no mundo da tecnologia, isso corre o risco de se tornar apenas uma nova frente para os velhos soldados da guerra em nuvem.

"Há várias questões com a centralização", disse o Dr. Alex Hanna, diretor de pesquisa do Distributed AI Research Institute (DAIR). "Isso significa que certas pessoas controlam o número de recursos destinados a determinadas coisas. Basicamente, você está restrito aos caprichos da Amazon, Microsoft e Google".

Essas três empresas, juntamente com os centros de dados da Meta, são onde a maioria dos modelos de fundação são treinados. O dinheiro arrecadado pelas startups está sendo, em grande parte, canalizado de volta para essas empresas em nuvem.

"Se você considerar a OpenAI, eles estão construindo os modelos de fundação e muitas empresas diferentes não têm incentivos para construí-los no momento e preferem apenas usar esses modelos", disse Rishi Bommasani, de Stanford.

"Acredito que esse modelo de negócio continuará. No entanto, se você precisar realmente especializar as coisas em seus casos de uso específicos, você está limitado até onde a OpenAI permite que você se especialize."

Dito isso, Bommasani não acredita que "vamos realmente ver um modelo dominar", com novos players como a Amazon começando a entrar nesse espaço. "Já temos uma coleção de 10 a 15 desenvolvedores de modelos de fundação, e não espero que isso diminua para menos de cinco a 10."

Embora o campo ainda esteja relativamente emergente, já estamos vendo surgirem diferentes modelos de negócios. "A DeepMind e o Google praticamente não dão acesso a nenhum de seus melhores modelos", disse ele. "A OpenAI fornece uma API comercial, e a Meta e a Hugging Face geralmente dão acesso total."

Essas posições podem mudar ao longo do tempo (de fato, após nossa entrevista, o Google anunciou uma API para seu modelo PaLM), mas representam uma infinidade de abordagens para compartilhar o acesso a modelos.

Os grandes jogadores (e seus defensores) argumentam que não importa muito se eles são os únicos com os recursos para construir modelos de fundação. Afinal, eles disponibilizam modelos pré-treinados de forma mais ampla, com o trabalho pesado já realizado, para que outros possam ajustar AIs específicas com base neles.

Avançando com a fundação

Entre aqueles que oferecem acesso a modelos de fundação está a Nvidia, uma fabricante de hardware cujas GPUs (unidades de processamento gráfico) se mostraram essenciais para os supercomputadores que executam IA.

Em março de 2023, a empresa lançou a plataforma Nvidia AI Foundations, que permite às empresas construir aplicativos proprietários de IA generativa específicos do domínio, com base em modelos treinados pela Nvidia em seus próprios supercomputadores.

"Obviamente, a vantagem para as empresas é que elas não precisam passar por todo esse processo. Não apenas os custos, mas você precisa fazer uma série de trabalhos de engenharia para testar continuamente os pontos de verificação, testar os modelos. Portanto, isso já está pré-feito para eles", explicou Manuvir Das, vice-presidente de computação empresarial da Nvidia.

Com base no que eles precisam e na experiência interna que possuem, as empresas podem ajustar os modelos de acordo com suas próprias necessidades. "Há poder de processamento necessário para ajustar, mas não é tão intensivo quanto treinar o modelo do zero", disse Das. "Em vez de meses e milhões de dólares, geralmente estamos falando de um dia de poder de processamento - mas por cliente."

Ele também espera que as empresas usem uma mistura de modelos de diferentes tamanhos - sendo os maiores mais avançados e precisos, mas com maior latência e custo para treinar, ajustar e usar.

Embora os grandes modelos que têm ganhado destaque sejam principalmente construídos com base em dados públicos, empresas bem financiadas provavelmente desenvolverão suas próprias variantes com seus próprios dados proprietários.

Isso pode envolver alimentar dados nos modelos, como a família GPT. Mas quem então é proprietário do modelo resultante? Essa é uma pergunta difícil de responder - e pode significar que uma empresa acaba de entregar suas informações mais valiosas para a OpenAI.

"Agora seus dados estão encapsulados em um modelo perpetuamente e são de propriedade de outra pessoa", disse Rodrigo Liang, CEO da empresa de serviços de hardware de IA SambaNova. "Em vez disso, fornecemos uma plataforma de computação que treina com seus dados, produz um modelo que você pode possuir e oferece o mais alto nível de precisão."

É claro que a OpenAI também está passando por mudanças como empresa e está começando a estabelecer relacionamentos com empresas, o que dá aos clientes mais controle sobre seus dados. No início deste ano, foi revelado que a empresa cobra US$ 156.000 por mês para executar seus modelos em instâncias dedicadas.

A abordagem aberta

Enquanto as empresas se preocupam com seus conhecimentos proprietários, há outros preocupados com o quão fechada a indústria está se tornando.

A falta de transparência nos modelos mais recentes dificulta a compreensão do poder e da importância desses modelos.

"A transparência é importante para a ciência, em termos de fatores como replicabilidade e identificação de vieses em conjuntos de dados, identificação de pesos e tentativa de rastrear por que um determinado modelo está produzindo determinados resultados", disse a Dra. Hanna, do DAIR.

"Também é importante em termos de governança e compreensão de onde pode haver possibilidade de intervenção pública", explicou ela. "Podemos descobrir onde pode haver um mecanismo por meio do qual um órgão regulador possa intervir, ou pode haver legislação aprovada para expor a avaliação aberta e auditorias."

Os avanços tecnológicos essenciais que tornaram a IA generativa possível surgiram da comunidade de código aberto, mas agora foram impulsionados ainda mais por corporações privadas que combinaram essa tecnologia com um conjunto de recursos de computação caros.

A EleutherAI é uma das entidades que tenta manter os avanços de código aberto competitivos com os laboratórios de pesquisa corporativos, surgindo de um grupo no Discord em 2020 e se constituindo formalmente como um instituto de pesquisa sem fins lucrativos em janeiro deste ano.

Para construir sua visão e seus grandes modelos de linguagem, eles foram forçados a depender de uma combinação de recursos de computação disponíveis. Eles inicialmente utilizaram os TPUs da Google por meio do programa de pesquisa da empresa de nuvem, mas depois passaram a usar empresas de nuvem de nicho como CoreWeave e SpellML quando o financiamento se esgotou.

A empresa de IA generativa com fins lucrativos Stability AI também doou uma parte de seus recursos de computação do cluster da AWS para a pesquisa contínua do EleutherAI.

"Somos como um peixinho minúsculo na piscina, tentando agarrar qualquer recurso de computação que pudermos", disse Quentin Anthony, da EleutherAI. "Então, podemos disponibilizá-lo para todos, para que os entusiastas possam fazer algo com ele, já que estão sendo completamente deixados para trás. Acho que é uma coisa boa que exista algo que não seja apenas o que algumas empresas querem que seja."

Os atores de código aberto, como a EleutherAI, podem considerar os recursos que possuem como restos e sobras, mas estão usando sistemas que estavam na vanguarda do desempenho de computação quando foram construídos.