Para a adoção empresarial de IA generativa, os modelos personalizados são fundamentais

O acesso à infraestrutura limita a adoção mais ampla da IA

À medida que o interesse em IA generativa dispara, as operações de treinamento e suporte a modelos se tornaram um desafio no nível de hardware e infraestrutura.

Modelos maciços com bilhões de parâmetros, como GPT-4, exigem uma infraestrutura subjacente altamente otimizada que pode ser cara e difícil de construir. "As coisas realmente caras e difíceis de construir com novos sistemas [são] esses sistemas de memória que são grandes e podem alimentar dados em alta velocidade", disse Danner Stodolsky, vice-presidente sênior de nuvem do provedor de plataforma corporativa de IA SambaNova Systems.

Para muitas organizações, o desafio é equilibrar as necessidades de segurança e conformidade com a computação necessária para executar IA generativa em escala. Stodolsky disse que os atuais clientes da SambaNova estão interessados ​​principalmente em hospedar sistemas em seus próprios data centers, geralmente por motivos de privacidade e segurança, mas a empresa recentemente viu um interesse crescente na nuvem.

“No momento, obter o hardware é surpreendentemente difícil”, disse Dror Weiss, cofundador e CEO do provedor de assistente de codificação AI Tabnine. "Todo mundo quer as GPUs. Eles querem centenas... É mais fácil e rápido para nós implantar tudo em nossa nuvem e fazer com que todos a usem, mas isso não atende aos requisitos de segurança de todos os clientes com os quais trabalhamos."

As implantações de nuvem privada podem ser uma opção para empresas com requisitos de conformidade rígidos que proíbem o envio de dados a terceiros. Por exemplo, Weiss disse que os usuários podem executar o servidor de previsão de AI da Tabnine em suas nuvens virtuais privadas e dentro da rede corporativa, ou mesmo em seu próprio hardware, se tiverem as GPUs certas.

Para certos casos de uso, a latência mais baixa também pode ser um forte argumento a favor de implantações locais. Na sessão "AI Out of the Box", Prabhdeep Singh, vice-presidente de produtos de software e engenharia da SambaNova, deu o exemplo de análise de dados de câmeras 4K para detecção de defeitos em uma linha de montagem.

“A quantidade de dados que chegam e a inferência que precisa acontecer, quase em tempo real, colocam muita pressão nesses sistemas”, disse Singh em sua apresentação. "Você simplesmente não tem largura de banda suficiente para enviar os dados para a nuvem e é por isso que precisa de sistemas locais para poder fazer isso em escala e velocidade."

Avaliação de código aberto versus IA generativa proprietária

Devido em parte a esses desafios de infraestrutura, um número crescente de desenvolvedores e pesquisadores está apoiando modelos de IA de código aberto.

De acordo com o argumento clássico do software de código aberto, os defensores da IA aberta esperam que o conhecimento e as contribuições da multidão levem a modelos melhores. Além disso, grandes modelos de IA generativa são caros para treinar e refinar, colocando-os fora do alcance de muitas organizações menores. Uma abordagem de código aberto pode permitir que usuários sem recursos treinem modelos personalizados para aproveitar os recursos da IA generativa.

Com o código aberto, "você não precisa gerenciar nenhuma infraestrutura para esses modelos generativos complexos", disse Bill Marino, gerente sênior de produto da Stability AI, uma empresa de IA generativa de código aberto, na sessão "A Future for AI". Em vez disso, os usuários podem acessar os modelos de referência por meio de um terminal de API e ajustar um modelo personalizado em seus próprios dados.

Ter uma gama diversificada de modelos abertos pode democratizar o acesso à IA generativa e, ao fazê-lo, reduzir o viés nos sistemas de IA. “Ter uma diversidade de pontos de vista sobre quais coisas priorizar e quais valores devem estar em jogo é realmente crítico para determinar para onde precisamos ir”, disse Margaret Mitchell, cientista-chefe de ética da Hugging Face, na mesma sessão.

Fornecer acesso aberto ao código de sistemas de IA e aos dados de treinamento pode esclarecer as razões para –e idealmente prevenir– a saída de modelos discriminatórios ou prejudiciais. "Fazer isso abertamente dá a todos mais informações sobre por que os modelos tomam as decisões que tomam", disse Marino em uma entrevista.

Mas, apesar das vantagens dos modelos de código aberto, os modelos proprietários podem ser necessários para as empresas. Como a IA generativa é tão nova para muitas empresas, a capacidade de experimentar com risco mínimo é importante para uma adoção bem-sucedida.

"Vamos ser honestos aqui: nenhum de nós realmente sabe como essas coisas serão úteis em nossas empresas individuais", disse Singh em sua apresentação. "Então, primeiro você precisa de um ambiente seguro e uma caixa de areia para brincar com essas coisas, para ver onde elas podem ser realmente úteis."

O uso de ferramentas voltadas para o consumidor para realizar essa verificação acarreta riscos de segurança e privacidade. Nas interações com o ChatGPT, por exemplo, cada entrada torna-se parte dos dados de treinamento. Este é um risco inaceitável para usuários corporativos, que já viram as consequências do uso de informações proprietárias em aplicativos.

“Vemos todos esses problemas com vazamento de dados e proveniência”, disse Stodolsky. "Há muita utilidade em controlar o risco, a proveniência e a compreensão do seu sistema." Por exemplo, fazer um assistente de codificação privado usando o código que a empresa escreveu dá aos usuários muito mais confiança de que a saída do modelo não violará os direitos autorais, disse ele.

Modelos menores adaptados para casos de uso de negócios

Além de abordar questões de segurança e conformidade, os modelos personalizados para empresas individuais também podem abordar a questão da infraestrutura inadequada para oferecer suporte a implantações de IA generativa.

Em vez de usar modelos enormes com vastas bases de conhecimento como GPT-4, as organizações estão cada vez mais começando a considerar sistemas menores e mais leves treinados e especializados em domínios específicos. “Achamos que a grande oportunidade diante de todos está nos modelos menores que são ajustados, realmente focados em casos de uso específicos”, disse Marino em sua apresentação.

Modelos mais generalizados têm suas vantagens, como fazer um trabalho exploratório inicial em um novo domínio. Mas, em muitos casos, eles não são adequados para casos de uso comercial, como responder a perguntas detalhadas em uma central de atendimento ou gerar conteúdo para campanhas de marketing.

Em parte, isso se deve aos requisitos mais rigorosos das empresas quanto à precisão na saída do modelo. Embora uma pessoa que usa o ChatGPT para fins pessoais possa achar irritante respostas imprecisas, um modelo de negócios que falha em tarefas como atendimento ao cliente ou controle de qualidade pode ter repercussões financeiras e de reputação reais.

Ao construir modelos personalizados que são mais fáceis de ajustar e avaliar, "podemos oferecer às pessoas e empresas coisas mais confiáveis [e] compreensíveis e com menos riscos", disse Stodolsky.

Com ferramentas como o ChatGPT, erros factuais ou lógicos podem ser mais difíceis para os usuários reconhecerem porque a IA generativa “produz respostas erradas de uma maneira diferente da que estamos acostumados”, disse ele. Mas se um sistema menor com um propósito claramente definido começa a dar respostas fora de seu domínio pretendido, é muito mais fácil para os usuários verem que o sistema está "enlouquecendo".

Além disso, modelos mais restritos são mais ágeis e fáceis de se adaptar à infraestrutura corporativa existente, facilitando a especialização em dados das organizações —um fator importante para a adoção corporativa. "Para clientes maiores, esse grau de controle, de extensibilidade, de flexibilidade é importante", disse Weiss.

Portanto, uma opção promissora para as empresas é personalizar um modelo de referência para atender às suas necessidades e fluxos de trabalho. O SambaNova, por exemplo, oferece aos clientes acesso a modelos de código aberto, que as empresas podem treinar com seus próprios dados para criar um modelo mais alinhado ao seu caso de uso.

Da mesma forma, disse Weiss, a Tabnine está trabalhando em uma funcionalidade para permitir que os clientes conectem sua base de código à Tabnine para criar uma versão mais personalizada de seu assistente de codificação de IA para usuários corporativos. "Eles ingerem o código privado para Tabnine e, dessa forma, fornecemos dicas de código mais especializadas", disse ele. "Para nós, a frente do código privado é particularmente emocionante."

No futuro, adotar a IA generativa corporativa com segurança e eficácia exigirá uma análise mais detalhada dos casos de uso e riscos de cada negócio. "Todo mundo está entusiasmado com esses modelos generativos agora, e não há dúvida sobre isso", disse Marino. "Mas o que eu acho que está esperando por muitas empresas e outros integradores desses modelos agora é esse processo de avaliação profunda."