agsandrew - stock.adobe.com
Qualcomm trabaja con Meta para permitir IA en dispositivos
Las compañías buscan optimizar la ejecución de Llama 2 directamente en dispositivos móviles y periféricos, sin depender del uso de servicios en la nube.
Qualcomm Technologies, Inc. y Meta están trabajando para optimizar la ejecución de los grandes modelos de lenguaje Llama 2 de Meta directamente en los dispositivos, sin depender únicamente del uso de servicios en la nube. La capacidad de ejecutar modelos generativos de IA como Llama 2 en smartphones, PC, audífonos VR/AR y vehículos permite a los desarrolladores ahorrar en costos de nube y ofrecer a los usuarios experiencias privadas, más fiables y personalizadas.
Como resultado, Qualcomm Technologies planea poner a disposición implementaciones de IA basadas en Llama 2 en los dispositivos para permitir la creación de nuevas aplicaciones de IA. Esto permitirá a clientes, socios y desarrolladores crear casos de uso, como asistentes virtuales inteligentes, aplicaciones de productividad, herramientas de creación de contenidos, entretenimiento y mucho más. Estas nuevas experiencias de IA en los dispositivos con Snapdragon pueden funcionar en áreas sin conectividad o incluso en modo avión.
"Para escalar eficazmente la IA generativa de forma generalizada, la IA necesitará ejecutarse tanto en la nube como en teléfonos inteligentes, computadoras portátiles, vehículos y dispositivos IoT", afirmó Durga Malladi, vicepresidenta ejecutiva y directora general de los negocios de tecnología, planificación y soluciones perimetrales de Qualcomm Technologies.
Meta y Qualcomm Technologies tienen una larga trayectoria de colaboración para impulsar la innovación tecnológica y ofrecer la próxima generación de experiencias de dispositivos de primera calidad. La colaboración actual de las empresas para apoyar el ecosistema Llama abarca esfuerzos de investigación e ingeniería de productos, además de la presencia de Qualcomm Technologies en IA en dispositivos como teléfonos inteligentes, vehículos, auriculares y lentes XR, PC, IoT, etc.
Qualcomm Technologies tiene previsto ofrecer la implementación de IA basada en Llama 2 en dispositivos con Snapdragon a partir de 2024. Los desarrolladores pueden empezar desde ya a optimizar las aplicaciones para la IA en el dispositivo, utilizando Qualcomm AI Stack, un conjunto de herramientas específicas que permiten procesar la IA de forma más eficiente en Snapdragon.