Qualcomm Technologies, Inc. y Meta están trabajando para optimizar la ejecución de los grandes modelos de lenguaje Llama 2 de Meta directamente en el dispositivo, sin depender únicamente del uso de servicios en la nube.
La capacidad de ejecutar modelos generativos de IA como Llama 2 en dispositivos como smartphones, PCs, audífonos VR/AR y vehículos permite a los desarrolladores ahorrar en costes de nube y ofrecer a los usuarios experiencias privadas, más fiables y personalizadas.
Como resultado, Qualcomm Technologies planea poner a disposición implementaciones de IA basadas en Llama 2 en los dispositivos para permitir la creación de nuevas e interesantes aplicaciones de IA.
Esto permitirá a clientes, socios y desarrolladores crear casos de uso, como asistentes virtuales inteligentes, aplicaciones de productividad, herramientas de creación de contenidos, entretenimiento y mucho más. Estas nuevas experiencias de IA en el dispositivo, impulsadas por Snapdragon®, pueden funcionar en áreas sin conectividad o incluso en modo avión.
“Aplaudimos el enfoque de Meta hacia una IA abierta y responsable, y nos comprometemos a impulsar la innovación y reducir las barreras de entrada para desarrolladores de cualquier tamaño, llevando la IA generativa a los dispositivos”, afirma Durga Malladi, vicepresidenta ejecutiva y directora general de los negocios de tecnología, planificación y soluciones edge de Qualcomm Technologies, Inc.
“Para escalar eficazmente la IA generativa en la corriente principal, la IA necesitará ejecutarse tanto en la nube como en teléfonos inteligentes, computadoras portátiles, vehículos y dispositivos IoT“, agrega Malladi.
Meta y Qualcomm Technologies tienen una larga trayectoria de colaboración para impulsar la innovación tecnológica y ofrecer la próxima generación de experiencias de dispositivos de primera calidad. La colaboración actual de las empresas para apoyar el ecosistema Llama abarca esfuerzos de investigación e ingeniería de productos.
El liderazgo de Qualcomm Technologies en IA en dispositivos la sitúa en una posición única para apoyar el ecosistema Llama.
La empresa tiene una huella inigualable en la periferia, con miles de millones de smartphones, vehículos, auriculares y lentes XR, PC, IoT, etc., impulsados por sus soluciones de hardware y software de IA líderes en el sector, lo que brinda la oportunidad de ampliar la IA generativa. Qualcomm Technologies tiene previsto ofrecer la implementación de IA basada en Llama 2 en dispositivos con Snapdragon a partir de 2024.
Los desarrolladores pueden empezar hoy mismo a optimizar las aplicaciones para la IA en el dispositivo, utilizando Qualcomm® AI Stack, un conjunto de herramientas específicas que permiten procesar la IA de forma más eficiente en Snapdragon, haciendo posible la IA en el dispositivo incluso en dispositivos pequeños, finos y ligeros.
