NVIDIA NEMO PARA DESARROLLAR LLMS
24 octubre, 2024Modelos de Lenguaje Extenso (LLMs) con las herramientas de NVIDIA.
A la realidad de cada negocio.
Mumbai (India), 24 de octubre de 2024. Zoho Corporation anunció hoy que aprovechará la plataforma de computación acelerada por IA de NVIDIA, que incluye NVIDIA NeMo, parte del software NVIDIA AI Enterprise, para construir y desplegar sus Modelos de Lenguaje Extenso (LLM, por su sigla en inglés) en sus aplicaciones SaaS.
En el último año, la compañía ha invertido más de 10 millones de dólares en la tecnología y GPUs de IA de NVIDIA, y planea invertir 10 millones adicionales en el próximo año. El anuncio se hizo durante el NVIDIA AI Summit en Mumbai, India.
La compañía prioriza la privacidad del usuario desde el principio para crear modelos que cumplan con fuertes normativas desde su concepción, en lugar de adaptarlos posteriormente. Su objetivo es que las empresas obtengan un retorno de la inversión de manera rápida y efectiva, aprovechando toda la pila de software de IA de NVIDIA y la computación acelerada para aumentar el rendimiento y reducir la latencia.
Su enfoque hacia la IA es multimodal, orientado a obtener inteligencia contextual, que pueda ayudar a los usuarios a tomar decisiones empresariales.
La compañía construye modelos de lenguajes estrechos, pequeños y medianos, que son distintos de los LLMs. Esto proporciona opciones para utilizar modelos de diferentes tamaños, a fin de ofrecer mejores resultados en una variedad de casos. Al usar múltiples modelos, las empresas que no tienen gran cantidad de datos también se benefician de la IA.
A través de esta colaboración, se acelerará los LLMs en la plataforma de computación acelerada de NVIDIA con las GPUs Hopper de NVIDIA, utilizando la plataforma integral NVIDIA NeMo para desarrollar IA generativa personalizada, incluidos LLMs, IA multimodal, visión e IA de voz.
La compañía está probando NVIDIA TensorRT-LLM para optimizar sus LLMs para el despliegue, y ya ha visto un aumento del 60% en el rendimiento y una reducción del 35% en la latencia en comparación con un marco de código abierto utilizado anteriormente. También está acelerando otras cargas de trabajo, como la conversión de voz a texto, en la infraestructura de computación acelerada de NVIDIA.
