SambaNova lanza la plataforma de IA más rápida basada en su chip SN40L

SambaNova Systems, proveedor de los chips y modelos de IA más rápidos y eficientes, ha anunciado SambaNova Cloud, el servicio de inferencia de IA más rápido del mundo habilitado por la velocidad de su chip SN40L AI. Los desarrolladores pueden conectarse hoy de forma gratuita a través de una API -sin lista de espera- y crear sus propias aplicaciones de IA generativa utilizando tanto el modelo más grande y capaz, Llama 3.1 405B, como el rapidísimo Llama 3.1 70B. SambaNova Cloud ejecuta Llama 3.1 70B a 461 tokens por segundo (t/s) y 405B a 132 t/s con total precisión.

«SambaNova Cloud es el servicio de API más rápido para desarrolladores. Ofrecemos una velocidad récord mundial y con una precisión total de 16 bits, todo ello habilitado por el chip de IA más rápido del mundo», afirma Rodrigo Liang, CEO de SambaNova Systems. «SambaNova Cloud está llevando los modelos de código abierto más precisos a la vasta comunidad de desarrolladores a velocidades que nunca antes habían experimentado».

Este año, Meta ha lanzado Llama 3.1 en tres formatos: 8B, 70B y 405B. El modelo 405B es la joya de la corona para los desarrolladores, ya que ofrece una alternativa altamente competitiva a los mejores modelos de código cerrado de OpenAI, Anthropic y Google. Los modelos Llama 3.1 de Meta son los modelos de código abierto más populares, y Llama 3.1 405B es el más inteligente, según Meta, ya que ofrece flexibilidad a la hora de utilizar y desplegar el modelo.

El modelo de mayor fidelidad - SambaNova ejecuta el 405B a 132 T/S

«Los competidores no ofrecen hoy el modelo 405B a los desarrolladores debido a la ineficiencia de sus chips. Los proveedores que funcionan con GPU NVIDIA están reduciendo la precisión de este modelo, perjudicando su exactitud y ejecutándolo a velocidades inusualmente lentas», continúa Liang. «Sólo SambaNova ejecuta el 405B -el mejor modelo de código abierto creado- con la máxima precisión y a 132 tokens por segundo».

Llama 3.1 405B es un modelo extremadamente grande, el mayor modelo fronterizo de peso abierto lanzado hasta la fecha. Su tamaño implica que el coste y la complejidad de su implantación son elevados, y la velocidad a la que se sirve es más lenta en comparación con modelos más pequeños. Los chips SN40L de SambaNova reducen este coste y complejidad en comparación con los H100 de NVIDIA y disminuyen la contrapartida de velocidad del modelo, ya que los chips lo sirven a mayor velocidad.

«Los flujos de trabajo agenéticos están ofreciendo excelentes resultados para muchas aplicaciones. Dado que necesitan procesar un gran número de fichas para generar el resultado final, la rapidez en la generación de fichas es fundamental. El mejor modelo de pesos abiertos actual es Llama 3.1 405B, y SambaNova es el único proveedor que ejecuta este modelo con una precisión de 16 bits y a más de 100 tokens/segundo. Este impresionante logro técnico abre interesantes posibilidades para los desarrolladores que utilicen LLM», declaró el Dr. Andrew Ng, fundador de DeepLearning.AI, socio director general de AI Fund y profesor adjunto del Departamento de Informática de la Universidad de Stanford.

Benchmarks independientes sitúan a SambaNova Cloud como la plataforma de inferencia de IA más rápida

«Artificial Analysis ha evaluado de forma independiente a SambaNova, que ha alcanzado una velocidad récord de 132 tokens de salida por segundo en su punto final de API en la nube Llama 3.1 405B. Esta es la velocidad de salida más rápida disponible para este nivel de inteligencia en todos los puntos finales rastreados por Artificial Analysis, superando la velocidad de los modelos de frontera ofrecidos por OpenAI, Anthropic y Google. Los endpoints Llama 3.1 de SambaNova soportarán casos de uso de IA dependientes de la velocidad, incluso para aplicaciones que requieren respuestas en tiempo real o aprovechan enfoques agénticos para utilizar modelos de lenguaje», dijo George Cameron, cofundador de Artificial Analysis.

La primera plataforma de IA agéntica - SambaNova ejecuta Llama 3.1 70B a 461 T/S

Llama 3.1 70B se considera el modelo de mayor fidelidad para casos de uso de IA agéntica, que requieren altas velocidades y baja latencia. Su tamaño lo hace adecuado para el ajuste fino, produciendo modelos expertos que pueden combinarse en sistemas multiagente adecuados para resolver tareas complejas.

SambaNova Cloud permite a los desarrolladores ejecutar modelos Llama 3.1 70B a 461 t/s y crear aplicaciones agénticas que se ejecutan a una velocidad sin precedentes.

«Como uno de los principales defensores de las soluciones SaaS interactivas de Sales Enablement impulsadas por IA, Bigtincan está encantado de asociarse con SambaNova. Con el impresionante rendimiento de SambaNova, podemos lograr hasta un 300% más de eficiencia en Bigtincan SearchAI, lo que nos permite ejecutar los modelos de código abierto más potentes como Llama en todas sus configuraciones y flujos de trabajo de IA agéntica con una velocidad y eficacia sin precedentes», dijo David Keane, CEO de Bigtincan Solutions, una empresa de SaaS que cotiza en ASX.

«Como plataforma líder en la construcción de agentes de codificación autónomos, Blackbox AI está encantada de colaborar con SambaNova. Al integrar SambaNova Cloud, estamos llevando nuestra plataforma al siguiente nivel, permitiendo a millones de desarrolladores que utilizan Blackbox AI hoy en día construir productos a velocidades sin precedentes, consolidando aún más nuestra posición como la plataforma de referencia para los desarrolladores de todo el mundo», declaró Robert Rizk, CEO de Blackbox AI.

«A medida que la IA pasa de las impresionantes demostraciones a las necesidades empresariales del mundo real, el coste y el rendimiento se sitúan en primer plano», afirmó Alex Ratner, CEO y cofundador de Snorkel AI. «SambaNova Cloud hará que sea más fácil y rápido para los desarrolladores construir con el impresionante modelo 405B de Llama. La inferencia asequible y de alta velocidad de SambaNova, combinada con el desarrollo programático de IA centrado en datos de Snorkel es un modelo fantástico para crear el éxito de la IA.»

La Fast API de SambaNova ha experimentado una rápida adopción desde su lanzamiento a principios de julio. Con SambaNova Cloud, los desarrolladores pueden aportar sus propios puntos de comprobación, cambiar rápidamente entre los modelos Llama, automatizar los flujos de trabajo mediante una cadena de indicaciones de IA y utilizar los modelos existentes ajustados con precisión con una velocidad de inferencia rápida. Se convertirá rápidamente en la solución de inferencia de referencia para los desarrolladores que exigen la potencia de 405B, flexibilidad total y velocidad.

SambaNova Cloud está disponible hoy en tres niveles: Gratuito, Desarrollador y Empresa.

El nivel gratuito (disponible a partir de hoy): ofrece acceso gratuito a la API a cualquier persona que inicie sesión.

La capa de desarrollador (disponible a finales de 2024): permite a los desarrolladores crear modelos con límites de velocidad más elevados con los modelos Llama 3.1 8B, 70B y 405B.

El nivel de empresa (disponible hoy): ofrece a los clientes empresariales la capacidad de escalar con límites de velocidad más altos para alimentar cargas de trabajo de producción.

El impresionante rendimiento de SambaNova Cloud es posible gracias al chip SambaNova SN40L AI. Con su exclusivo diseño de flujo de datos patentado y su arquitectura de memoria de tres niveles, el SN40L puede alimentar modelos de IA de forma más rápida y eficiente.

Fuente: SambaNova