(1).jpg)
Los modelos de gran lenguaje (LLM) aman grandes cantidades de memoria tanto, de hecho, que los entusiastas de la IA están recurriendo a las configuraciones multi-GPU para hacer aún más VRAM disponible para sus aplicaciones de IA. Pero como muchos LLM actuales son extremadamente grandes, incluso este enfoque tiene sus límites. A veces, la GPU decidirá hacer uso de la potencia de procesamiento de CPU para estos datos, y cuando lo haga, el rendimiento de su caché de CPU y DRAM entra en juego. Todo esto significa que cuando se trata de la realización de aplicaciones de IA, no es sólo la GPU lo que importa, sino toda la ruta que conecta la GPU a la CPU a la CPU a la E-S morir a los módulos DRAM. De ello se trata, entonces, de que hay oportunidades de aumentar el rendimiento de la IA optimizando estos elementos.
Eso es exactamente lo que hemos encontrado, ya que hemos pasado tiempo en nuestros laboratorios de I&D con las últimas CPUs Ryzen de AMD. AMD acaba de lanzar dos nuevas CPUs Ryzen con AMD 3D V-Cache Technology, la AMD Ryzen 9 9950X3D y Ryzen 9 9900X3D, empujando la serie hacia un nuevo territorio de rendimiento. Después de probar una amplia gama de optimizaciones en una variedad de cargas de trabajo, descubrimos una gama de ajustes que ofrecen beneficios tangibles para los entusiastas de la IA. Ahora, estamos listos para compartir estas optimizaciones con usted a través de una nueva función BIOS: AI Cache Boost. Disponible a través de una placa base ASUS AMD 800 Series y nuestra actualización de firmware más reciente, AI Cache Boost puede acelerar el rendimiento hasta 12,75% cuando estás trabajando con LLMs masivas.
Listo para CPUs AMD Ryzen con tecnología AMD 3D V-Cache
Para acceder a AI Cache Boost, necesitarás un ASUS AMD 800 Serie placa base y una CPU de Granita Ridge Serie Ryzen Ryzen Serie 9000. Abra la utilidad de la UEFI BIOS y navegue a la pestaña Extreme Tweaker. Toggle AI Cache Boost a "Enabled" y te vas a las carreras. Activar AI Cache Boost involucra una variedad de optimizaciones, incluyendo el cierre del reloj de tejido Infinity (FCLK) a 2100 MHz. El impulso de FCLK es una pieza importante del rompecabezas aquí, ya que aumenta el ancho de banda de las transferencias de datos entre núcleos de CPU, caché y memoria, y esas transferencias importan cuando se trabaja con LLM masivas.
Un resumen aparte para cualquier persona que utilice el mismo PC para aplicaciones de IA y juegos. Habilitar AI Cache Boost no afecta significativamente el rendimiento del juego, por lo que debe sentirse libre de dejar la configuración habilitada incluso cuando cambie de un tipo de carga de trabajo a la otra. Para una mayor estabilidad en los juegos, es posible que prefiera bajar manualmente FCLK a un ajuste más conservador después de habilitar AI Cache Boost.
La mejora de la actuación de AI Cache Boost
Para nuestro sistema de pruebas, comenzamos con la placa base ROG Crosshair X870E Hero y lo equipamos con un NVIDIA GeForce RTX 5090 Tarjeta de gráficos y 2 x 16 GB de RAM DDR5. Probamos una variedad de CPUs AMD Ryzen con tecnología AMD 3D V-Cache, incluyendo el AMD Ryzen 9 9950X3D, 9900X3D y 9800X3D. Nuestra primera prueba analiza Geekbench AI con el marco ONNX DirectML y el conjunto de referencia para medir el rendimiento de la GPU.
El aumento de rendimiento que observamos osciló entre el 4% y el 8%. Eso es significativo para cualquiera que dirija flujos de trabajo de IA para una buena parte de su día, especialmente teniendo en cuenta lo fácil que es habilitar IA Cache Boost. Dado que es temprano para las tarjetas gráficas de la serie NVIDIA 50, también comprobamos el rendimiento de AI Cache Boost en hardware de la generación anterior intercambiando la tarjeta gráfica en nuestro sistema de pruebas para un NVIDIA RTX 4090.
A través de los resultados de la prueba de IA de Geekbench, AI Cache Boost proporciona un bache de rendimiento notable, que oscila hasta el 7,57% con el AMD Ryzen 7 9800X3D. Intrigantemente, es el AMD Ryzen 7 9800X3D el que publica los números más altos con AI Cache Boost habilitado.
Vemos un patrón similar con el UL Procyon AI Computer Vision Benchmark, con AI Cache Boost proporcionando elevación del rendimiento en todos los ámbitos. El AMD Ryzen 7 9800X3D disfruta de una mejora de dos dígitos a su puntuación con AI Cache Boostán un aumento de 12.75%, para ser exactos.
Trayendo Turbo Mode a la mezcla
El desempeño sobresaliente del AMD Ryzen 7 9800X3D en los puntos de referencia Geekbench AI y UL Procyon sugiere que estamos viendo un escenario en el que la tecnología AMD 3D V-Cache está marcando más la diferencia que el aumento de los conteos básicos disponibles con el AMD Ryzen 9 9950X3D y 9900X3D. Para investigar esto más, realizamos algunas pruebas adicionales en las que no sólo activamos AI Cache Boost, sino también Turbo Modo de juego.
Esta función BIOS, ya disponible en placas base ASUS AM5, optimiza el rendimiento de hasta dos maneras. La primera sólo se aplica a aquellos con una CPU AMD Ryzen de alta gama con dos Muertes Core Complex (CCD). El segundo CCD permite que el chip traiga una riqueza impresionante de núcleos de CPU y hilos para soportar en flujos de trabajo multihielo, pero las aplicaciones no siempre hacen uso de todos esos recursos. Turbo Game Mode deshabilita el segundo CCD, permitiendo que la CPU opere más eficientemente en ciertos escenarios.
Segundo, Turbo Game Mode desactiva el multihilo simultáneo (SMT). Con SMT activado, cada núcleo en su AMD Ryzen CPU puede operar dos conjuntos de instrucciones al mismo tiempo, pateando su rendimiento multipípico en alta marcha. Esto es invaluable para muchos usuarios, pero si usted está buscando optimizar el rendimiento para un flujo de trabajo que no requiere tantos hilos de CPU, se puede ver mayor rendimiento con SMT deshabilitado. La desactivación de un CCD y un SMT tiene un impacto significativo en el rendimiento multihilo, por lo que recomendamos que los usuarios solo habiliten el modo de juego de Turbo cuando se beneficia de su flujo de trabajo actual.
Con AI Cache Boost y Turbo Game Mode activado, el AMD Ryzen 9 9950X3D toma la delantera en este punto de referencia sobre las otras configuraciones de prueba, publicando un enorme aumento del 19,85% sobre la configuración predeterminada. El excelente ascenso de rendimiento que estamos viendo aquí sugiere que los entusiastas de la IA podrían encontrar valioso para habilitar tanto AI Cache Boost como Turbo Game Mode en circunstancias en las que su flujo de trabajo no aprovecha al máximo el conteo masivo de hilos de su CPU. Ambas opciones están fácilmente disponibles en la pestaña Extreme Tweaker BIOS, por lo que a los usuarios interesados no les resultará difícil en absoluto explorar los beneficios de cambiar ambas características de BIOS simultáneamente.
Patea tus ambiciones de IA hasta una muesca con las placas base de ASUS y AI Cache Boost
El nuevo AMD Ryzen 9 9950X3D y AMD Ryzen 9 9900X3D ofrecen una intrigante propuesta de valor a los entusiastas de los PC de todo tipo. Equipadas con 32 y 24 hilos, respectivamente, están preparados para un rendimiento fantástico de varios hilos desde la puerta y ofrecen los beneficios de la tecnología AMD 3D V-Cache al mismo tiempo.
Las placas base ASUS AMD 800 Series ayudan a garantizar que obtengas la mejor experiencia con estos nuevos chips a través de ajustes opcionales de BIOS que ayudan a optimizar tu experiencia. Para los flujos de trabajo de IA que involucran LLMs, en particular, hemos encontrado que AI Cache Boost tiene mucho que ofrecer y es increíblemente fácil de habilitar. Para asegurarte de que estás sacando el máximo provecho de tu nueva CPU AMD, navega por nuestra completa selección de placas base AM5 que van desde los modelos X870E y X870 hasta las opciones B850 y B840 orientadas al valor.
.png)
Comments