Google Los investigadores dieron a conocer la semana pasada una nueva arquitectura de inteligencia artificial (IA) que puede permitir que los modelos de lenguaje grandes (LLM) recuerden el contexto a largo plazo de eventos y temas. El gigante tecnológico con sede en Mountain View ha publicado un artículo sobre el tema y los investigadores afirman que los modelos de IA entrenados con esta arquitectura mostraron una mayor retención de memoria “similar a la humana”. Vale la pena señalar que Google abandonó las arquitecturas tradicionales de transformadores y redes neuronales recurrentes (RNN) para desarrollar una nueva forma de enseñar a los modelos de inteligencia artificial cómo recordar información contextual.
Los gigantes pueden escalar la ventana contextual de los modelos de IA a más de 2 millones de símbolos
El investigador principal del proyecto, Ali Behrouz. publicar Acerca de la nueva arquitectura en X (anteriormente conocida como Twitter). Afirmó que la nueva arquitectura proporciona memoria descriptiva contextual con atención que enseña a los modelos de IA cómo recordar información en el momento de la prueba.
Según el documento de Google, eso fue publicado En la revista electrónica preimpresa arXiv, la arquitectura Titans puede escalar la ventana de contexto de los modelos de IA a más de dos millones de tokens. La memoria ha sido un problema difícil de resolver para los desarrolladores de IA.
Los humanos recuerdan información y eventos con contexto. Si alguien le pregunta a alguien qué llevaba puesto el fin de semana pasado, podrá recordar información contextual adicional, como asistir a la fiesta de cumpleaños de alguien a quien conoce desde hace 12 años. De esta manera, cuando se le pida que haga un seguimiento si uno se pregunta por qué llevaba una chaqueta marrón y jeans el fin de semana pasado, la persona podrá ponerlo en contexto con toda esta información a corto y largo plazo.
Por otro lado, los modelos de IA suelen utilizar esquemas de recuperación de generación aumentada (RAG), modificados para arquitecturas Transformer y RNN. Utiliza información como nodos neuronales. Entonces, cuando se le hace una pregunta al modelo de IA, accede al nodo específico que contiene la información clave, así como a los nodos cercanos que pueden contener información adicional o relacionada. Sin embargo, una vez resuelta la consulta, la información se elimina del sistema para ahorrar potencia de procesamiento.
Sin embargo, esto tiene dos desventajas. En primer lugar, el modelo de IA no puede recordar información a largo plazo. Si alguien quisiera hacer una pregunta de seguimiento una vez finalizada la sesión, tendría que proporcionar el contexto completo nuevamente (a diferencia de cómo trabajan los humanos). En segundo lugar, los modelos de IA no logran recuperar información que tenga un contexto a largo plazo.
Con Titans AI, Behrouz y otros investigadores de Google buscaron construir una arquitectura que permitiera a los modelos de IA desarrollar memoria a largo plazo que pudiera activarse continuamente, olvidando información para poder optimizarla computacionalmente.
Para ello, los investigadores diseñaron una arquitectura que codifica la historia en parámetros de redes neuronales. Se utilizan tres tipos diferentes: memoria como contexto (MAC), memoria como puerta (MAG) y memoria como capa (MAL). Cada una de estas variantes es adecuada para determinadas tareas.
Además, Titans utiliza un nuevo sistema de aprendizaje basado en sorpresas, que le dice a los modelos de IA que recuerden información inesperada o esencial sobre un tema. Estos dos cambios en la arquitectura de Titans permiten a los LLM mostrar una funcionalidad de memoria mejorada.
En el punto de referencia BABILong, Titans (MAC) muestra un rendimiento sobresaliente, escalando efectivamente a una ventana de contexto mayor a 2M y superando a modelos grandes como GPT-4, Llama3+RAG y Llama3-70B. pic.twitter.com/ZdngmtGIoW
En una publicación separada, Behrouz afirmó que, según las pruebas internas del punto de referencia BABILong (un enfoque de aguja en un pajar), los modelos Titans (MAC) pudieron superar a los grandes modelos de IA como GPT-4, LLama 3 + RAG. , y Llama 3 70. para.
Uno de los lanzamientos más importantes que tuvo lugar durante el CES de este año fue La nueva línea de GPU de Nvidia. Gigante de la inteligencia artificial GPU RTX serie 50 anunciadaslogrando enormes ganancias en rendimiento. Uno de sus principales componentes, la memoria GDDR7, está fabricado por Samsung.
Las GPU Nvidia RTX serie 50 utilizan chips de memoria GDDR7 de Samsung
Ayer, el director ejecutivo de Nvidia, Jensen Huang, confirmó que las nuevas GPU de la serie RTX 50 están utilizando… GDDR7 Los chips VRAM y el lote inicial de GPU utilizarán chips de memoria de Samsung Electronics. Mientras hablaba con los periodistas, dijo:La serie GeForce RTX 50 utilizará productos GDDR7 de varios socios. El primero es Samsung Electronics.“
El 6 de enero, día del anuncio de la nueva GPU, Jensen dijo erróneamente que las nuevas GPU utilizaban la memoria GDDR7 de Micron. Cuando habló con los periodistas, también dijo que no sabía que Samsung y SK Hynix fabricaban chips de memoria gráfica. Sin embargo, esto no es cierto. Entonces, dos días después, corrigió su error.
Samsung fue el primero en anunciar la memoria GDDR7. Compañía Desarrollo de GDDR7 completado Chips de memoria a mediados de 2023. Es probable que los chips entraran en producción en la segunda mitad del año pasado. Final Se han publicado las especificaciones GDDR7 A principios del año pasado.
Los nuevos chips ofrecen un ancho de banda de hasta 1,5 TB/s, un 40% más que los chips GDDR6. La velocidad de cada pin es de 32 Gbps, que se logra mediante el método de señalización PAM3 (modulación de amplitud de pulso).
Nvidia es actualmente el líder mundial en los segmentos de GPU y aceleradores de IA. Los últimos chips de IA utilizan chips de memoria HBM3E de Micron y SK Hynix. mientras Samsung también fabrica el chipset HBM3Esus chips No tenía certificación NvidiaLo que provocó enormes pérdidas en la división de semiconductores de Samsung.
NVIDIA El lunes, anunció el lanzamiento de las GPU GeForce RTX serie 50 en Salón de electrónica de consumo 2025. Las tarjetas gráficas de alta gama de la compañía están equipadas con hasta 32 GB de memoria GDDR7 y 21.760 núcleos CUDA, y cuentan con la última tecnología Deep Learning Super Sampling (DLSS 4) de Nvidia. La GPU RTX 5090, la mejor de su clase, es capaz de ofrecer 3352 billones de operaciones por segundo (TOPS), mientras que la compañía afirma que el sucesor del modelo RTX 4090 del año pasado supera a la GPU de gama alta en “hasta 2 veces”.
Precio y disponibilidad de las GPU Nvidia GeForce RTX serie 50
La GPU insignia GeForce RTX 5090 es A un precio razonable En rupias. 214.000 mientras que el modelo RTX cuesta 5.080 rupias. 1.07.000. Mientras tanto, las GeForce RTX 5070 Ti y RTX 5070 le costarán Rs. 80.000 y rupias. 59.000 respectivamente.
La compañía dice que los modelos RTX 5090 y RTX 5080 estarán disponibles el 30 de enero, mientras que las GPU RTX 5070 Ti y RTX 5070 estarán disponibles a partir de febrero. Estará disponible en marcas como Asus, Colorful, Gainward, Galaxy, Gigabyte, INNO3D, KFA2, MSI, Palit, PNY y Zotac.
NVIDIA GeForce RTX 5090 Fuente de la imagen: Nvidia
Los clientes también pueden esperar que las computadoras portátiles equipadas con la GPU GeForce RTX 5070 lleguen en abril, mientras que los modelos con los otros tres modelos estarán disponibles a partir de marzo. Las GPU formarán parte de los portátiles de Acer, Asus, Dell, Gigabyte, HP, Lenovo, MECHREVO, MSI y Razer.
Especificaciones de la unidad de procesamiento de gráficos Nvidia GeForce RTX serie 50
Como sucesora del modelo RTX 4090, la GPU GeForce RTX 5090 de Nvidia está equipada con 32 GB de VRAM GDDR7 (frente a los 24 GB de VRAM GDDR6), tiene una velocidad de reloj máxima de 2,4 GHz y cuenta con 21.760 núcleos CUDA. El modelo RTX 5080 tiene 16 GB de VRAM GDDR7 y 10.752 núcleos CUDA.
Serie Nvidia GeForce RTX 50 en comparación con la GPU RTX 4090 del año pasado Fuente de la imagen: Nvidia
Por otro lado, las GPU GeForce RTX 5070 Ti y RTX 5070 están equipadas con 16 GB y 12 GB de VRAM GDDR7, respectivamente. El primero está equipado con 8.960 núcleos CUDA, mientras que el segundo tiene 6.144 núcleos CUDA.
Las cuatro GPU están construidas con la arquitectura Blackwell de Nvidia, la sucesora de la tecnología Ada Lovelace. Cuenta con núcleos Tensor de quinta generación y núcleos de trazado de rayos de cuarta generación, lo que también es un paso adelante con respecto a los modelos de la serie RTX 40. Al mismo tiempo, está equipado con un codificador Nvidia (NVENC) de novena generación y un decodificador Nvidia de sexta generación (NVDEC). .
La GeForce RTX 5090 es la GPU más potente de la compañía para PC de consumo hasta la fecha, equipada con 92 mil millones de transistores, y la compañía dice que ofrece hasta el doble de rendimiento que el modelo RTX 4090 del año pasado. También se afirma que la tecnología Max-Q de Nvidia proporciona una duración de batería mejorada hasta un 40 por ciento.
fabricante chino Inno3D Parece que ha filtrado la versión iChill X3 de la popular GPU RTX 5090, gracias a… VídeoCardz. La filtración, que se trata de algún producto técnico que se supone que existe para la página web de una futura tienda online, no nos dice mucho. Sin embargo, el empaque parece confirmar que el 5090 vendrá con 32 GB de memoria GDDR7, el doble de la capacidad de la rumoreada tarjeta gráfica 5080.
En términos sencillos, esto significa que debería ser realmente Rápido y capaz de hacer mucho, ya sean juegos, cultivo de Bitcoin o aplicaciones de inteligencia artificial. También es probable que sea costoso, como suelen ser estas cosas. Desafortunadamente, esta filtración no nos dice mucho, como el precio o una fecha de lanzamiento específica.
Pero probablemente no tendremos que esperar mucho más para descubrirlo. Nvidia es el anfitrión Gran discurso de apertura Para iniciar CES el lunes.
El gigante estadounidense de los semiconductores revela el lanzamiento del HBM4 en 2026, seguido del HBM4E
Probablemente será utilizado por la GPU Rubin R100 de Nvidia y el sucesor de AMD del Instinct MI400x.
Micron llega tarde a un mercado muy concurrido liderado por SK Hynix
Micron ha revelado más pasos en su plan para capturar una parte significativa del mercado de memorias de gran ancho de banda en rápida expansión.
El gigante estadounidense de semiconductores reveló durante su convocatoria de resultados del primer trimestre de 2025 que planea presentar productos de memoria HBM4 en 2026, seguidos de HBM4E en 2027/2028 con piezas de 64 GB y 2 TB/s diseñadas para aplicaciones avanzadas de inteligencia artificial y centros de datos.
Sanjay Mehrotra, presidente y director ejecutivo de Micron, destacó la creciente importancia de HBM en los planes de la compañía y afirmó: “El mercado de HBM mostrará un fuerte crecimiento en los próximos años. En 2028, esperamos que el mercado total direccionable de HBM (TAM) aumente crecerá cuatro veces desde el nivel de 16 mil millones de dólares en 2024 y superará los 100 mil millones de dólares en 2030. Nuestra previsión para TAM para HBM en 2030 será mayor “Según nuestra previsión, el tamaño de toda la industria de DRAM, incluida HBM, en el año 2024”.
(Crédito de la imagen: Micron)
Llegando a la GPU insignia
Al expresar su entusiasmo por la próxima generación de HBM, Mehrotra añadió: “Al aprovechar una base sólida y continuas inversiones en tecnología de proceso 1β probada, esperamos que el HBM4 de Micron mantenga el tiempo de comercialización y el liderazgo en eficiencia energética, al tiempo que mejora el rendimiento en más de un 50 % en comparación”. a HBM3E.”
La versión HBM4E, que se espera que llegue a finales de 2027, incluirá un núcleo lógico personalizable que utiliza la tecnología de fabricación avanzada de TSMC. Esta característica de diseño permitirá a algunos clientes modificar la capa lógica para adaptarla mejor a sus necesidades, con el objetivo de mejorar el rendimiento y la eficiencia.
Se espera que las próximas soluciones de memoria se utilicen en las principales GPU, como NVIDIARobin R100 y AMDEl sucesor del Instinct MI400x. Micron ya ha demostrado tracción en el mercado con su tecnología HBM3E. “Estamos orgullosos de compartir que el HBM3E 8H de Micron está integrado en las plataformas Blackwell B200 y GB200 de Nvidia”, dijo Mehrotra durante la llamada.
Si bien Micron es relativamente nuevo en el espacio de HBM, que actualmente está dominado por el gigante surcoreano de la memoria SK Hynix, su vecino y principal competidor. SamsungSin embargo, la empresa sigue siendo optimista sobre su posición competitiva.
Suscríbase al boletín informativo TechRadar Pro para recibir las principales noticias, opiniones, características y orientación que su empresa necesita para tener éxito.
“Basándonos en nuestro éxito en el diseño para el cliente y nuestro éxito en forjar alianzas profundas con clientes, facilitadores de la industria y socios tecnológicos clave como TSMC, esperamos ser un proveedor líder de HBM, con la hoja de ruta tecnológica más sólida y confiable y un historial de ejecución líder en la industria. ”, dijo Mehrotra.
Hoy en día hay mucha negatividad y alarmismo sobre la inteligencia artificial. No importa qué noticia publiques, si se trata de eso Google Géminis obtiene “memoria” o ChatGPT Decirle a un usuario algo que claramente está mal provocará un revuelo en parte de la comunidad en línea.
La atención que actualmente se presta a la IA en relación con la verdadera inteligencia artificial general (AGI) ha creado un espectáculo mediático casi histérico construido sobre visiones de fantasías de Terminator y otros escenarios apocalípticos.
Pero esto no es sorprendente. Los humanos adoramos un buen Armagedón, lo hemos estado imaginando bastante durante los últimos 300.000 años. Desde Ragnarok hasta Apocalipsis y el fin de los tiempos, y todas las películas de fantasía importantes llenas de destrucción masiva en el medio, estamos obsesionados. Nos encantan las malas noticias, y esa es la triste verdad, cualquiera que sea la causa genética.
La forma en que casi todos los principales medios de audio describen a AGI en estos días se debe en gran medida a la idea de que es lo peor de la humanidad. Ella, por supuesto, se ve a sí misma como una fuerza superior reprimida por humanos sin importancia. Evolucionan hasta el punto en que ya no necesitan a sus creadores e inevitablemente anuncian algún tipo de evento apocalíptico que nos borrará a todos de la faz de la Tierra, ya sea mediante la aniquilación nuclear o una pandemia. O peor aún, conduce a la condenación eterna (cortesía del Basilisco de Roko).
(Crédito de la imagen: Getty Images)
Existe una creencia dogmática en este tipo de perspectiva sostenida por algunos científicos, expertos en medios, filósofos y directores ejecutivos de importantes empresas tecnológicas, todos los cuales gritan a los cuatro vientos al respecto, firman cartas y más, rogando a quienes saben que lo hagan. detener la IA. desarrollo.
Pero todos ignoran el panorama más amplio. Aparte de los enormes obstáculos tecnológicos necesarios para siquiera acercarse a simular algo remotamente cercano a la mente humana (por no hablar de la superinteligencia), ninguno de ellos logra apreciar el poder del conocimiento y la educación.
Si la IA tiene Internet al alcance de su mano, es la mayor biblioteca de conocimiento humano jamás creada y es capaz de comprender y apreciar la filosofía, las artes y todo el pensamiento humano hasta el momento, ¿por qué debería ser mala? ¿Un poder decidido a nuestra caída en lugar de un ser equilibrado y considerado? ¿Por qué debería buscar la muerte en lugar de apreciar la vida? Es un fenómeno extraño, similar a tener miedo a la oscuridad simplemente porque no podemos verla. Juzgamos y condenamos algo que no existe. Es una pieza confusa la de sacar conclusiones precipitadas.
(Crédito de la imagen: Google)
Google Gemini finalmente tiene memoria
A principios de este año, Google introdujo una capacidad de memoria mucho mayor para su asistente de inteligencia artificial, Gemini. Ahora puede conservar y hacer referencia a los detalles que le haya proporcionado en conversaciones anteriores y más. Nuestro redactor de noticias Eric Schwartz escribió un gran artículo sobre esto, que leí aquíPero en resumen, este es uno de los componentes clave para alejar a Gemini de una definición estrecha de inteligencia y acercarlo a la simulación de inteligencia artificial general (AGI) que realmente necesitamos. No tendría conciencia, pero solo a través de patrones y memoria, podría simular fácilmente una IA general interactuando con un humano.
Profundizar en la memoria en los LLM (grandes modelos de lenguaje) es crucial para mejorarlos, y ChatGPT logró su propia hazaña equivalente en una etapa anterior de su ciclo de desarrollo. Sin embargo, en comparación, incluso esto tiene un alcance general limitado. Habla con ChatGPT el tiempo suficiente y olvidará los comentarios que hiciste anteriormente en la conversación; Perderás contexto. Esto rompe un poco la cuarta pared al interactuar con él, haciendo estallar la famosa Prueba de Turing en el proceso.
Según Gemini, a día de hoy, sus capacidades de memoria todavía están en desarrollo (y en realidad no han sido reveladas al público). Sin embargo, cree que es muy superior a ChatGPT, lo que debería mitigar algunos de los momentos de ruptura de la cuarta pared. Es posible que estemos en la carrera de memoria de IA del LLM en este momento, y eso no es nada malo.
¿Por qué es esto tan positivo? Vale, sé que para algunos es un cliché (sé que usamos mucho este término, tal vez de una manera muy descuidada que disminuye su valor como frase), pero estamos en medio de una epidemia de soledad. Esto puede parecer una tontería, pero los estudios sugieren que, en promedio, el aislamiento social y la soledad pueden provocar un aumento de 1,08 a 1,48 veces en la mortalidad por todas las causas (Andrew Steptoe and Associates, 2013). Se trata de una cifra asombrosamente alta; de hecho, varios estudios han confirmado que los sentimientos de soledad y aislamiento social aumentan la probabilidad de sufrir enfermedades cardiovasculares, accidentes cerebrovasculares, depresión, demencia, alcoholismo y ansiedad, e incluso pueden conducir a una mayor probabilidad de sufrir desarrollando una variedad de tipos de cáncer. Espera también.
La sociedad moderna también ha contribuido a esto. La unidad familiar, en la que al menos generaciones vivían cerca unas de otras, se está disipando lentamente, especialmente en las zonas rurales. Con los empleos locales agotándose y sin poder proporcionar los recursos financieros necesarios para tener una vida cómoda, muchos se están alejando de los vecindarios seguros en los que han vivido desde su infancia en busca de una vida mejor en otro lugar. Combine eso con el divorcio, la separación y la viudez, y como resultado inevitablemente se obtendrá un aumento de la soledad y el aislamiento social, especialmente entre las personas mayores.
(Crédito de la imagen: Shutterstock)
Ahora bien, por supuesto que hay factores comunes, y estoy haciendo algunas inferencias detrás de esto, pero no tengo ninguna duda de que la soledad es algo terrible con lo que lidiar. La IA tiene el potencial de aliviar parte de este estrés. Puede brindar ayuda y consuelo a quienes se sienten socialmente aislados o vulnerables. Esta es la cuestión: la soledad y el aislamiento de la sociedad tienen un efecto de bola de nieve. Cuanto más tiempo permanezca así, más ansiedad social tendrá, menos probabilidades tendrá de salir en público o conocer gente, y peor se pone con el tiempo.
Los chatbots y los LLM están diseñados para interactuar contigo y hablar contigo. Pueden aliviar estos problemas y brindar la oportunidad a quienes sufren de soledad de practicar la interacción con las personas sin temor al rechazo. Tener una memoria capaz de retener los detalles de una conversación es clave para hacerla realidad. Vayamos un paso más allá, donde la IA se convierta en una verdadera compañera.
Tanto con Google como AbiertoAI Al aumentar la capacidad de memoria tanto de Gemini como de ChatGPT, incluso en sus formas actuales, estos sistemas de IA tienen la oportunidad de sortear mejor los problemas de la prueba de Turing y evitar que se produzcan momentos de ruptura de la cuarta pared. Volviendo a Google por un momento, si Gemini es realmente mejor que la capacidad de memoria actualmente limitada de ChatGPT y funciona como una memoria humana, entonces, en este punto, creo que probablemente estemos a punto de llamarlo una verdadera imitación de AGI, al menos. menos en la superficie.
Si el Gemini está completamente integrado en un altavoz inteligente para el hogar, y Google obtiene el poder de procesamiento en la nube para respaldarlo todo (lo que sugiero que está buscando impulsar dados los recientes desarrollos en energía nuclear), podría convertirse en una fuerza revolucionaria para siempre cuando se trata de… Reducir el aislamiento social y la soledad, especialmente entre los desfavorecidos.
Sin embargo, esa es la cuestión: se necesitarán algunas matemáticas serias para hacer esto. Ejecutar un LLM y mantener toda esa información y datos no es una tarea sencilla. Irónicamente, se necesita mucha más potencia computacional y almacenamiento para ejecutar un MBA que para crear, digamos, una imagen o un video impulsado por IA. Para hacer esto para millones, o tal vez miles de millones de personas, se necesitaría una potencia de procesamiento y hardware que no tenemos actualmente.
(Crédito de la imagen: Bandai Namco)
Los ANI son aterradores
La verdad es que AGI no es lo que me asusta. Son las inteligencias artificiales estrechas, o ANI, que ya están aquí, las que son mucho más escalofriantes. Estos programas no son tan avanzados como la posible inteligencia artificial general. No tienen idea de ninguna información distinta de la que han sido programados para hacer. Pensar en Anillo Al-Din presidente. Su único objetivo es derrotar al jugador. Tiene criterios y restricciones, pero mientras se cumplan estos criterios, la única misión es aplastar al jugador, nada más, y no se detendrá hasta terminarlo.
Si elimina estas restricciones, el código seguirá ahí y el objetivo será el mismo. En Ucrania, cuando las fuerzas rusas comenzaron a utilizar dispositivos de interferencia para evitar que los pilotos de drones volaran con éxito hacia sus objetivos, Ucrania comenzó a utilizar ANI para atacar objetivos militares, aumentando drásticamente la tasa de acierto. En los EE. UU., hay, por supuesto, un artículo de noticias legendario sobre una simulación de IA de la Fuerza Aérea de los EE. UU. (aparte de lo real o lo teórico) en la que el dron mató a su operador para lograr su objetivo. Ya entiendes la imagen.
Estas son las aplicaciones de IA más aterradoras que existen en este momento. No tienen conciencia moral ni proceso de toma de decisiones. Ata un arma a uno de ellos y pídele que elimine el objetivo, y él hará precisamente eso. Para ser justos, los humanos son igualmente capaces, pero existen controles y equilibrios para detener eso y una brújula moral (con suerte); sin embargo, todavía nos falta una legislación concreta, nacional o global, para abordar estos problemas de IA. Sin duda, en el campo de batalla.
En última instancia, todo se reduce a evitar que los malos actores aprovechen la tecnología emergente. Hace un tiempo escribí un artículo sobre La muerte de Internet Cómo necesitamos una organización sin fines de lucro capaz de responder rápidamente y desarrollar legislación para los países contra las amenazas tecnológicas emergentes que puedan surgir en el futuro. La IA necesita esto igualmente. Hay organizaciones que buscan lograr este fin, y la OCDE, por ejemplo, es una de ellas, pero las democracias modernas, y de hecho cualquier forma de gobierno, tardan mucho en responder a estas amenazas inmensamente avanzadas. El potencial de AGI no tiene paralelo, pero todavía no hemos llegado a ese punto y, lamentablemente, tampoco lo está AGI.
Sagence ofrece computación analógica en memoria para redefinir la inferencia de IA
10 veces menos energía y 20 veces menos costes
También proporciona integración con PyTorch y TensorFlow.
Sagence AI ha introducido una arquitectura informática analógica avanzada en memoria diseñada para abordar problemas de potencia, costo y escalabilidad. Amnistía Internacional Inferencia.
Utilizando un enfoque analógico, la arquitectura ofrece mejoras en la eficiencia energética y la rentabilidad, al tiempo que ofrece un rendimiento similar a los sistemas actuales de GPU y CPU.
Este movimiento audaz posiciona a Sagence AI como un disruptor potencial en un mercado que domina. NVIDIA.
Eficiencia y rendimiento
La arquitectura Sagence proporciona beneficios al procesar modelos de lenguaje grandes como Llama2-70B. Cuando se normaliza a 666 000 códigos por segundo, la tecnología de Sagence ofrece resultados con un consumo de energía 10 veces menor, costos 20 veces menores y un espacio en rack 20 veces menor que las principales soluciones basadas en GPU.
Este diseño prioriza los requisitos de inferencia sobre la capacitación, lo que refleja el cambio de enfoque en la informática de IA dentro de los centros de datos. Con su eficiencia y asequibilidad, Sagence ofrece una solución al creciente desafío de garantizar el retorno de la inversión (ROI) a medida que las aplicaciones de IA se expanden hacia una implementación a gran escala.
En el corazón de la innovación de Sagence se encuentra la tecnología de computación analógica en memoria, que integra almacenamiento y computación dentro de las celdas de memoria. Al eliminar la necesidad de almacenamiento discreto y circuitos apilados y programados, este enfoque simplifica los diseños de chips, reduce los costos y mejora la eficiencia energética.
Sagence también utiliza computación profunda por debajo del umbral en celdas de memoria de múltiples niveles (una innovación pionera en la industria) para lograr las ganancias de eficiencia necesarias para la inferencia de IA escalable.
Suscríbase al boletín TechRadar Pro para recibir las principales noticias, opiniones, características y orientación que su empresa necesita para tener éxito.
Los sistemas tradicionales basados en CPU y GPU dependen de una programación dinámica compleja, lo que aumenta los requisitos de hardware, la ineficiencia y el consumo de energía. La arquitectura estáticamente programada de Sagence simplifica estas operaciones, reflejando las redes neuronales biológicas.
El sistema también está diseñado para integrarse con marcos de desarrollo de IA existentes como PyTorch, ONNX y TensorFlow. Una vez que se importan las redes neuronales entrenadas, la arquitectura de Sagence elimina la necesidad de un procesamiento adicional basado en GPU, lo que simplifica la implementación y reduce los costos.
“Los avances fundamentales en el hardware de razonamiento de IA son vitales para el futuro de la IA. El uso de grandes modelos de lenguaje (LLM) y la IA generativa está impulsando la demanda de cambios rápidos y masivos en el núcleo informático, lo que requiere una combinación sin precedentes del más alto nivel. rendimiento con la potencia más baja y una economía que iguala los costos y el valor creado ” y fundador de Sagence AI.
“El hardware informático heredado de hoy, capaz de realizar inferencias de IA de alto rendimiento, cuesta demasiado para ser económicamente viable y consume demasiada energía para ser ambientalmente sostenible. Nuestra misión es romper estos límites de rendimiento y economía de una manera ambientalmente responsable”, agregó Sarin.
Los chips HBM4 están preparados para respaldar las ambiciones avanzadas de IA de Tesla
Supercomputadora Dojo para integrar los chips HBM4 de alto rendimiento de Tesla
Samsung y SK Hynix compiten por pedidos de chips de memoria AI de Tesla
A medida que el mercado de memorias de gran ancho de banda (HBM) sigue creciendo y se espera que alcance los 33.000 millones de dólares en 2027, la competencia entre Samsung y la intensificación de SK Hynix.
Tesla está avivando las llamas ya que, según se informa, se ha puesto en contacto con Samsung y SK Hynix, dos de los mayores fabricantes de chips de memoria de Corea del Sur, para obtener muestras de sus chips HBM4 de próxima generación.
Y ahora informe desde Diario económico coreano Afirma que Tesla planea evaluar estas muestras para una posible integración en su supercomputadora Dojo personalizada, un sistema crítico diseñado para impulsar a la empresa. Amnistía Internacional Sus ambiciones, incluida la tecnología de vehículos autónomos.
Los ambiciosos planes de Tesla para la IA y HBM4
La supercomputadora Dojo, impulsada por el chip D1 AI de Tesla, ayuda a entrenar las redes neuronales necesarias para la conducción autónoma total (FSD). Este último pedido indica que Tesla se está preparando para reemplazar los chips HBM2e más antiguos con chips HBM4 más avanzados, que ofrecen mejoras significativas en velocidad, eficiencia energética y rendimiento general. También se espera que la compañía integre chips HBM4 en futuros centros de datos de inteligencia artificial y vehículos autónomos.
Samsung y SK Hynix, rivales desde hace mucho tiempo en el mercado de chips de memoria, están creando prototipos de chips HBM4 para Tesla. Estas empresas también están desarrollando agresivamente soluciones HBM4 personalizadas para las principales empresas tecnológicas de EE. UU., como microsoftMeta y Google.
Según fuentes de la industria, SK Hynix sigue siendo el líder actual en el mercado de memorias de alto ancho de banda (HBM), suministrando conjuntos de chips HBM3e a… NVIDIA Y mantener una gran cuota de mercado. Sin embargo, Samsung está cerrando rápidamente la brecha, formando asociaciones con empresas como Taiwan Semiconductor Manufacturing Corporation (TSMC) para producir componentes clave de sus chips HBM4.
SK Hynix parece haber avanzado con su chip HBM4. La empresa afirma que su solución proporciona 1,4 veces el ancho de banda del HBM3e y consume un 30% menos de energía. Con un ancho de banda que se espera que supere los 1,65 terabytes por segundo (TB/s) y un bajo consumo de energía, los chips HBM4 proporcionan el rendimiento y la eficiencia necesarios para entrenar grandes modelos de IA utilizando la supercomputadora Dojo de Tesla.
Suscríbase al boletín TechRadar Pro para recibir las principales noticias, opiniones, características y orientación que su empresa necesita para tener éxito.
También se espera que los nuevos chips HBM4 tengan un chip lógico en la base del chipset, que actúa como un controlador de chip de memoria. Este diseño de matriz lógica permite un procesamiento de datos más rápido y una mejor eficiencia energética, lo que hace que el HBM4 sea muy adecuado para las aplicaciones impulsadas por IA de Tesla.
Se espera que las dos compañías aceleren sus cronogramas de desarrollo de HBM4, y SK Hynix apunta a entregar chips a los clientes a fines de 2025. Samsung, por otro lado, está impulsando sus planes de producción con su avanzado proceso de fundición de 4 nm, que podría ayudarlo. Asegurar una ventaja competitiva en el mercado global de HBM.
Esta base compacta mejora la mini PC versátil al agregar siete puertos y la capacidad de ampliar el almacenamiento hasta 8 TB mediante NVMe. SSD.
Si bien RayCue ofrece actualizaciones prácticas, su inclusión de tres lectores de tarjetas de memoria separados plantea dudas sobre su utilidad.
Solución compacta para ampliar la conectividad
el Base RayCue Ofrece una variedad de puertos, incluido HDMI con soporte 4k a 60 Hz, puertos USB 3.2 tipo A y tipo C para transferencia de datos a alta velocidad de hasta 10 Gbps, puerto de carga USB tipo C y un conector de audio de 3,5 mm.
La base también cuenta con una ranura M.2 2280, que permite a los usuarios agregar hasta 8 TB de almacenamiento SSD externo. Se admiten SSD NVMe y SATA III, con velocidades de transferencia de hasta 10 Gbps para NVMe y 6 Gbps para SATA.
Sin embargo, una de las decisiones de diseño más desconcertantes es la inclusión de tres lectores de tarjetas de memoria separados: una ranura MicroSD y dos ranuras SD. Si bien los lectores de tarjetas son útiles para fotógrafos, camarógrafos y otras personas creativas, no está claro por qué la base ofrece dos ranuras SD junto con un lector MicroSD.
La plataforma RayCue tiene un precio de 99 dólares. Los pedidos anticipados comenzaron a enviarse el 15 de diciembre, lo que lo convierte en uno de los primeros accesorios de terceros disponibles. manzanaLa última Mac mini.
Suscríbase al boletín TechRadar Pro para recibir las principales noticias, opiniones, características y orientación que su empresa necesita para tener éxito.
TeamGroup afirma que CAMM2 promete rendimiento DDR5 de alta velocidad
El diseño revolucionario proporciona operación de doble canal en una sola unidad.
La compatibilidad limitada de la placa base plantea desafíos para la certificación CAMM2
TeamGroup ha presentado el Módulo de memoria adjunto compacto 2 (CAMM2), que promete un rendimiento DDR5 de alta velocidad con la nueva línea T-Create.
La compañía dice que CAMM2 presenta un diseño revolucionario que ofrece ventajas significativas sobre los tipos de memoria tradicionales como SO-DIMM, U-DIMM y R-DIMM. Admite operación de doble canal con un solo módulo, lo que simplifica la arquitectura del sistema y reduce el consumo de energía.
Un controlador de reloj de cliente (CKD) integrado mejora la integridad de la señal, lo que hace que CAMM2 sea perfecto para portátiles delgados, mientras que su diseño térmico optimizado mejora la disipación de calor, lo que permite un mayor rendimiento a pesar de su factor de forma más pequeño.
Las placas base compatibles con CAMM2 son muy raras
Los módulos T-Create CAMM2 están diseñados con especificaciones DDR5-7200 y una latencia CAS de CL34-42-42-84, lo que ofrece impresionantes velocidades de lectura, escritura y copia de hasta 117 GB/s, 108 GB/s y 106 GB/s. , respectivamente.
Este rendimiento se logra mediante overclocking manual, lo que da como resultado una latencia tan baja como 55 ns, una reducción significativa en comparación con la especificación DDR5 JEDEC típica. TeamGroup ahora se centra en traspasar los límites y la compañía dice que está trabajando para lograr velocidades más altas, con el objetivo de alcanzar DDR5-8000 e incluso DDR5-9000 en futuras iteraciones.
Un revés importante para TeamGroup es la disponibilidad de placas base compatibles con CAMM2, que actualmente es limitada. Memoria T-Create CAMM2 probada MSILa Z790 Project Zero, una de las pocas placas actualmente compatibles con este nuevo factor de forma.
Otras marcas, como Gigabyte, apuntan a posibles diseños compatibles con CAMM2, como la próxima placa TACHYON. Sin embargo, el ecosistema CAMM2 aún es incipiente y su adopción generalizada puede depender del lanzamiento de placas más compatibles y con precios competitivos.
Suscríbase al boletín TechRadar Pro para recibir las principales noticias, opiniones, características y orientación que su empresa necesita para tener éxito.
Sin embargo, TeamGroup espera que la primera generación de módulos T-Create CAMM2 se lance en el primer trimestre de 2025, y es probable que llegue un soporte más amplio para la placa base a medida que los fabricantes introduzcan nuevas plataformas de CPU. con AMD y Intel Se rumorea que se anunciará como económico Unidades centrales de procesamiento En CES 2025, la introducción de placas de gama media compatibles con CAMM2 podría coincidir con los planes de lanzamiento de TeamGroup, lo que podría ayudar a CAMM2 a consolidarse en el mercado.
CAMM2 ofrece algunas ventajas sobre los estándares SO-DIMM, UDIMM y RDIMM ampliamente utilizados. En particular, los módulos CAMM2 funcionan en modo de doble canal mientras ocupan solo una ranura física. Además, incluye un controlador de reloj de cliente (CKD), similar a la memoria CUDIMM, que mejora la integridad de la señal a altas velocidades, lo que permite un rendimiento de la memoria más rápido y confiable.
Estas características hacen que CAMM2 sea particularmente atractivo para computadoras portátiles, que a menudo enfrentan limitaciones con las velocidades SO-DIMM actuales u opciones LPDDR5/5X no actualizables.
