Tag: HBM

Micron quiere capturar una porción mayor del mercado HBM de 100 mil millones de dólares con soluciones de memoria vinculada HBM4 y HBM4E para 2026

[ad_1]

El gigante estadounidense de los semiconductores revela el lanzamiento del HBM4 en 2026, seguido del HBM4E
Probablemente será utilizado por la GPU Rubin R100 de Nvidia y el sucesor de AMD del Instinct MI400x.
Micron llega tarde a un mercado muy concurrido liderado por SK Hynix

Micron ha revelado más pasos en su plan para capturar una parte significativa del mercado de memorias de gran ancho de banda en rápida expansión.

El gigante estadounidense de semiconductores reveló durante su convocatoria de resultados del primer trimestre de 2025 que planea presentar productos de memoria HBM4 en 2026, seguidos de HBM4E en 2027/2028 con piezas de 64 GB y 2 TB/s diseñadas para aplicaciones avanzadas de inteligencia artificial y centros de datos.

Sanjay Mehrotra, presidente y director ejecutivo de Micron, destacó la creciente importancia de HBM en los planes de la compañía y afirmó: “El mercado de HBM mostrará un fuerte crecimiento en los próximos años. En 2028, esperamos que el mercado total direccionable de HBM (TAM) aumente crecerá cuatro veces desde el nivel de 16 mil millones de dólares en 2024 y superará los 100 mil millones de dólares en 2030. Nuestra previsión para TAM para HBM en 2030 será mayor “Según nuestra previsión, el tamaño de toda la industria de DRAM, incluida HBM, en el año 2024”.

Hoja de ruta de la memoria Micron — (Crédito de la imagen: Micron)

Llegando a la GPU insignia

Al expresar su entusiasmo por la próxima generación de HBM, Mehrotra añadió: “Al aprovechar una base sólida y continuas inversiones en tecnología de proceso 1β probada, esperamos que el HBM4 de Micron mantenga el tiempo de comercialización y el liderazgo en eficiencia energética, al tiempo que mejora el rendimiento en más de un 50 % en comparación”. a HBM3E.”

La versión HBM4E, que se espera que llegue a finales de 2027, incluirá un núcleo lógico personalizable que utiliza la tecnología de fabricación avanzada de TSMC. Esta característica de diseño permitirá a algunos clientes modificar la capa lógica para adaptarla mejor a sus necesidades, con el objetivo de mejorar el rendimiento y la eficiencia.

Se espera que las próximas soluciones de memoria se utilicen en las principales GPU, como NVIDIARobin R100 y AMDEl sucesor del Instinct MI400x. Micron ya ha demostrado tracción en el mercado con su tecnología HBM3E. “Estamos orgullosos de compartir que el HBM3E 8H de Micron está integrado en las plataformas Blackwell B200 y GB200 de Nvidia”, dijo Mehrotra durante la llamada.

Si bien Micron es relativamente nuevo en el espacio de HBM, que actualmente está dominado por el gigante surcoreano de la memoria SK Hynix, su vecino y principal competidor. SamsungSin embargo, la empresa sigue siendo optimista sobre su posición competitiva.

“Basándonos en nuestro éxito en el diseño para el cliente y nuestro éxito en forjar alianzas profundas con clientes, facilitadores de la industria y socios tecnológicos clave como TSMC, esperamos ser un proveedor líder de HBM, con la hoja de ruta tecnológica más sólida y confiable y un historial de ejecución líder en la industria. ”, dijo Mehrotra.

También te puede gustar

[ad_2]

Source Article Link

Tags capturar, Con, del, dólares, HBM, HBM4, HBM4E, Mayor, memoria, mercado, Micron, mil, millones, para, porción, quiere, soluciones, una, vinculada

Featured

Una empresa tecnológica de 100 mil millones de dólares de la que probablemente nunca haya oído hablar se está asociando con los fabricantes de memorias más grandes del mundo para producir HBM sobrealimentado

[ad_1]

HBM es fundamental para la revolución de la IA porque permite una transferencia de datos ultrarrápida cerca de la GPU
Escalar el rendimiento de HBM es difícil si cumple con los protocolos JEDEC
Marvell y otros quieren desarrollar una arquitectura HBM personalizada para acelerar su desarrollo

Marvell Technology ha presentado una arquitectura informática HBM personalizada diseñada para aumentar la eficiencia y el rendimiento de las XPU, un componente clave en el panorama de infraestructura de nube en rápida evolución.

La nueva arquitectura fue desarrollada en colaboración con los gigantes de la memoria Micron. Samsungy SK Hynix, para abordar las limitaciones en la integración de memoria tradicional proporcionando soluciones personalizadas para las necesidades de los centros de datos de próxima generación.

La arquitectura se centra en mejorar la forma en que las XPU, utilizadas en sistemas avanzados de inteligencia artificial y computación en la nube, manejan la memoria. Al optimizar las interfaces entre las matrices de silicio calculadas por IA y las pilas de memoria de gran ancho de banda, Marvell afirma que la tecnología reduce el consumo de energía hasta en un 70% en comparación con las implementaciones estándar de HBM.

Manténgase alejado de JEDEC

Además, se dice que su rediseño reduce los requisitos de espacio de silicio hasta en un 25 %, lo que permite a los operadores de la nube ampliar la capacidad informática o incluir más memoria. Potencialmente, esto permite que las XPU admitan hasta un 33% más de pilas HBM, lo que aumenta significativamente la densidad de la memoria.

“Los principales operadores de centros de datos en la nube han ampliado el alcance de la infraestructura dedicada. Aumentar las XPU con diseño de HBM para un rendimiento, potencia y costo total de propiedad específicos es el último paso en un nuevo paradigma para la forma en que se diseñan y entregan los aceleradores de IA”, dijo Marvell. Grupo de almacenamiento.

“Estamos muy agradecidos de trabajar con diseñadores de memoria líderes para acelerar esta revolución y ayudar a los operadores de centros de datos en la nube a continuar escalando sus XPU e infraestructura para la era de la IA”.

HBM desempeña un papel central en las XPU, que utilizan tecnología de empaquetado avanzada para combinar memoria y potencia de procesamiento. Sin embargo, las arquitecturas tradicionales limitan la escalabilidad y la eficiencia energética.

El nuevo enfoque de Marvell modifica e integra la propia pila de HBM, con el objetivo de ofrecer un mejor rendimiento con menor energía y menores costos, consideraciones clave para los hiperescaladores que buscan constantemente gestionar las crecientes demandas de energía en los centros de datos.

Servicio a domicilio's Patrick Kennedy, quien informó la noticia en vivo desde Marvell Analyst Day 2024, señaló que cHBM (custom HBM) no es una solución JEDEC y por lo tanto no será estándar en HBM.

“Alejar la memoria de los estándares JEDEC a una personalización a hiperescala es un gran paso para la industria”, escribe. “Esto demuestra que Marvell tiene grandes beneficios para las XPU de gran volumen, ya que este tipo de asignación de espacio de memoria no ocurre en pedidos pequeños”.

La colaboración con los principales fabricantes de memorias refleja una tendencia más amplia de la industria hacia un hardware altamente personalizado.

“Aumentar la capacidad de memoria y el ancho de banda ayudará a los operadores de la nube a escalar de manera eficiente su infraestructura para la era de la IA”, dijo Raj Narasimhan, vicepresidente senior y gerente general de la unidad de negocios de Computación y Redes de Micron.

“Las colaboraciones estratégicas centradas en la eficiencia energética, como la que tenemos con Marvell, se basarán en las especificaciones de energía HBM de Micron, líderes en la industria, y proporcionarán a los hiperescaladores una plataforma poderosa para ofrecer las capacidades y el rendimiento óptimo necesarios para escalar la IA”.

Más de TechRadar Pro

[ad_2]

Source Article Link

Tags asociando, Con, del, dólares, empresa, está, fabricantes, grandes, hablar, haya, HBM, Los, más, memorias, mil, millones, mundo, nunca, oído, para, probablemente, producir, sobrealimentado, tecnológica, una

Featured

Huawei parece dispuesto a lanzar un nuevo chip de servidor HBM para desafiar a Xeon y Epyc; Sí, esta es la misma memoria que alimenta las GPU AI de Nvidia y AMD.

[ad_1]

Huawei puede agregar soporte de HBM al SoC Kunpeng
Las pistas apuntan a un sustituto del Kunpeng 920, lanzado en 2019
El nuevo SoC de HBM puede apuntar a competidores en el mercado de servidores HPC

Los ingenieros de Huawei tienen se dice Ha lanzado nuevos parches de Linux para habilitar la compatibilidad con controladores para High Bandwidth Memory Management (HBM) en los dispositivos de la compañía brazoSOC de alto rendimiento basado en Kunpeng.

El Kunpeng 920, que debutó en enero de 2019 como la primera CPU para servidor de la compañía, es un procesador de 7 nm con hasta 64 núcleos basado en la arquitectura Armv8.2. Admite ocho canales de memoria DDR4 y tiene una potencia de diseño térmico (TDP) de hasta 180W. Aunque estas especificaciones eran competitivas cuando se introdujeron por primera vez, las cosas han evolucionado significativamente desde entonces.

La introducción del nuevo Kunpeng SoC con HBM integrado estaría en línea con las tendencias de la industria a medida que las empresas buscan aumentar el ancho de banda de la memoria y el rendimiento en respuesta a cargas de trabajo cada vez más exigentes. También podría indicar los esfuerzos de Huawei por mantener la competitividad en los mercados de servidores y computación de alto rendimiento (HPC) que domina. Intel Sion W. AMD EPYC.

No hay anuncio oficial… todavía

VorónixMichael Larabelle de Huawei señala que Huawei aún no ha anunciado oficialmente el nuevo SoC Kunpeng (con o sin HBM), y las referencias al mismo están dispersas. Sin embargo, Kernel Patches indicó anteriormente que se estaba trabajando en la integración de HBM en la plataforma.

Los últimos parches abordan específicamente el control de energía para el hardware de HBM en el SoC Kunpeng, brindando la capacidad de activar o desactivar el caché de HBM según los requisitos de la carga de trabajo.

La serie de parches incluye una descripción detallada de esta función. Huawei explica que HBM ofrece mayor ancho de banda pero consume más energía. Los controladores propuestos permitirán a los usuarios gestionar el consumo de energía de HBM, optimizando el uso de energía para cargas de trabajo que no requieren un gran ancho de banda de memoria.

Los parches también introducen un controlador para la caché de HBM, que permite al usuario controlar el espacio del usuario sobre esta función. Usando HBM como caché, Sistemas operativos Puede aprovechar los beneficios del ancho de banda sin tener que ser consciente directamente de la presencia del caché. Cuando las cargas de trabajo son menos exigentes, la caché se puede desactivar para ahorrar energía.

Aunque no tenemos detalles específicos sobre los futuros SoC Kunpeng, la incorporación de HBM puede permitirle competir de manera más efectiva con otros procesadores de servidor basados en ARM, así como con las últimas ofertas Xeon y AMD EPYC de Intel.

También te puede gustar

[ad_2]

Source Article Link

Tags alimenta, AMD, chip, desafiar, dispuesto, Epyc, está, GPU, HBM, Huawei, lanzar, Las, memoria, misma, nuevo, NVIDIA, para, parece, servidor, sí, Xeon

Featured

After Nvidia, Samsung vows to abandon consumer focus and concentrate on lucrative enterprise market instead — surge in HBM, enterprise SSD, DDR5 server memory chip expected to drive margins

[ad_1]

Nvidia has transformed into an AI superpower, becoming the third most valuable company in the world off the back of it, so it’s perhaps no surprise other tech giants are looking on in envy and shifting their focus to follow suit.

During its recent earnings call, Samsung reported a consolidated operating profit of $4.8 billion in Q1 – a tenfold increase YoY – and company executives revealed a change in focus going forward.

The plan is now to concentrate on producing HBM and DDR5 memory and high-capacity SSD chips for the enterprise market, rather than targeting consumer PCs and mobile devices.

Meeting demand

“We plan to increase supply of HBM chips in 2024 by more than threefold versus last year,” Kim Jae-june, Samsung’s memory business vice president, said on the call, reported the Korea Economic Daily. “We have already completed talks with our clients on this year’s supply of HBM chips. In 2025, our HBM chip production will double from this year. Our talks on the 2025 volume with our customers are also going well.”

Samsung, currently ranked 23 in the world, has already invested heavily in HBM but currently trails behind its archrival, SK Hynix, in this area. SK Hynix recently announced plans to construct the world’s largest chip factory and has begun a partnership with Taiwanese foundry TSMC to produce HBM4.

Samsung said it anticipates a 50% increase in server DRAM production in Q2, and double output of server SSD in terms of bit growth. The company believes robust demand for AI chips will continue and stretch chip supplies throughout the year.

The South Korean tech giant also revealed it will commence mass production of its 8-layer HBM3E chips this month.

Samsung’s archrival strikes crucial partnership with Nvidia’s closest ally to deliver key next-gen memory — SK Hynix teams up with TSMC to advance HBM development but could this move encourage TSMC to become like Intel?

[ad_1]

South Korean memory giant SK Hynix, which recently announced plans for the construction of the world’s largest chip factory, has now announced a major partnership with top Taiwanese semiconductor foundry, TSMC.

The two firms aim to cement their positions in the fast-growing AI market by developing and producing the next-generation of High Bandwidth Memory, known as HBM4.

The production, scheduled for 2026, will make use of TSMC’s state-of-the-art packaging technology. The project’s initial focus will be on the improvement of the performance of the base die, the element of HBM that connects directly to the GPU. SK Hynix will reportedly adopt TSMC’s advanced logic process for HBM4’s base die, allowing for extra functionality to be packed into a minimal space. The two firms intend to optimize the integration SK Hynix’s HBM and TSMC’s CoWoS (Chip on Wafer on Substrate) technology.

A strategic move for TSMC

“We expect a strong partnership with TSMC to help accelerate our efforts for open collaboration with our customers and develop the industry’s best-performing HBM4,” said Justin Kim, President and the Head of AI Infra, at SK Hynix. “With this cooperation in place, we will strengthen our market leadership as the total AI memory provider further by beefing up competitiveness in the space of the custom memory platform.”

Dr. Kevin Zhang, Senior Vice President of TSMC’s Business Development and Overseas Operations Office, and Deputy Co-Chief Operating Officer, agreed, stating, “TSMC and SK Hynix have already established a strong partnership over the years. We’ve worked together in integrating the most advanced logic and state-of-the art HBM in providing the world’s leading AI solutions. Looking ahead to the next-generation HBM4, we’re confident that we will continue to work closely in delivering the best-integrated solutions to unlock new AI innovations for our common customers.”

This collaboration is a strategic move for TSMC as much as it is for SK Hynix – if not more so – and demonstrates the firm’s potential in a role beyond foundry service provider. It’s hard to guess at the future, but should TSMC wish to continue its growth trajectory, it may need to consider expanding its strategic horizons even further, a move which could see it competing with some of its partners such as AMD or even rivals like Intel.

Competition is fierce in the semiconductor industry and moving up the value chain – leveraging its advanced technology to drive higher margins – is a risky move, but one that could potentially be hugely rewarding for the Taiwanese chip giant.

Via Nikkei

Lenovo unveils first all-AMD AI ‘supercomputer’ flanked with up to 1.5TB of HBM memory and promises drop-in support for the future AMD EPYC CPU — new ThinkSystem has dual EPYC CPUs and 8 Instinct MI300X GPUs

[ad_1]

Lenovo has taken the wraps off its ThinkSystem SR685a V3 server, which it says is an optimal solution for both enterprise private on-prem AI as well as for public AI cloud service providers.

Crafted in tandem with AMD, the server has been specifically engineered to handle the demanding compute needs associated with GenAI and Large Language Models. With fast acceleration, large memory capacity and I/O bandwidth, the new powerhouse can manage sizable data sets used in industries from healthcare and energy to financial services and climate science.

The AI supercomputer is powered by two top-tier 4th Generation AMD EPYC processors, each delivering up to 400W of output, coupled with eight AMD Instinct MI300X GPUs. Fully interconnected with AMD Infinity Fabric, it provides 1.5TB of high-bandwidth (HBM3) memory capacity and up to 1TB/s peak aggregate theoretical GPU I/O bandwidth performance.

Up to 16 NVMe SSDs

ThinkSystem SR685a V3 supports up to 3TB RAM, made up of 24 DDR5 DIMMs, and as an alternative to the eight AMD Instinct MI300X GPUs with Infinity Fabric interconnects at 896GB/s, it can handle eight Nvidia H100/H200/B100 GPUs with NVLink interconnects at 900GB/s.

The 8U2S rack server allows for up to 10x PCIe Gen5 x16 FHHL adapters (eight at the front connected to the PCIe switch for GPU connectivity, and two at the rear linked directly to the main CPU). It supports up to sixteen 2.5-inch hot-swappable NVMe SSDs, as well as up to two M.2 drives for boot, with RAID support. In terms of power, eight hot-swappable PSUs allow for full N+N redundancy, while things are kept at an acceptable temperature via air cooling with an N+1 hot-swappable fan.

Management is handled by an XClarity Controller2 (XCC2), that offers high-level service-processor control as well as monitoring and alerting functions.

The ThinkSystem SR685a V3 is compatible with a variety of operating systems including RHEL, Ubuntu, Alma Linux, Rocky Linux, and ESXi.

“Together with Lenovo, we are accelerating AI transformation for the enterprise in multiple manners – helping guide customers through this monumental shift in computing, while providing robust end-to-end solutions at scale,” said Forrest Norrod, executive vice president and general manager, Data Center Solutions Group, AMD. “We have a proven track record of bringing amazing solutions, jointly, to the market and are excited to add AMD Instinct MI300X to Lenovo’s portfolio, helping enterprises to rapidly adopt AI.”

With applications spanning multiple sectors, this new system can accelerate most compute demanding AI workloads, and Lenovo singles out its benefits to the world of financial services in particular, where it can help detect and prevent fraud, and streamline KYC (know your customer) initiatives.

The Lenovo ThinkSystem SR685a V3 server can be ordered now, with pricing available on request.

Another startup is taking on Nvidia using a clever trick — Celestial AI brings DDR5 and HBM together to slash power consumption by 90%, may already be partnering with AMD

[ad_1]

There’s no shortage of startups pushing technology that could one day prove pivotal in AI computing and memory infrastructure.

Celestial AI, which recently secured $175 million in Series C funding, is looking to commercialize its Photonic Fabric technology which aims to redefine optical interconnects.

Celestial AI’s foundational technology is designed to disaggregate AI compute from memory to offer a “transformative leap in AI system performance that is ten years more advanced than existing technologies.”

Lower energy overhead and latency

The company has reportedly been in talks with several hyperscale customers and a major processor manufacturer, about integrating its technology. Though specific details remain under wraps, that manufacturer is quite likely to be AMD since AMD Ventures is one of Photonic Fabric’s backers.

As reported by The Next Platform, the core of Celestial AI’s strategy lies in its chiplets, interposers, and optical interconnect technology. By combining DDR5 and HBM memory, the company aims to significantly reduce power consumption while maintaining high performance levels. The chiplets can be used for additional memory capacity or as interconnects between chips, offering speeds comparable to NVLink or Infinity Fabric.

“The surge in demand for our Photonic Fabric is the product of having the right technology, the right team and the right customer engagement model”, said Dave Lazovsky, Co-Founder and CEO of Celestial AI.

“We are experiencing broad customer adoption resulting from our full-stack technology offerings, providing electrical-optical-electrical links that deliver data at the bandwidth, latency, bit error rate (BER) and power required, compatible with the logical protocols of our customer’s AI accelerators and GPUs. Deep strategic collaborations with hyperscale data center customers focused on optimizing system-level Accelerated Computing architectures are a prerequisite for these solutions. We’re excited to be working with the giants of our industry to propel commercialization of the Photonic Fabric.”

While Celestial AI faces challenges in timing and competition from other startups in the silicon photonics space, the potential impact of its technology on the AI processing landscape makes it a promising contender. As the industry moves towards co-packaged optics and silicon photonic interposers, Celestial AI’s Photonic Fabric could play a key role in shaping the future of AI computing.

Startup claims to boost LLM performance using standard memory instead of GPU HBM — but experts remain unconvinced by the numbers despite promising CXL technology

[ad_1]

MemVerge, a provider of software designed to accelerate and optimize data-intensive applications, has partnered with Micron to boost the performance of LLMs using Compute Express Link (CXL) technology.

The company’s Memory Machine software uses CXL to reduce idle time in GPUs caused by memory loading.

The technology was demonstrated at Micron’s booth at Nvidia GTC 2024 and Charles Fan, CEO and Co-founder of MemVerge said, “Scaling LLM performance cost-effectively means keeping the GPUs fed with data. Our demo at GTC demonstrates that pools of tiered memory not only drive performance higher but also maximize the utilization of precious GPU resources.”

Impressive results

The demo utilized a high-throughput FlexGen generation engine and an OPT-66B large language model. This was performed on a Supermicro Petascale Server, equipped with an AMD Genoa CPU, Nvidia A10 GPU, Micron DDR5-4800 DIMMs, CZ120 CXL memory modules, and MemVerge Memory Machine X intelligent tiering software.

The demo contrasted the performance of a job running on an A10 GPU with 24GB of GDDR6 memory, and data fed from 8x 32GB Micron DRAM, against the same job running on the Supermicro server fitted with Micron CZ120 CXL 24GB memory expander and the MemVerge software.

The FlexGen benchmark, using tiered memory, completed tasks in under half the time of traditional NVMe storage methods. Additionally, GPU utilization jumped from 51.8% to 91.8%, reportedly as a result of MemVerge Memory Machine X software’s transparent data tiering across GPU, CPU, and CXL memory.

Raj Narasimhan, senior vice president and general manager of Micron’s Compute and Networking Business Unit, said “Through our collaboration with MemVerge, Micron is able to demonstrate the substantial benefits of CXL memory modules to improve effective GPU throughput for AI applications resulting in faster time to insights for customers. Micron’s innovations across the memory portfolio provide compute with the necessary memory capacity and bandwidth to scale AI use cases from cloud to the edge.”

However, experts remain skeptical about the claims. Blocks and Files pointed out that the Nvidia A10 GPU uses GDDR6 memory, which is not HBM. A MemVerge spokesperson responded to this point, and others that the site raised, stating, “Our solution does have the same effect on the other GPUs with HBM. Between Flexgen’s memory offloading capabilities and Memory Machine X’s memory tiering capabilities, the solution is managing the entire memory hierarchy that includes GPU, CPU and CXL memory modules.”

MemVerge Memory Machine X results

(Image credit: MemVerge)

Samsung’s biggest memory rivals are plotting a tie-up with Kafkaesque implications — SK Hynix and Kioxia could build lucrative HBM chips for Nvidia, AMD and others

[ad_1]

South Korean chipmaker SK Hynix, a key Nvidia supplier, says it has already sold out of its entire 2024 production of stacked high-bandwidth memory DRAMs, crucial for AI processors in data centers. That’s a problem, given just how in demand HBM chips are right now.

However, a solution might have presented itself, as reports say SK Hynix is in talks with Japanese firm Kioxia Holdings to jointly produce HBM chips.

SK Hynix, the world’s second-largest memory chipmaker, is a major shareholder of Kioxia, the world’s No. 2 NAND flash manufacturer, and if the deal goes ahead, it could see the high-performance chips being produced at facilities co-operated by Kioxia and US-based Western Digital Corp. in Japan.

A merger hangs in the balance

What makes this situation even more interesting is Kioxia and Western Digital have been engaged in merger talks, something that SK Hynix is opposed to over fears this would reduce its opportunities with Kioxia. As SK Hynix is a major shareholder in Kioxia, the Japanese firm and Western Digital’s merger can’t go ahead without its blessing, and this new move could be seen as an important sweetener to help things progress.

After the news of the potential deal broke, SK Hynix issued a statement saying simply, “There is no change in our stance that if there is a collaboration opportunity, we will enter into discussion on that matter.”

If the merger between Kioxia and Western Digital does proceed, it will make the company potentially the biggest manufacturer of NAND memory on the planet, leapfrogging current leader Samsung, so there’s a lot to play for.

The Korea Economic Daily says of the move, “The partnership is expected to cement SK Hynix’s leadership in the HBM segment, which it almost evenly splits with Samsung Electronics. Kioxia will likely transform NAND flash lines into those for HBMs, used for generative AI applications, high-performance data centers and machine learning platforms, contributing to a revival in Japan’s semiconductor market.”