[ad_1]
- Kioxia presenta un nuevo proyecto llamado AiSAQ que quiere reemplazar la memoria de acceso aleatorio (RAM) por unidades de estado sólido (SSD) para el procesamiento de datos de IA
- Los SSD más grandes (léase: más de 100 TB) pueden mejorar RAG a un costo menor que simplemente usar memoria
- No se ha fijado un cronograma, pero se espera que los competidores de Kioxia ofrezcan tecnología similar.
Los grandes modelos lingüísticos a menudo generan resultados que son plausibles pero que no son objetivamente correctos; en otras palabras, inventan cosas. Estas “alucinaciones” pueden dañar la confiabilidad en tareas de información vital como el diagnóstico médico, el análisis legal, los informes financieros y la investigación científica.
La recuperación de generación aumentada (RAG) alivia este problema al integrar fuentes de datos externas, lo que permite a los LLM acceder a información en tiempo real durante la generación, reducir los errores y anclar la salida en los datos existentes, mejorando la precisión contextual. La ejecución eficaz de RAG requiere importantes recursos de memoria y almacenamiento, y esto es especialmente cierto para punteros y datos vectoriales a gran escala. Tradicionalmente, estos datos se han almacenado en la memoria DRAM, que, aunque rápida, es cara y tiene una capacidad limitada.
Para enfrentar estos desafíos, Servicio a domicilio Los informes indican que en el CES de este año, el gigante japonés de la memoria Kioxia presentó AiSAQ – Almacenamiento todo en uno con dimensionamiento de búsqueda aproximada del vecino más cercano (ANNS) – que utiliza SSD de alta capacidad para almacenar datos vectoriales y de puntero. Kioxia afirma que AiSAQ reduce significativamente el uso de DRAM en comparación con DiskANN, proporcionando un enfoque más rentable y escalable para admitir grandes modelos de IA.
Más fácil y rentable
El cambio al almacenamiento basado en SSD hace posible manejar conjuntos de datos más grandes sin los altos costos asociados con el uso extensivo de la memoria dinámica de acceso aleatorio (DRAM).
Si bien el acceso a los datos desde SSD puede generar una ligera latencia en comparación con la DRAM, la compensación incluye menores costos del sistema y una mejor escalabilidad, lo que puede respaldar un mejor rendimiento y precisión del modelo a medida que conjuntos de datos más grandes proporcionan una base más rica para el aprendizaje y la inferencia.
Al utilizar SSD de alta capacidad, AiSAQ aborda los requisitos de almacenamiento de RAG y al mismo tiempo contribuye al objetivo más amplio de hacer que las tecnologías avanzadas de IA sean más accesibles y rentables. Kioxia no ha revelado cuándo planea llevar AiSAQ al mercado, pero es seguro apostar que competidores como Micron y SK Hynix tendrán algo similar en proceso.
Servicio a domicilio “Hoy en día todo se basa en IA y Kioxia también está impulsando esto”, concluye. “Siendo realistas, RAG será una parte importante de muchas aplicaciones, y si hay una aplicación que necesita acceso a una gran cantidad de datos, pero. No se utiliza con frecuencia. Esta sería una gran oportunidad para algo como Kioxia AiSAQ.
Más de TechRadar Pro
[ad_2]
Source Article Link
