Kioxia presenta un nuevo proyecto llamado AiSAQ que quiere reemplazar la memoria de acceso aleatorio (RAM) por unidades de estado sólido (SSD) para el procesamiento de datos de IA
Los SSD más grandes (léase: más de 100 TB) pueden mejorar RAG a un costo menor que simplemente usar memoria
No se ha fijado un cronograma, pero se espera que los competidores de Kioxia ofrezcan tecnología similar.
Los grandes modelos lingüísticos a menudo generan resultados que son plausibles pero que no son objetivamente correctos; en otras palabras, inventan cosas. Estas “alucinaciones” pueden dañar la confiabilidad en tareas de información vital como el diagnóstico médico, el análisis legal, los informes financieros y la investigación científica.
La recuperación de generación aumentada (RAG) alivia este problema al integrar fuentes de datos externas, lo que permite a los LLM acceder a información en tiempo real durante la generación, reducir los errores y anclar la salida en los datos existentes, mejorando la precisión contextual. La ejecución eficaz de RAG requiere importantes recursos de memoria y almacenamiento, y esto es especialmente cierto para punteros y datos vectoriales a gran escala. Tradicionalmente, estos datos se han almacenado en la memoria DRAM, que, aunque rápida, es cara y tiene una capacidad limitada.
