[ad_1]
- Sagence ofrece computación analógica en memoria para redefinir la inferencia de IA
- 10 veces menos energía y 20 veces menos costes
- También proporciona integración con PyTorch y TensorFlow.
Sagence AI ha introducido una arquitectura informática analógica avanzada en memoria diseñada para abordar problemas de potencia, costo y escalabilidad. Amnistía Internacional Inferencia.
Utilizando un enfoque analógico, la arquitectura ofrece mejoras en la eficiencia energética y la rentabilidad, al tiempo que ofrece un rendimiento similar a los sistemas actuales de GPU y CPU.
Este movimiento audaz posiciona a Sagence AI como un disruptor potencial en un mercado que domina. NVIDIA.
Eficiencia y rendimiento
La arquitectura Sagence proporciona beneficios al procesar modelos de lenguaje grandes como Llama2-70B. Cuando se normaliza a 666 000 códigos por segundo, la tecnología de Sagence ofrece resultados con un consumo de energía 10 veces menor, costos 20 veces menores y un espacio en rack 20 veces menor que las principales soluciones basadas en GPU.
Este diseño prioriza los requisitos de inferencia sobre la capacitación, lo que refleja el cambio de enfoque en la informática de IA dentro de los centros de datos. Con su eficiencia y asequibilidad, Sagence ofrece una solución al creciente desafío de garantizar el retorno de la inversión (ROI) a medida que las aplicaciones de IA se expanden hacia una implementación a gran escala.
En el corazón de la innovación de Sagence se encuentra la tecnología de computación analógica en memoria, que integra almacenamiento y computación dentro de las celdas de memoria. Al eliminar la necesidad de almacenamiento discreto y circuitos apilados y programados, este enfoque simplifica los diseños de chips, reduce los costos y mejora la eficiencia energética.
Sagence también utiliza computación profunda por debajo del umbral en celdas de memoria de múltiples niveles (una innovación pionera en la industria) para lograr las ganancias de eficiencia necesarias para la inferencia de IA escalable.
Los sistemas tradicionales basados en CPU y GPU dependen de una programación dinámica compleja, lo que aumenta los requisitos de hardware, la ineficiencia y el consumo de energía. La arquitectura estáticamente programada de Sagence simplifica estas operaciones, reflejando las redes neuronales biológicas.
El sistema también está diseñado para integrarse con marcos de desarrollo de IA existentes como PyTorch, ONNX y TensorFlow. Una vez que se importan las redes neuronales entrenadas, la arquitectura de Sagence elimina la necesidad de un procesamiento adicional basado en GPU, lo que simplifica la implementación y reduce los costos.
“Los avances fundamentales en el hardware de razonamiento de IA son vitales para el futuro de la IA. El uso de grandes modelos de lenguaje (LLM) y la IA generativa está impulsando la demanda de cambios rápidos y masivos en el núcleo informático, lo que requiere una combinación sin precedentes del más alto nivel. rendimiento con la potencia más baja y una economía que iguala los costos y el valor creado ” y fundador de Sagence AI.
“El hardware informático heredado de hoy, capaz de realizar inferencias de IA de alto rendimiento, cuesta demasiado para ser económicamente viable y consume demasiada energía para ser ambientalmente sostenible. Nuestra misión es romper estos límites de rendimiento y economía de una manera ambientalmente responsable”, agregó Sarin.
a través de Espectro IEEE
También te puede gustar
[ad_2]
Source Article Link
