[ad_1]
Impulso de la IA Aplicaciones Se está acelerando en todo el mundo y muestra pocas señales de desaceleración. Según datos de IBM, el 42% de las empresas de más de 1.000 empleados lo utilizan activamente Amnistía Internacional En su negocio, hay otro 40% que lo está probando y experimentando con él.
Con el ritmo cada vez mayor de adopción de la inteligencia artificial, con plataformas como Abierto AIGPT-4o y GoogleGemini Al establecer nuevos estándares de rendimiento, las organizaciones están descubriendo nuevas aplicaciones para estas tecnologías que pueden ofrecer mejores resultados. Afronte nuevos desafíos para implementar tecnología a gran escala. Cada vez más flujos de trabajo empresariales incorporan llamadas a estos modelos de IA, lo que aumenta drásticamente su uso. ¿Los casos de uso justifican el aumento del gasto en los últimos modelos?
Adoptar la IA también significa adoptar el uso de modelos de IA y pagar por la inferencia de la IA, en un momento en el que muchas organizaciones están en modo de reducción de costos. Con la continua incertidumbre económica, el aumento de los costos operativos y la mayor presión de las partes interesadas para lograr el retorno de la inversión, las empresas están buscando formas de optimizar sus presupuestos y reducir gastos innecesarios. Los crecientes costos de la infraestructura de IA pueden ser una causa de tensión, ya que las organizaciones quieren seguir siendo competitivas y aprovechar el poder de la IA, mientras encuentran un equilibrio entre estas inversiones y la prudencia financiera.
Para complicar aún más las cosas, los agentes de IA, que, según McKinsey, son la próxima frontera de GenAI y se espera que constituyan la próxima ola de aplicaciones, aumentarán drásticamente el uso de modelos de IA, ya que dependen de ellos para los pasos continuos de pensamiento y planificación. . En lugar de llamadas API únicas a modelos subyacentes como los de OpenAI, las arquitecturas proxy pueden realizar docenas de llamadas, aumentando así esos costos. ¿Cómo pueden las empresas superar los crecientes costos? Datos ¿Mientras ejecutan las aplicaciones de IA que necesitan?
Vicepresidente de IA y productos de búsqueda en Redis.
Comprender el coste de la IA a escala
La rápida implementación de la IA aumenta los costos en múltiples frentes. En primer lugar, las organizaciones están gastando en inferencia de IA, que es el proceso de utilizar un modelo entrenado para hacer predicciones o decisiones basadas en datos proporcionados. A menudo, dependerán de interfaces de programación de aplicaciones (API) de proveedores líderes como OpenAI, Anthropic o Servicio en la nube Proveedores como AWS o Google pagarán según el uso. Alternativamente, algunas organizaciones están sacando sus propias conclusiones y comprando o alquilando GPU en las que implementan modelos de código abierto como Llama de Meta.
En segundo lugar, en muchos casos, las organizaciones quieren personalizar sus modelos de IA “ajustándolos”. En ocasiones, esto puede ser un proceso costoso que implica la preparación de datos mediante la creación de conjuntos de datos de entrenamiento y requiere recursos computacionales para el entrenamiento.
Finalmente, la creación de aplicaciones de IA requiere componentes adicionales, como vectores. Bases de datosque ayuda a aumentar la inferencia al ayudar a recuperar contenido relevante de bases de conocimiento específicas y así mejorar la precisión y relevancia de las respuestas de los modelos de IA.
Al estudiar las causas fundamentales y los impulsores de los costos de la IA, como la inferencia, la capacitación o el ajuste de la IA, y componentes adicionales como las bases de datos, las empresas pueden reducir los costos de almacenamiento y mejorar el rendimiento de sus aplicaciones de IA.
Mejora de la eficiencia mediante el almacenamiento en caché semántico
El almacenamiento en caché semántico es una tecnología muy eficaz implementada por las organizaciones para gestionar el coste de la inferencia de la IA y aumentar la velocidad y la capacidad de respuesta de sus aplicaciones. Se refiere a almacenar y reutilizar los resultados de cálculos anteriores en función de su significado semántico.
En otras palabras, en lugar de depender de nuevos cálculos de IA para nuevas consultas, el caché semántico puede verificar una base de datos de consultas con significados similares que se han formulado antes, ahorrando así costos. Este enfoque ayuda a reducir los cálculos redundantes y mejora la eficiencia en aplicaciones como la inferencia o la búsqueda.
En un estudio, los investigadores demostraron que hasta el 31% de las consultas relacionadas con aplicaciones de IA pueden ser repetitivas. Todas las llamadas de inferencia innecesarias a la IA añaden costos evitables, pero al implementar un caché semántico, las organizaciones pueden reducir significativamente estas llamadas, recortándolas entre un 30% y un 80%. Este método es esencial para crear aplicaciones de IA generativa escalables y receptivas. robots de chat. Este enfoque no sólo optimiza los costos sino que también acelera los tiempos de respuesta, ayudando a las empresas a lograr más con menos inversión.
Equilibrio entre rendimiento y coste
Las organizaciones necesitan optimizar su tecnología y sus estrategias operativas para poder implementar aplicaciones de IA de vanguardia sin incurrir en costos de infraestructura insostenibles. Esto puede ayudarles a lograr ese equilibrio crucial entre rendimiento y costo. Tecnologías como el almacenamiento en caché semántico pueden desempeñar un papel vital en esto.
Para las empresas que luchan por escalar las aplicaciones de IA de una manera eficiente y rentable, aprender a gestionar esto de manera efectiva puede convertirse en un diferenciador clave en el mercado. La clave para que las empresas superen el creciente costo de las aplicaciones de IA generativa y maximicen su valor puede residir en una estrategia de inferencia de IA. Los sistemas de IA generativa son cada día más complejos maestría La llamada debe ser lo más eficiente posible. Al hacer esto, los clientes pueden acceder a la información que necesitan más rápido y las empresas pueden reducir el impacto de sus costos.
Hemos destacado el mejor creador de sitios web con IA.
Este artículo se produjo como parte del canal Expert Insights de TechRadarPro, donde mostramos las mejores y más brillantes mentes de la industria tecnológica actual. Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí: https://www.techradar.com/news/submit-your-story-to-techradar-pro
[ad_2]
Source Article Link
