[ad_1]
A medida que más y más organizaciones adoptan inteligencia artificial A medida que la IA y el aprendizaje automático se utilizan cada vez más para mejorar sus operaciones y obtener una ventaja competitiva, existe un interés creciente en la mejor manera de mantener segura esta poderosa tecnología. Y en el meollo de esta cuestión, hay Datos Estos datos se utilizan para entrenar modelos de aprendizaje automático, lo que afecta fundamentalmente su comportamiento y rendimiento a lo largo del tiempo. Como tal, las organizaciones deben prestar mucha atención a lo que hay en sus modelos y estar constantemente alertas a cualquier señal de algo adverso, como corrupción de datos.
Desafortunadamente, a medida que los modelos de aprendizaje automático han ganado popularidad, también lo ha hecho el riesgo de ataques back-end maliciosos en los que los delincuentes utilizan técnicas de envenenamiento de datos para alimentar los modelos de aprendizaje automático con datos comprometidos, lo que hace que se comporten de manera inesperada o maliciosa cuando se ejecutan con ellos. comandos específicos. Si bien estos ataques pueden tardar mucho tiempo en ejecutarse (a menudo requieren grandes cantidades de datos envenenados durante varios meses), pueden ser increíblemente destructivos cuando tienen éxito. Por esta razón, es algo contra lo que las organizaciones deben protegerse, especialmente en la fase fundamental de cualquier nuevo modelo de aprendizaje automático.
Un buen ejemplo de este panorama de amenazas es la tecnología Sleepy Pickle. El blog Trail of Bits explica que esta técnica explota la popularidad y notoriedad de Pickle. archivo El formato utilizado para empaquetar y distribuir modelos de aprendizaje automático. Sleepy Pickle va más allá de las técnicas de explotación anteriores dirigidas a sistemas empresariales al implementar modelos de aprendizaje automático para, en cambio, comprometer secretamente el propio modelo de aprendizaje automático. Con el tiempo, esto permite a los atacantes apuntar a los usuarios finales del modelo en la organización, lo que puede causar problemas importantes. protección Problemas si tiene éxito.
Arquitecto senior de soluciones en HackerOne.
El surgimiento de MLSecOps
Para combatir amenazas como estas, un número cada vez mayor de organizaciones ha comenzado a implementar MLSecOps como parte de sus ciclos de desarrollo.
En esencia, MLSecOps integra prácticas y consideraciones de seguridad en el proceso de desarrollo e implementación del aprendizaje automático. Esto incluye una garantía. privacidad La seguridad de los datos utilizados para entrenar y probar los modelos y la protección de los modelos ya implementados contra ataques maliciosos, junto con la infraestructura en la que se ejecutan.
Algunos ejemplos de actividades de MLSecOps incluyen realizar modelos de amenazas e implementar operaciones seguras. Codificación prácticas, realizar auditorías de seguridad y respuesta a incidentes para sistemas y modelos de aprendizaje automático, garantizando la transparencia y la interpretabilidad para evitar sesgos no deseados en la toma de decisiones.
Los pilares centrales de MLSecOps
¿Qué distingue a MLSecOps de otras disciplinas como DevOps Lo que distingue a MLSecOps es que se ocupa exclusivamente de cuestiones de seguridad dentro de los sistemas de aprendizaje automático. Teniendo esto en cuenta, existen cinco pilares centrales de MLSecOps, promovidos por la comunidad MLSecOps, que en conjunto forman un marco de riesgo eficaz:
Cadena de suministro débil
Las vulnerabilidades de la cadena de suministro de aprendizaje automático se pueden definir como el potencial de violaciones de seguridad o ataques a los sistemas y componentes que componen la cadena de suministro de tecnología de aprendizaje automático. Esto puede incluir problemas con elementos como componentes de software/hardware, redes de comunicaciones y almacenamiento y gestión de datos. Lamentablemente, los ciberdelincuentes pueden aprovechar todas estas vulnerabilidades para acceder a información valiosa, robar datos confidenciales e interrumpir las operaciones comerciales. Para mitigar estos riesgos, las organizaciones deben implementar medidas de seguridad sólidas, que incluyen monitorear y actualizar constantemente sus sistemas para adelantarse a las amenazas emergentes.
Gobernanza, riesgo y cumplimiento
El cumplimiento de una amplia gama de leyes y regulaciones, como el Reglamento General de Protección de Datos (GDPR), se ha convertido en una parte esencial de los negocios modernos, evitando consecuencias legales y financieras de gran alcance, así como posibles daños a la reputación. Sin embargo, con la difusión inteligencia artificial Con un crecimiento a tasas exponenciales, la creciente dependencia de los modelos de aprendizaje automático dificulta que las empresas realicen un seguimiento de los datos y garanticen el cumplimiento.
MLSecOps puede identificar rápidamente códigos y componentes modificados y situaciones en las que la integridad y el cumplimiento de un marco de IA pueden ponerse en duda. Esto ayuda a las organizaciones a garantizar que se cumplan los requisitos de cumplimiento y que los datos confidenciales se mantengan seguros.
Origen del modelo
La procedencia del modelo significa rastrear el manejo de datos y los modelos de aprendizaje automático en proceso. El mantenimiento de registros debe ser seguro, protegido y rastreable. El control de acceso y versión de datos, modelos de aprendizaje automático, parámetros de canalización, registro y monitoreo son controles críticos con los que MLSecOps puede ayudar de manera efectiva.
Inteligencia artificial confiable
IA confiable es un término utilizado para describir sistemas de IA que están diseñados para ser justos, imparciales y explicables. Para ello, los sistemas de IA confiables deben ser transparentes y tener la capacidad de explicar cualquier decisión que tomen de manera clara y concisa. Si no se puede entender el proceso de toma de decisiones de un sistema de IA, no se puede confiar en él, pero al hacerlo explicable, se vuelve responsable y, por lo tanto, digno de confianza.
Aprendizaje automático competitivo
Defenderse de ataques maliciosos a los modelos de aprendizaje automático es crucial. Sin embargo, como comentamos anteriormente, estos ataques pueden adoptar muchas formas, lo que los hace muy difíciles de identificar y prevenir. El objetivo del aprendizaje automático adversario es desarrollar técnicas y estrategias para defenderse contra tales ataques, mejorando la solidez y la solidez de los modelos y sistemas de aprendizaje automático a lo largo del camino.
Para ello, los investigadores han desarrollado tecnologías capaces de detectar y mitigar ataques en tiempo real. Algunas de las técnicas más comunes incluyen el uso de modelos generativos para crear datos de entrenamiento sintéticos, la incorporación de ejemplos contradictorios en el proceso de entrenamiento y el desarrollo de clasificadores robustos capaces de manejar entradas ruidosas.
En un esfuerzo por aprovechar rápidamente los beneficios que brindan la inteligencia artificial y el aprendizaje automático, muchas organizaciones están poniendo en riesgo la seguridad de sus datos al no centrarse en las crecientes amenazas cibernéticas que conlleva. MLSecOps proporciona un marco sólido que puede ayudar a garantizar que exista el nivel adecuado de protección a medida que los desarrolladores e ingenieros de software se acostumbran más a estas tecnologías emergentes y sus riesgos asociados. Si bien puede que no tenga demanda por mucho tiempo, será invaluable en los próximos años, por lo que vale la pena invertir en él para las organizaciones que se toman en serio la seguridad de los datos.
Hemos brindado el mejor curso de capacitación en seguridad cibernética en línea.
Este artículo se produjo como parte del canal Expert Insights de TechRadarPro, donde destacamos las mejores y más brillantes mentes de la industria tecnológica actual. Las opiniones expresadas aquí son las del autor y no reflejan necesariamente los puntos de vista de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí: https://www.techradar.com/news/submit-your-story-to-techradar-pro
[ad_2]
Source Article Link
