La reciente aparición de poderoso de código abierto Modelos de IA como Deepseek ha enviado a muchas empresas luchando para bloquear el acceso según sus políticas de seguridad. Mientras que los equipos de IA recurren cada vez más a los repositorios abiertos para aprovechar modelos gratuitos y altamente capaces como Deepseek, los equipos de seguridad enfrentan una presión creciente para evitar la descarga sin restricciones de artefactos de fuentes no confiables. El resultado ultimate es claro: a las organizaciones se preocupan profundamente por la confianza en su cadena de suministro de IA.
Es por eso que estamos especialmente contentos de anunciar que, comenzando de inmediato, todos los usuarios existentes de Cisco Safe Endpoint y la protección de amenazas de correo electrónico están protegidos contra los artefactos de la cadena de suministro de IA maliciosa, ya sea que se descargue directamente del repositorio de código abierto, compartido por correo electrónico, o descargado de una unidad compartida.
Comprender la seguridad de la cadena de suministro de IA
En Cisco, hemos observado de primera mano que, si bien las organizaciones se preocupan por varias preocupaciones de seguridad de la IA, como inyecciones rápidas y jailbreaks, sus instintos de seguridad reaccionan primero a los riesgos en la cadena de suministro de IA. Los equipos de ML enfrentan un desafío crítico: los equipos de seguridad a menudo bloquean el acceso por completo a plataformas como abrazar la cara, evitando el uso de modelos de código abierto. Esto crea una tensión difícil: el ritmo rápido de la innovación de código abierto significa que los equipos corren el riesgo de quedarse atrás si no pueden acceder a estos modelos, sin embargo, las preocupaciones de los equipos de seguridad sobre los modelos dañinos que causan problemas organizativos generalizados son igualmente válidos.
La seguridad de la cadena de suministro de IA abarca las prácticas y medidas diseñadas para proteger las empresas y aplicaciones durante todo el proceso de desarrollo y despliegue de IA. Esto incluye asegurar pilas de software program, datos de capacitación y modelos de terceros contra vulnerabilidades y vectores de ataque, como defectos de software program, problemas de deserialización, puertas traseras arquitectónicas y envenenamiento de datos/modelos.
“Asegurar la cadena de suministro de IA es más que una necesidad técnica, es la base de la confianza en la tecnología. Las organizaciones en todo el mundo reconocen cada vez más que la seguridad de la cadena de suministro es elementary para proteger tanto las aplicaciones de IA como los sistemas tradicionales de las vulnerabilidades heredadas en cada etapa de desarrollo y producción. En Cisco, estamos comprometidos a liderar este cargo equipando a nuestros clientes con protecciones avanzadas contra estas amenazas emergentes, asegurando que la innovación no llegue a expensas de la seguridad “.
Omar Santos, Distinguido Ingeniero, Seguridad y Belief en Cisco y copresidente de la Coalición para AI Safe
Los tres pilares de la seguridad de la cadena de suministro de IA
1. Seguridad del software program
El componente de software program de la seguridad de la cadena de suministro de IA aborda varias áreas críticas:
- Vulnerabilidades de la biblioteca de software program que pueden comprometer la integridad del sistema
- Repositorios no confiables, incluidos repositorios configurados maliciosamente en plataformas como abrazar la cara
- Vulnerabilidades marco, como las que se encuentran en herramientas populares como Langchain
2. Seguridad modelo
Los modelos presentan desafíos de seguridad únicos, que incluyen:
- Malware integrado dentro de los archivos de modelo
- Dependencias con vulnerabilidades conocidas (por ejemplo, zlib.decompress)
- Puertas traseras arquitectónicas (por ejemplo, en capas lambda)
- Puertas traseras integradas en pesos de modelos
- Modelos cuyas propiedades de comportamiento violan las políticas de la empresa o los estándares de seguridad
3. Seguridad de datos
El aspecto de datos de la seguridad de la cadena de suministro de IA se centra en:
- Potencial de envenenamiento durante los procesos de entrenamiento
- Knowledge y responsabilidad de procedencia del modelo en el linaje de modelos o conjuntos de datos
- Problemas de licencia y cumplimiento relacionados con modelos, o heredados de modelos parentales y datos de capacitación
Desafíos actuales de la industria cruzada
Las organizaciones enfrentan varios desafíos apremiantes para asegurar su cadena de suministro de IA:
- Los equipos de seguridad no pueden confiar en los procesos de escaneo o verificación de modelos manuales
- Las vulnerabilidades del modelo pueden afectar tanto la seguridad de la aplicación como la postura de seguridad empresarial a través de la ejecución de código arbitraria o las puertas traseras
- Los procesos de seguridad actuales a menudo impiden la velocidad de innovación y desarrollo
“Los repositorios de código abierto como Huggingface son un dilema particularmente interesante porque necesitamos acceso para validar modelos con los que estamos trabajando, pero también es un repositorio no controlado de modelos potencialmente maliciosos. Es un imperativo estratégico permitir el acceso, pero también un imperativo de seguridad para bloquear el uso de modelos maliciosos “.
Sarah Winslow, directora | PSEC Tecnologías emergentes y AI, Veradigma
Introducción de protección de la cadena de suministro de AI de punto ultimate seguro
Nos complace anunciar que todos los clientes de punto ultimate de Cisco Cisco ahora reciben protección automática contra los artefactos de la cadena de suministro de IA maliciosa derivados de la cara abrazada. No se requiere configuración adicional. La solución ofrece:
- Bloqueo automático de archivos maliciosos conocidos durante las operaciones de lectura/escritura/modificación
- Protección contra múltiples vectores de amenazas, incluidas descargas directas y entrega de canales laterales (por ejemplo, archivo zip a través de una unidad compartida)
- Capacidades de alerta o cuarentena configurables
Además, la detección de amenazas de correo electrónico de Cisco se ha actualizado para bloquear automáticamente los archivos adjuntos de correo electrónico que contienen artefactos de seguridad de la cadena de suministro de IA maliciosa como archivos adjuntos.
Las capacidades mejoradas protegen específicamente contra cinco amenazas críticas:
- Vulnerabilidades de ejecución del código
- Vulnerabilidades de ejecución de comandos del sistema
- Vulnerabilidades de redes y ejecución remota
- Vulnerabilidades de serialización y deserialización
- Interacción net y manipulación de la interfaz de usuario
Cisco AI Inteligencia de amenaza + Protección avanzada de malware
Ahora, una parte de Cisco, la inteligencia de amenazas de nuestro equipo de investigación de amenazas de seguridad de IA ahora informa la defensa de malware (anteriormente conocida como protección de malware avanzada o AMP). La defensa de malware se ha beneficiado durante mucho tiempo de la investigación de amenazas de clase mundial y los alimentos de inteligencia de Cisco Talos.
Se han estudiado las amenazas de seguridad en los modelos de aprendizaje automático y los formatos de datos y rPortado por una inteligencia robusta (ahora una compañía de Cisco) desde 2021, donde llegamos temprano para establecer un equipo de investigación de amenazas de seguridad de IA y servicios de inteligencia posteriores. En 2023, nosotros Base de datos de riesgos de IA lanzada como herramienta de investigación de la cadena de suministro de IAy lo mejoró y lo lanzó como un Proyecto de código abierto en Github en asociación con Miter, bajo el conjunto más amplio de Herramientas de Mitre Atlas.
Mirando hacia el futuro
Este es solo el comienzo de nuestro compromiso con la seguridad de la cadena de suministro de IA. Hay mucho más por venir para proteger a los desarrolladores de sistemas de IA contra el riesgo de la cadena de suministro. A medida que AI continúa evolucionando e integrando en los sistemas empresariales, asegurar la cadena de suministro de IA se vuelve cada vez más crítica. Las organizaciones no necesitan sacrificar la seguridad por la innovación con las ofertas de seguridad de Cisco AI.
Nos encantaría escuchar lo que piensas. ¡Haga una pregunta, comente a continuación y manténgase conectado con Cisco Safe en Social!
Canales sociales de seguridad de Cisco
Compartir:
