Como una de las tecnologías definitorias de este siglo, la inteligencia synthetic (IA) parece presenciar avances diarios con nuevos participantes en el campo, avances tecnológicos y aplicaciones creativas e innovadoras. El panorama de la seguridad de IA comparte el mismo ritmo vertiginoso con corrientes de legislación recientemente propuesta, novedosos descubrimientos de vulnerabilidades y vectores de amenazas emergentes.
Si bien la velocidad del cambio es emocionante, crea barreras prácticas para la adopción empresarial de IA. Como nuestro Cisco 2024 Índice de preparación de IA Señala que los líderes empresariales citan con frecuencia las preocupaciones sobre la seguridad de la IA como un obstáculo principal para adoptar todo el potencial de la IA en sus organizaciones.
Por eso estamos emocionados de presentar nuestro inaugural Informe de seguridad del estado de la IA. Proporciona una visión basic sucinta y directa de algunos de los desarrollos más importantes en seguridad de IA del año pasado, junto con tendencias y predicciones para el próximo año. El informe también comparte recomendaciones claras para las organizaciones que buscan mejorar sus propias estrategias de seguridad de IA, y destaca algunas de las formas en que Cisco está invirtiendo en un futuro más seguro para la IA.
Aquí hay una descripción basic de lo que encontrará en nuestro primer informe de seguridad del estado de AI:
Evolución del paisaje de amenaza de IA
La rápida proliferación de tecnologías habilitadas para IA y AI ha introducido una nueva superficie de ataque masiva con la que los líderes de seguridad apenas comienzan a lidiar.
El riesgo existe en prácticamente cada paso en todo el ciclo de vida del desarrollo de la IA; Los activos de AI pueden verse directamente comprometidos por un adversario o discretamente comprometidos a través de una vulnerabilidad en la cadena de suministro de IA. El Informe de seguridad del estado de la IA examina varios Vectores de ataque específicos de AI incluyendo ataques de inyección inmediatos, envenenamiento por datos y ataques de extracción de datos. También se refleja en El uso de IA por adversarios para mejorar las operaciones cibernéticas Al igual que la ingeniería social, apoyada por la investigación de Cisco Talos.
Al observar el año siguiente, los avances de vanguardia en la IA indudablemente introducirán nuevos riesgos para que los líderes de seguridad tengan al tanto. Por ejemplo, el surgimiento de AI agente que puede actuar de forma autónoma sin supervisión humana constante parece maduro para la explotación. Por otro lado, el Escala de ingeniería social Amenaza con crecer tremendamente, exacerbado por poderosas herramientas de IA multimodales en las manos equivocadas.
Desarrollos clave en la política de IA
El año pasado ha visto avances significativos en la política de IA, tanto a nivel nacional como internacional.
En los Estados Unidos, ha surgido un enfoque fragmentado de estado por estado en ausencia de regulaciones federales con Más de 700 proyectos de ley relacionados con la IA introducidos solo en 2024. Mientras tanto, los esfuerzos internacionales han llevado a desarrollos clave, como el La colaboración del Reino Unido y Canadá Sobre la seguridad de AI y el Ley de IA de la Unión Europeaque entró en vigor en agosto de 2024 para establecer un precedente para la gobernanza international de la IA.
Las acciones tempranas en 2025 sugieren un mayor enfoque para equilibrar efectivamente la necesidad de seguridad de IA con acelerar la velocidad de la innovación. Los ejemplos recientes incluyen Orden ejecutiva del presidente Trump y el creciente apoyo a un entorno pro-innovación, que se alinea bien con los temas de la Cumbre de Acción de IA celebrada en París en febrero y el reciente plan de acción de oportunidades de IA del Reino Unido.
Investigación de seguridad de IA unique
El equipo de investigación de seguridad de Cisco AI ha liderado y contribuido a varias piezas de investigación innovadora que se destacan en el Informe de Seguridad del Estado de AI.
Investigaciones sobre jailbreaking algorítmico de los modelos de idiomas grandes (LLM) demuestra cómo los adversarios pueden evitar las protecciones del modelo con cero supervisión humana. Esta técnica se puede utilizar para exfiltrar datos confidenciales e interrumpir los servicios de IA. Más recientemente, el equipo exploró Jailbreaking automatizado de modelos de razonamiento avanzado Como Deepseek R1, para demostrar que incluso los modelos de razonamiento aún pueden ser víctimas de las técnicas tradicionales de jailbreaking.
El equipo también explora el Riesgos de seguridad y seguridad de los modelos ajustados. Si bien el ajuste fino es un método standard para mejorar la relevancia contextual de la IA, muchos desconocen las consecuencias inadvertidas como la desalineación del modelo.
Finalmente, el informe revisa dos piezas de investigación unique sobre envenenando conjuntos de datos públicos y Extracción de datos de entrenamiento de LLMS. Estos estudios arrojan luz sobre la facilidad, y rentable, un mal actor puede manipular o exfiltrar datos de aplicaciones de IA empresariales.
Recomendaciones para la seguridad de IA
Asegurar los sistemas de IA requiere un enfoque proactivo e integral.
El informe del estado de AI Safety describe varias recomendaciones procesables, incluida la gestión de riesgos de seguridad en todo el ciclo de vida de la IA, la implementación de controles de acceso sólidos y la adopción de estándares de seguridad de IA como el marco de gestión de riesgos de AI NIST y MITER ATLAS MATRIX. También observamos cómo Cisco AI Protection puede ayudar a las empresas a adherirse a estas mejores prácticas y mitigar el riesgo de IA desde el desarrollo hasta el despliegue.
Lea el estado de AI Safety 2025
¿Listo para leer el informe completo? Puedes encontrarlo aquí.
Nos encantaría escuchar lo que piensas. ¡Haga una pregunta, comente a continuación y manténgase conectado con Cisco Safe en Social!
Canales sociales de seguridad de Cisco
Compartir:
