Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información
La siguiente fase de la IA agente puede ser simplemente la evaluación y el monitoreo, ya que las empresas quieren que los agentes que están comenzando a implementar sean más observables.
Mientras Los puntos de referencia de los agentes de IA pueden ser engañososes muy valioso ver si el agente está trabajando como quiere. Con este fin, las empresas están comenzando a ofrecer plataformas donde los clientes pueden proteger a los agentes de IA o evaluar su desempeño.
fuerza de ventas lanzó su plataforma de evaluación de agentes, Agentforce Testing Heart, en un piloto limitado el miércoles. Se espera disponibilidad basic en diciembre. Testing Heart permite a las empresas observar y crear prototipos de agentes de IA para garantizar que accedan a los flujos de trabajo y los datos que necesitan.
Las nuevas capacidades del Testing Heart incluyen pruebas generadas por IA para Agentforce, Sandboxes para Agentforce y Information Cloud y monitoreo y observabilidad para Agentforce.
Las pruebas generadas por IA permiten a las empresas utilizar modelos de IA para generar “cientos de interacciones sintéticas” para probar si los agentes terminan respondiendo con tanta frecuencia como las empresas quieren. Como sugiere el nombre, los sandboxes ofrecen un entorno aislado para probar a los agentes y al mismo tiempo reflejan los datos de una empresa para reflejar mejor cómo funcionará el agente para ellos. El monitoreo y la observabilidad permiten a las empresas llevar un registro de auditoría al sandbox cuando los agentes entran en producción.
Patrick Stokes, vicepresidente ejecutivo de advertising de productos e industrias de Salesforce, dijo a VentureBeat que el Centro de pruebas es parte de una nueva clase de agentes que la compañía llama Gestión del ciclo de vida del agente.
“Estamos posicionando lo que creemos que será una gran subcategoría nueva de agentes”, dijo Stokes. “Cuando decimos ciclo de vida, nos referimos a todo, desde la génesis hasta el desarrollo, pasando por la implementación, y luego las iteraciones de su implementación a medida que avanza”.
Stokes dijo que en este momento, el Centro de pruebas no tiene información específica del flujo de trabajo donde los desarrolladores puedan ver las opciones específicas en API, datos o modelo que utilizaron los agentes. Sin embargo, Salesforce recopila ese tipo de datos en su Einstein Belief Layer.
“Lo que estamos haciendo es crear herramientas de desarrollo para exponer esos metadatos a nuestros clientes para que realmente puedan usarlos para desarrollar mejor sus agentes”, dijo Stokes.
Salesforce se está centrando en los agentes de IA y centra gran parte de su energía en sus oferta agente Agentforce. Los clientes de Salesforce pueden utilizar agentes preestablecidos o crear agentes personalizados en Agentforce para conectarse a sus instancias.
Agentes evaluadores
Los agentes de IA tocan muchos puntos en una organización y, dado que los buenos ecosistemas de agentes tienen como objetivo automatizar una gran parte de los flujos de trabajo, asegurarse de que funcionen bien. se vuelve esencial.
Si un agente determine utilizar la API incorrecta, podría significar un desastre para una empresa. Los agentes de IA son de naturaleza estocástica, como los modelos que los impulsan, y consideran cada probabilidad potencial antes de llegar a un resultado. Stokes dijo que Salesforce prueba a los agentes bombardeándolos con versiones de las mismas declaraciones o preguntas. Sus respuestas se califican como aprobadas o reprobadas, lo que permite al agente aprender y evolucionar dentro de un entorno seguro que los desarrolladores humanos pueden controlar.
Las plataformas que ayudan a las empresas a evaluar agentes de IA se están convirtiendo rápidamente en un nuevo tipo de oferta de productos. En junio, empresa de inteligencia synthetic para la experiencia del cliente Sierra lanzó una prueba comparativa de agentes de IA llamado TAU-bench para observar el desempeño de los agentes conversacionales. empresa de automatizacion Ruta de acceso a la interfaz de usuario lanzó su Plataforma Agent Builder en octubre que también ofrecía un medio para evaluar el rendimiento del agente antes de la implementación completa.
Probar aplicaciones de IA no es nada nuevo. Además de evaluar el rendimiento de los modelos, muchos repositorios de modelos de IA como AWS Bedrock y Microsoft Azure ya permiten a los clientes probar modelos básicos en un entorno controlado para ver cuál funciona mejor para sus casos de uso.
