La herramienta de prueba de agentes de código AI de Microsoft de código abierto

Los agentes de codificación ahora deciden qué SDK usar y qué herramientas llamar, aunque las cosas que funcionan sin problemas para los desarrolladores humanos aún pueden atascar al agente.

Construido por Microsoft alcance Para descubrir esos fracasos. Ejecuta la misma tarea a través de diferentes agentes y califica el resultado de cada agente. Su código se proporciona a continuación. Licencia MIT.

La llaman el área de «experiencia del agente desarrollador», o De zorroaunque su «alcance» es evaluar los agentes codificadores existentes.

¿Cómo funciona?

Proporciona a Scope una tarea, una biblioteca de códigos de inicio (si es necesario) y una configuración de proxy. Luego impulsa a los agentes existentes, p. Copiloto de GitHub y Claude Corder A través de esa misión.

El éxito se define a través de criterios que forman un gráfico de dependencia. Un cheque puede restringir otro cheque. Un ejemplo simple sería pedirle al proxy un servidor Node.js y verificar si hay uno. GET /health Ruta que devuelve JSON.

Basado en LL.M. Juez El servicio califica cada ejecución según estos criterios. Microsoft dice recordar que puede cometer errores Las conclusiones importantes aún requieren una revisión manual.

Los registros en vivo, los archivos generados, las instantáneas del espacio de trabajo y las llamadas a herramientas se conservan para cada ejecución. Los criterios de falla se pueden rastrear a través de estos pasos. Los perfiles versionados guardan agentes, modelos, habilidades, servidores MCP y extensiones.

También puedes intercambiar uno, volver a ejecutar la misma tarea y comparar. Los resultados variarán con cada intento y realizar una tarea repetidamente puede ayudar a distinguir los problemas recurrentes de los puntuales.

Luego están los personajes configurables, que te permiten establecer el punto de vista y el tono del usuario simulado. Puedes ver los resultados en el portal o utilizar interfaz de línea de comando y API de descanso Introdúzcalos en scripts y canalizaciones.

¿Dónde lo usarás?

Los equipos de documentación pueden monitorear las instrucciones que los agentes omiten cada vez que las ejecutan. Arregle la página y ejecute el escenario nuevamente.

Los mantenedores del SDK pueden verificar primero si la agencia ha seleccionado su SDK. También pueden probar si un nuevo código de muestra o habilidades cambian esto.

Para los servidores CLI y MCP, el seguimiento muestra dónde se detuvo el agente. Esto podría indicar una descripción vaga de la herramienta o un mensaje de error que deja al agente adivinando.

¿Alguna pregunta?

No puedes simplemente registrarte y comenzar a probar. Scope no tiene una versión alojada, por lo que puede ejecutarla usted mismo.

La configuración nativa requiere los siguientes componentes: Docker con Compose v2, Node 22, pnpm, mkcert y GitHub CLI. Microsoft tiene un guía de desarrollo local Guíate a través de todo.

Los trabajadores preestablecidos también requieren derechos válidos de GitHub Copilot, mientras que los jueces requieren las credenciales del proveedor del modelo. Los equipos que quieran compartir implementaciones pueden Implementarlo en Kubernetes Gráfico con timón.

Los códigos de rango están activados GitHub. Sin embargo, si desea contribuir, lo más probable es que deba aceptar el Acuerdo de licencia de colaborador de Microsoft.

Lectura sugerida📖: puede Utilice inteligencia artificial para eliminar anuncios En tu televisor inteligente.

La gente está utilizando la inteligencia artificial para deshacerse de los anuncios de televisión inteligentes y hacer que la televisión sea más rápida

Los usuarios de Android TV apuntan Claude Code a sus televisores a través de ADB para eliminar anuncios, telemetría e hinchazón. Así es como funciona y qué puede salir mal.