Cursus — Agent Smith pendiente
«Autonomous reasoning, code generation, and execution»: construir desde cero un
agente que usa un modelo de lenguaje para resolver problemas de programación escribiendo y
ejecutando Python en un entorno aislado. Proyecto nuevo de 42next, rank 05.
Aviso sobre las fuentes — No se ha encontrado el enunciado
publicado. Esta ficha se basa en los README de cinco repositorios independientes de
estudiantes de 42 que dicen ser este proyecto (enlaces al final). Lo que todos coinciden en
describir se da como requisito probable; lo que solo aparece en uno o dos se marca como
no confirmado. Cuando el enunciado esté en el pack se revisará.
De dónde viene — Un modelo de lenguaje, por sí solo, solo
produce texto. Un agente es el programa que lo rodea: le pasa una tarea, interpreta
lo que responde, ejecuta acciones en el mundo real (leer un fichero, lanzar tests) y le
devuelve el resultado para que decida el siguiente paso. La idea se formalizó en el artículo
ReAct (Yao et al., 2022), que alterna razonamiento («Thought») y acciones con
su observación. Una variante posterior, la de los agentes que actúan escribiendo
código en vez de llamadas JSON a herramientas (popularizada por el artículo CodeAct
de 2024 y por librerías como smolagents de Hugging Face), es la que sigue este
proyecto: el modelo escribe Python que llama a las herramientas como funciones, lo que le
permite usar variables, bucles y condiciones entre pasos. El nombre viene del agente Smith de
Matrix, el programa que se replica y actúa por su cuenta.
Qué pide
Rank: 05Lenguaje: Python 3.10 (con uv)Modalidad: 1–2 personas en los repos vistos (no confirmado)Requiere: Docker (para SWE-bench)
Según los repositorios consultados, todos coinciden en estas piezas:
- Un bucle de agente propio: el modelo razona, escribe código Python, el código
se ejecuta y su salida se le devuelve, hasta que llama a
final_answer(...) o se
alcanza un límite.
- Un sandbox configurable donde se ejecuta el código generado por el modelo.
- Las herramientas se ofrecen a través de servidores MCP (Model Context Protocol),
uno por benchmark (
mcp_tools_mbpp.py y mcp_tools_swebench.py).
- Dos programas de línea de comandos,
agent_mbpp y
agent_swebench, que reciben un fichero de tarea, el modelo y la URL del
proveedor (cualquier API compatible con la de OpenAI) y escriben un JSON con la solución
y las métricas de cada paso.
- Una moulinette que se entrega con el proyecto y que solo genera tareas
(
dump) y valida soluciones (validate); no ejecuta el código del
estudiante.
Un repo indica que están prohibidos los frameworks de agentes (smolagents,
LangGraph, CrewAI, AutoGen…) y que el bucle debe hacerse a mano; el lema «construido desde
cero» aparece en varios, pero la lista exacta de prohibiciones no está confirmada.
01El bucle Thought → Code → Observation
Cada iteración: se envía al modelo el prompt de sistema, la tarea y lo observado hasta
ahora; se extrae el bloque de código de su respuesta; se ejecuta en el sandbox; y la salida
(stdout, errores, si hubo timeout) se añade a la conversación como observación. El
espacio de nombres del intérprete se conserva entre pasos, así que una variable definida en
un paso sigue disponible en el siguiente.
Qué te obliga a aprender — Que la parte difícil de un agente no
es «la IA», sino todo lo que la rodea: sacar código fiable de un texto libre (el modelo no
siempre respeta el formato), decidir cuándo parar, controlar cuánto contexto se reenvía en
cada vuelta (cada iteración vuelve a mandar todo el historial y los tokens se acumulan) y
tratar los fallos del proveedor (límites de peticiones, errores 429, timeouts). Es un
problema de ingeniería de sistemas con un componente no determinista en medio.
02El sandbox
El código lo escribe un modelo, así que se trata como código no fiable. Los repos
describen sandboxes con: proceso hijo separado (o un contenedor Docker), lista blanca de
módulos importables, open limitado a ciertas rutas, builtins recortados, límite
de tiempo y límite de memoria con resource.setrlimit, y una configuración
cargable desde JSON (validada con Pydantic en varios de los repos vistos). La moulinette incluye,
según un README, un script específico que pone a prueba el sandbox.
Qué te obliga a aprender — Aislamiento de procesos y defensa en
profundidad. En C ya viste que un proceso hijo tiene su propia memoria; aquí se usa para que
un bucle infinito o un import os; os.system(...) del modelo no toque la máquina.
Y descubres por qué «quitar funciones peligrosas» dentro de Python no basta por sí solo: el
lenguaje tiene demasiadas puertas traseras, de ahí que se combine con límites del sistema
operativo y con separación de procesos.
03Herramientas por MCP
Las herramientas no se programan dentro del agente, sino en servidores MCP aparte, y el
sandbox las expone como funciones Python que el modelo puede llamar. Para MBPP, los repos
muestran herramientas como describe_task, public_tests y
run_tests. Para SWE-bench hay un conjunto de nueve herramientas
obligatorias que coincide en los repos: leer, editar y listar ficheros, buscar código,
buscar definiciones y referencias, ejecutar tests, obtener el parche y ejecutar un
comando.
Qué te obliga a aprender — Qué es MCP: un protocolo abierto que
Anthropic publicó en noviembre de 2024 para que cualquier aplicación con un modelo pueda
descubrir y llamar herramientas externas de forma estándar, por stdio o por HTTP, con
mensajes JSON-RPC. Separar «quién decide» (el agente) de «quién actúa» (el servidor de
herramientas) es la misma idea de cliente y servidor de los proyectos de red, aplicada a la
IA.
04MBPP y SWE-bench
- MBPP («Mostly Basic Python Problems», Google, 2021): unos mil problemas cortos
en los que hay que escribir una función que pase unos tests. La respuesta final es el código
de la función.
- SWE-bench (Princeton, 2023; se usa la variante Verified): fallos reales
de proyectos reales (sympy, django, scikit-learn…) sacados de issues de GitHub. El agente
trabaja dentro de un contenedor Docker con el repositorio, explora, edita y entrega un
git diff que luego se valida con los tests del proyecto.
Límites que citan dos repos distintos (no confirmados en el enunciado): MBPP, 10
iteraciones y 120 s; SWE-bench, 30 iteraciones y 900 s, con topes de tokens de entrada y de
salida acumulados.
Qué te obliga a aprender — A medir. Un benchmark convierte
«parece que funciona» en un porcentaje reproducible, y obliga a pensar en lo que se mide de
verdad: MBPP comprueba que una función aislada pasa tests; SWE-bench, que el agente sabe
orientarse en un código ajeno de miles de ficheros, que es lo que hace un programador en su
día a día.
05Métricas y comparativa de modelos
Todos los repos guardan, por cada paso, la salida cruda del modelo, el código enviado al
sandbox, su salida, los tokens de entrada y salida, la latencia, los reintentos, el modelo y
la URL del proveedor. Varios incluyen un BENCHMARK_REPORT.md; uno lo describe
como obligatorio: comparar al menos cinco modelos sobre las mismas tres o más
tareas de SWE-bench, con métricas intermedias de exploración y un estudio de ablación
(no confirmado). Los repos usan proveedores con capa gratuita y rotan varias claves de API
cuando una se queda sin cuota.
Qué te obliga a aprender — Que con modelos de lenguaje no basta
con que algo salga bien una vez: el mismo agente con otro modelo, otro proveedor u otro
prompt da resultados distintos. Una ablación consiste en quitar una pieza (por
ejemplo, una parte del prompt) y medir cuánto cambia el resultado, para saber qué aporta
cada decisión.
Puntos delicados
- Las claves de API van en un
.env ignorado por Git; nunca en el
repo, en los logs ni en los JSON de resultados.
- Los límites gratuitos de los proveedores: varios repos cuentan que muchos
modelos gratuitos fallan en SWE-bench por límites de peticiones (HTTP 429) o por pasarse
del presupuesto de tokens.
- El contexto crece en cada iteración: sin recortar observaciones largas, el
presupuesto de tokens se agota antes de terminar.
- Docker es necesario para SWE-bench; un README avisa de problemas con Docker en
modo rootless (sin root), que es como suele estar en los puestos de 42.
- Extraer el código de la respuesta: los modelos mezclan formatos (bloques de
código, XML, JSON), y hay que tolerarlo sin ejecutar texto que no es código.
Fuente
Enunciado oficial: no encontrado. Repositorios de estudiantes consultados (README):