Cursus — Agent Smith pendiente

«Autonomous reasoning, code generation, and execution»: construir desde cero un agente que usa un modelo de lenguaje para resolver problemas de programación escribiendo y ejecutando Python en un entorno aislado. Proyecto nuevo de 42next, rank 05.

Aviso sobre las fuentes — No se ha encontrado el enunciado publicado. Esta ficha se basa en los README de cinco repositorios independientes de estudiantes de 42 que dicen ser este proyecto (enlaces al final). Lo que todos coinciden en describir se da como requisito probable; lo que solo aparece en uno o dos se marca como no confirmado. Cuando el enunciado esté en el pack se revisará.
De dónde viene — Un modelo de lenguaje, por sí solo, solo produce texto. Un agente es el programa que lo rodea: le pasa una tarea, interpreta lo que responde, ejecuta acciones en el mundo real (leer un fichero, lanzar tests) y le devuelve el resultado para que decida el siguiente paso. La idea se formalizó en el artículo ReAct (Yao et al., 2022), que alterna razonamiento («Thought») y acciones con su observación. Una variante posterior, la de los agentes que actúan escribiendo código en vez de llamadas JSON a herramientas (popularizada por el artículo CodeAct de 2024 y por librerías como smolagents de Hugging Face), es la que sigue este proyecto: el modelo escribe Python que llama a las herramientas como funciones, lo que le permite usar variables, bucles y condiciones entre pasos. El nombre viene del agente Smith de Matrix, el programa que se replica y actúa por su cuenta.

Qué pide

Rank: 05Lenguaje: Python 3.10 (con uv)Modalidad: 1–2 personas en los repos vistos (no confirmado)Requiere: Docker (para SWE-bench)

Según los repositorios consultados, todos coinciden en estas piezas:

Un repo indica que están prohibidos los frameworks de agentes (smolagents, LangGraph, CrewAI, AutoGen…) y que el bucle debe hacerse a mano; el lema «construido desde cero» aparece en varios, pero la lista exacta de prohibiciones no está confirmada.

01El bucle Thought → Code → Observation

Cada iteración: se envía al modelo el prompt de sistema, la tarea y lo observado hasta ahora; se extrae el bloque de código de su respuesta; se ejecuta en el sandbox; y la salida (stdout, errores, si hubo timeout) se añade a la conversación como observación. El espacio de nombres del intérprete se conserva entre pasos, así que una variable definida en un paso sigue disponible en el siguiente.

Qué te obliga a aprender — Que la parte difícil de un agente no es «la IA», sino todo lo que la rodea: sacar código fiable de un texto libre (el modelo no siempre respeta el formato), decidir cuándo parar, controlar cuánto contexto se reenvía en cada vuelta (cada iteración vuelve a mandar todo el historial y los tokens se acumulan) y tratar los fallos del proveedor (límites de peticiones, errores 429, timeouts). Es un problema de ingeniería de sistemas con un componente no determinista en medio.

02El sandbox

El código lo escribe un modelo, así que se trata como código no fiable. Los repos describen sandboxes con: proceso hijo separado (o un contenedor Docker), lista blanca de módulos importables, open limitado a ciertas rutas, builtins recortados, límite de tiempo y límite de memoria con resource.setrlimit, y una configuración cargable desde JSON (validada con Pydantic en varios de los repos vistos). La moulinette incluye, según un README, un script específico que pone a prueba el sandbox.

Qué te obliga a aprender — Aislamiento de procesos y defensa en profundidad. En C ya viste que un proceso hijo tiene su propia memoria; aquí se usa para que un bucle infinito o un import os; os.system(...) del modelo no toque la máquina. Y descubres por qué «quitar funciones peligrosas» dentro de Python no basta por sí solo: el lenguaje tiene demasiadas puertas traseras, de ahí que se combine con límites del sistema operativo y con separación de procesos.

03Herramientas por MCP

Las herramientas no se programan dentro del agente, sino en servidores MCP aparte, y el sandbox las expone como funciones Python que el modelo puede llamar. Para MBPP, los repos muestran herramientas como describe_task, public_tests y run_tests. Para SWE-bench hay un conjunto de nueve herramientas obligatorias que coincide en los repos: leer, editar y listar ficheros, buscar código, buscar definiciones y referencias, ejecutar tests, obtener el parche y ejecutar un comando.

Qué te obliga a aprender — Qué es MCP: un protocolo abierto que Anthropic publicó en noviembre de 2024 para que cualquier aplicación con un modelo pueda descubrir y llamar herramientas externas de forma estándar, por stdio o por HTTP, con mensajes JSON-RPC. Separar «quién decide» (el agente) de «quién actúa» (el servidor de herramientas) es la misma idea de cliente y servidor de los proyectos de red, aplicada a la IA.

04MBPP y SWE-bench

Límites que citan dos repos distintos (no confirmados en el enunciado): MBPP, 10 iteraciones y 120 s; SWE-bench, 30 iteraciones y 900 s, con topes de tokens de entrada y de salida acumulados.

Qué te obliga a aprender — A medir. Un benchmark convierte «parece que funciona» en un porcentaje reproducible, y obliga a pensar en lo que se mide de verdad: MBPP comprueba que una función aislada pasa tests; SWE-bench, que el agente sabe orientarse en un código ajeno de miles de ficheros, que es lo que hace un programador en su día a día.

05Métricas y comparativa de modelos

Todos los repos guardan, por cada paso, la salida cruda del modelo, el código enviado al sandbox, su salida, los tokens de entrada y salida, la latencia, los reintentos, el modelo y la URL del proveedor. Varios incluyen un BENCHMARK_REPORT.md; uno lo describe como obligatorio: comparar al menos cinco modelos sobre las mismas tres o más tareas de SWE-bench, con métricas intermedias de exploración y un estudio de ablación (no confirmado). Los repos usan proveedores con capa gratuita y rotan varias claves de API cuando una se queda sin cuota.

Qué te obliga a aprender — Que con modelos de lenguaje no basta con que algo salga bien una vez: el mismo agente con otro modelo, otro proveedor u otro prompt da resultados distintos. Una ablación consiste en quitar una pieza (por ejemplo, una parte del prompt) y medir cuánto cambia el resultado, para saber qué aporta cada decisión.

Puntos delicados

Fuente

Enunciado oficial: no encontrado. Repositorios de estudiantes consultados (README):