«Will you answer my questions?»: un sistema de Retrieval-Augmented Generation que indexa el código de vLLM, encuentra los fragmentos que responden a una pregunta y hace que un modelo pequeño y local conteste a partir de ellos. Proyecto del rank 04.
Un sistema RAG que responde preguntas sobre un código fuente: ingerir el repositorio de vLLM (versión 0.10.1, adjunto al enunciado) en un índice, recuperar los fragmentos más relevantes para una pregunta, generar una respuesta con Qwen/Qwen3-0.6B y medir la calidad de la recuperación con recall@k. Se juzga si encuentra las ubicaciones correctas y si las respuestas se apoyan en ellas.
Reglas comunes de los proyectos Python de 42next (flake8, mypy, docstrings, excepciones
controladas, Makefile con install, run, debug,
clean, lint) y, además, propias de este proyecto:
uv sync;Leer los ficheros de vLLM que consideres útiles, partirlos en trozos (chunks) y guardar
en data/processed/ un índice que se pueda consultar en milisegundos. Indexar todo el
corpus: como mucho 5 minutos.
--max_chunk_size, por defecto y como máximo
2000 caracteres: la moulinette rechaza cualquier fuente más larga, y una sola
invalida toda la salida.Una idea de lo que mide TF-IDF, en su forma más básica (BM25 la refina con saturación de la frecuencia y normalización por longitud del documento):
tf(t, d) = cuántas veces aparece el término t en el fragmento d
idf(t) = log(N / nº de fragmentos que contienen t)
peso = tf · idf → alto si t abunda en d y escasea en el resto
Dada una pregunta, devolver los top-k fragmentos más relevantes. Cada resultado es una
ubicación: un file_path y el rango de caracteres que cubre
(first_character_index, last_character_index), de como mucho 2000
caracteres. La ruta debe coincidir exactamente con la del corpus (por ejemplo
data/raw/vllm-0.10.1/docs/features/lora.md): se compara literalmente.
Tiene que funcionar para una sola pregunta y en lote sobre un dataset de preguntas en JSON. Mínimos: 80 % de recall@5 en las preguntas de documentación y 50 % en las de código; y como mucho 90 segundos para 200 preguntas.
Con los fragmentos recuperados, generar una respuesta en lenguaje natural con Qwen3-0.6B, pasándole el contexto dentro de su presupuesto de tokens y produciendo JSON estructurado según los modelos pydantic. Una respuesta satisfactoria es coherente, se apoya en las fuentes recuperadas sin alucinaciones graves y responde a lo que se ha preguntado.
El enunciado reconoce que un modelo de 0,6 mil millones de parámetros tiene límites de razonamiento: esos criterios son el objetivo, no un aprobado/suspenso estricto. La nota prioriza la calidad de la recuperación, que la respuesta se base en el contexto y la estrategia de prompt, por delante de una redacción perfecta.
El enunciado da los modelos pydantic que validan lo que pasa entre etapas (se pueden ampliar con
campos o modelos nuevos): MinimalSource (una ubicación), UnansweredQuestion
y AnsweredQuestion, RagDataset, MinimalSearchResults y
MinimalAnswer, y los contenedores StudentSearchResults y
StudentSearchResultsAndAnswer (lista de resultados más el k usado). Cada
comando escribe un JSON que cumple uno de ellos.
Todo se invoca como uv run python -m src <comando>. Comandos obligatorios:
| comando | qué hace |
|---|---|
index | ingiere data/raw/ y crea el índice en data/processed/ |
search | top-k fuentes para una pregunta |
search_dataset | búsqueda sobre un dataset completo → JSON StudentSearchResults |
answer | responde una pregunta con el contexto recuperado |
answer_dataset | respuestas para un dataset → JSON StudentSearchResultsAndAnswer |
evaluate | tu propio recall@k contra un dataset con respuestas, para iterar |
Ninguna ruta puede ir escrita en el código: todas son argumentos. La CLI se prueba con entradas
degeneradas (pregunta vacía o sin sentido, k=0, ficheros que no existen, JSON mal
formado) y nunca debe acabar en traceback. En la defensa se ejecuta automáticamente la cadena
index → search_dataset → moulinette con unos scripts de referencia, así que hay que
respetar la estructura del repo que fija el enunciado (src/,
pyproject.toml y uv.lock en la raíz, data/raw/,
data/processed/, data/datasets/…, data/output/…). La
nota oficial la calcula el ejecutable de la moulinette que se da con el proyecto; tu código no
puede importarlo ni llamarlo.
En el repo no van datos grandes, pesos del modelo ni salidas generadas: los genera el evaluador. El enunciado avisa de que la pila de deep learning y los pesos pueden ocupar varios gigas.
uv.lock. Fire genera la CLI a partir de las funciones y sus argumentos, así que la
forma de tu código es la interfaz.Para cada pregunta, recall@k es la fracción de sus fuentes correctas que aparecen entre tus k primeros resultados. Una fuente cuenta como encontrada si uno de tus resultados está en el mismo fichero y solapa su rango de caracteres con una IoU (intersección sobre unión) de al menos 0,05 — el listón es bajo: basta con un chunk que cubra la zona correcta. Un resultado en otro fichero nunca cuenta, de ahí que la ruta deba ser exacta. Rendimiento mínimo: indexar en 5 minutos o menos, 200 preguntas en 90 segundos o menos, recall@5 de 80 % (docs) y 50 % (código).
El README en inglés debe incluir, además de lo común: arquitectura del sistema, estrategia de troceado, método de recuperación, análisis de rendimiento (recall@k), decisiones de diseño, dificultades y ejemplos de uso.
Cinco, un punto cada uno, todos en CPU, y solo se miran si la parte obligatoria valida entera:
k=0, pregunta vacía, JSON roto) que acaban en traceback.El enunciado no está descargado en el pack. Se ha leído el PDF del enunciado (v2.0) subido al repositorio público de un estudiante, junto con el README de la moulinette del proyecto, y se ha contrastado con otros repos públicos del mismo proyecto (milestone 4 del nuevo common core), que describen lo mismo: vLLM, Qwen3-0.6B, BM25/TF-IDF, recall@k.
El enunciado oficial está en la página del proyecto en la intra (slug
rag-against-the-machine).