Cursus — Python Module 08 pendiente

«The Matrix»: el módulo que sale del lenguaje y entra en el ecosistema. Entornos virtuales, gestión de dependencias con pip y Poetry, y configuración por variables de entorno con ficheros .env. Rank 02.

La pastilla roja — Todo lo hecho hasta ahora en Python usaba la instalación del sistema y la librería estándar. En el mundo real un proyecto depende de decenas de paquetes de terceros con versiones concretas, y dos proyectos en la misma máquina pueden necesitar versiones incompatibles del mismo paquete. La respuesta de Python son los entornos virtuales: carpetas con su propio intérprete y su propio site-packages, aislados del sistema. El módulo venv forma parte de la librería estándar desde Python 3.3 (PEP 405); pip instala paquetes desde PyPI, y Poetry va un paso más allá: declara el proyecto en pyproject.toml (el formato estándar de PEP 518 y PEP 621), resuelve las versiones y las congela en un fichero de bloqueo. La tercera pata es la configuración: las contraseñas y claves no se escriben en el código, se leen del entorno, una práctica que popularizó la metodología Twelve-Factor App. Todo ambientado en Matrix, con Morpheus, Neo y el Oráculo, y con la «ingeniería de datos» como horizonte.

Qué pide

Rank: 02Python: 3.10 o posteriorObligatorio: flake8, mypy (anotaciones de tipo completas)Herramientas: venv, pip, Poetry, python-dotenv

Tres ejercicios en ex0/, ex1/ y ex2/. Las reglas generales de siempre (flake8, anotaciones comprobadas con mypy, colecciones y funciones integradas permitidas), con dos añadidos: la gestión de excepciones debe proteger los flujos de datos, y hay que probar los programas en entornos distintos, con y sin entorno virtual y con y sin dependencias instaladas. A diferencia de otros módulos, aquí todas las funciones integradas están permitidas.

Lo que se evalúa en la corrección, según el enunciado: entender qué son los entornos virtuales y por qué importan, las diferencias entre pip y Poetry, cómo las variables de entorno hacen una aplicación segura y configurable, y saber explicarlo a otros.

ex0construct

Entrega: ex0/construct.pyAutorizado: sys, os, site, print()

«The Construct», el espacio de entrenamiento aislado. Un programa que:

Debe funcionar dentro y fuera de un entorno, con salidas distintas: fuera, un aviso de que «las máquinas ven todo lo que instalas» y las instrucciones; dentro, el nombre y la ruta del entorno y la ruta de instalación de paquetes. El entorno virtual no se sube al repositorio: en la corrección hay que poder crear uno nuevo. Los comandos que propone el enunciado:

python3 -m venv matrix_env
source matrix_env/bin/activate      # en Unix
python3 construct.py
Qué te obliga a aprender — Qué es realmente un entorno virtual: no es una máquina virtual ni un contenedor, solo una carpeta con un enlace al intérprete, su propio site-packages y un pyvenv.cfg. «Activarlo» apenas cambia el PATH de tu shell para que python y pip apunten a esa carpeta. Desde dentro, Python lo delata en el módulo sys: en un entorno virtual sys.prefix (dónde está el entorno) y sys.base_prefix (dónde está la instalación original) dejan de coincidir. El módulo site es el que añade los directorios de paquetes a sys.path al arrancar.

ex1loading

Entrega: ex1/loading.py, requirements.txt, pyproject.tomlAutorizado: pandas, requests, matplotlib, numpy, sys, importlib

«Cargar programas», como Neo pidiendo armas. Una pequeña herramienta de análisis de datos que:

Hay que entregar los dos ficheros de dependencias, uno por herramienta. Los flujos que deben funcionar:

pip install -r requirements.txt    # pip
python3 loading.py

poetry install                     # Poetry
poetry run python loading.py

Excepcionalmente, en este ejercicio se admiten avisos de flake8 y mypy, pero solo los relacionados con imports; el enunciado añade que hay mecanismos para evitarlos si te pica la curiosidad.

Qué te obliga a aprender — La diferencia entre declarar dependencias y bloquearlas. Un requirements.txt es una lista plana de paquetes (con versiones fijas o no) que pip instala tal cual en el entorno activo. Poetry parte de pyproject.toml, donde declaras rangos de versiones, resuelve un conjunto compatible, lo apunta en poetry.lock para que todos instalen exactamente lo mismo y crea y gestiona su propio entorno virtual (de ahí poetry run). También introduce las importaciones que pueden fallar: un import de un paquete no instalado lanza ModuleNotFoundError, que se puede capturar, e importlib permite importar o consultar módulos por nombre en tiempo de ejecución. Y de paso, un primer contacto con el trío básico de la ciencia de datos en Python: numpy, pandas y matplotlib.

ex2oracle

Entrega: ex2/oracle.py, requirements.txt, .env.example, .gitignoreAutorizado: os, sys, python-dotenv, operaciones con ficheros

El Oráculo lo sabe todo porque tiene acceso a la configuración. Un programa que:

Las variables que debe manejar: MATRIX_MODE («development» o «production»), DATABASE_URL, API_KEY, LOG_LEVEL y ZION_ENDPOINT. Tres escenarios de prueba: sin configuración (avisos o valores por defecto), con .env copiado de .env.example, y con variables en la línea de comandos, que deben prevalecer sobre el .env:

cp .env.example .env
MATRIX_MODE=production API_KEY=secret123 python3 oracle.py

El .env real va en .gitignore, nunca al repositorio, y hay que saber explicar por qué.

Qué te obliga a aprender — Que el código y la configuración son cosas distintas. El mismo programa debe poder ejecutarse en tu portátil y en producción cambiando solo el entorno, y una clave escrita en el código acaba en el historial de git para siempre (borrarla en un commit posterior no la saca del historial). Las variables de entorno son un mecanismo del sistema operativo: cada proceso hereda las de su padre, y en Python se leen con os.environ u os.getenv. Un .env es solo una comodidad para el desarrollo; python-dotenv lo vuelca en el entorno y, por defecto, no pisa las variables que ya existan, que es justo la precedencia que pide el enunciado. El .env.example documenta qué variables hacen falta sin revelar ningún valor real.

Puntos delicados

Fuente

«The Matrix — Welcome to the Real World of Data Engineering», versión 3.1: packs/cursus/M2/210_Python_Module_08/en.subject.pdf (texto en subject.txt). Solo existe en inglés. Slug de la intra: python-module-08. Python Module 09 pide haber completado este módulo o el Module 06 bis.