«The Matrix»: el módulo que sale del lenguaje y entra en el ecosistema.
Entornos virtuales, gestión de dependencias con pip y Poetry, y configuración por
variables de entorno con ficheros .env. Rank 02.
site-packages, aislados del sistema. El módulo venv forma parte de
la librería estándar desde Python 3.3 (PEP 405); pip instala paquetes desde
PyPI, y Poetry va un paso más allá: declara el proyecto en
pyproject.toml (el formato estándar de PEP 518 y PEP 621), resuelve las
versiones y las congela en un fichero de bloqueo. La tercera pata es la configuración: las
contraseñas y claves no se escriben en el código, se leen del entorno, una práctica que
popularizó la metodología Twelve-Factor App. Todo ambientado en Matrix, con
Morpheus, Neo y el Oráculo, y con la «ingeniería de datos» como horizonte.Tres ejercicios en ex0/, ex1/ y ex2/. Las
reglas generales de siempre (flake8, anotaciones comprobadas con mypy, colecciones y
funciones integradas permitidas), con dos añadidos: la gestión de excepciones debe proteger
los flujos de datos, y hay que probar los programas en entornos distintos, con y sin
entorno virtual y con y sin dependencias instaladas. A diferencia de otros módulos, aquí
todas las funciones integradas están permitidas.
Lo que se evalúa en la corrección, según el enunciado: entender qué son los entornos virtuales y por qué importan, las diferencias entre pip y Poetry, cómo las variables de entorno hacen una aplicación segura y configurable, y saber explicarlo a otros.
«The Construct», el espacio de entrenamiento aislado. Un programa que:
Debe funcionar dentro y fuera de un entorno, con salidas distintas: fuera, un aviso de que «las máquinas ven todo lo que instalas» y las instrucciones; dentro, el nombre y la ruta del entorno y la ruta de instalación de paquetes. El entorno virtual no se sube al repositorio: en la corrección hay que poder crear uno nuevo. Los comandos que propone el enunciado:
python3 -m venv matrix_env
source matrix_env/bin/activate # en Unix
python3 construct.py
site-packages y un pyvenv.cfg. «Activarlo»
apenas cambia el PATH de tu shell para que python y
pip apunten a esa carpeta. Desde dentro, Python lo delata en el módulo
sys: en un entorno virtual sys.prefix (dónde está el entorno) y
sys.base_prefix (dónde está la instalación original) dejan de coincidir. El
módulo site es el que añade los directorios de paquetes a
sys.path al arrancar.«Cargar programas», como Neo pidiendo armas. Una pequeña herramienta de análisis de datos que:
range();matrix_analysis.png);Hay que entregar los dos ficheros de dependencias, uno por herramienta. Los flujos que deben funcionar:
pip install -r requirements.txt # pip
python3 loading.py
poetry install # Poetry
poetry run python loading.py
Excepcionalmente, en este ejercicio se admiten avisos de flake8 y mypy, pero solo los relacionados con imports; el enunciado añade que hay mecanismos para evitarlos si te pica la curiosidad.
requirements.txt es una lista plana de
paquetes (con versiones fijas o no) que pip instala tal cual en el entorno activo. Poetry
parte de pyproject.toml, donde declaras rangos de versiones, resuelve un
conjunto compatible, lo apunta en poetry.lock para que todos instalen
exactamente lo mismo y crea y gestiona su propio entorno virtual (de ahí
poetry run). También introduce las importaciones que pueden fallar: un
import de un paquete no instalado lanza ModuleNotFoundError, que
se puede capturar, e importlib permite importar o consultar módulos por
nombre en tiempo de ejecución. Y de paso, un primer contacto con el trío básico de la
ciencia de datos en Python: numpy, pandas y matplotlib.El Oráculo lo sabe todo porque tiene acceso a la configuración. Un programa que:
.env para los ajustes de desarrollo, leído con
python-dotenv (el enunciado deja claro que no se trata de escribir un
parser propio);Las variables que debe manejar: MATRIX_MODE («development» o
«production»), DATABASE_URL, API_KEY, LOG_LEVEL y
ZION_ENDPOINT. Tres escenarios de prueba: sin configuración (avisos o valores
por defecto), con .env copiado de .env.example, y con variables
en la línea de comandos, que deben prevalecer sobre el .env:
cp .env.example .env
MATRIX_MODE=production API_KEY=secret123 python3 oracle.py
El .env real va en .gitignore, nunca al repositorio, y hay que
saber explicar por qué.
os.environ u os.getenv. Un
.env es solo una comodidad para el desarrollo; python-dotenv lo vuelca en el
entorno y, por defecto, no pisa las variables que ya existan, que es justo la
precedencia que pide el enunciado. El .env.example documenta qué variables
hacen falta sin revelar ningún valor real.matrix_env/ ni ningún
otro: en la corrección se crea uno nuevo desde cero.loading.py sin pandas ni numpy no
debe estrellarse con una traza: tiene que decir qué falta y cómo instalarlo con pip y con
Poetry.range() para el conjunto de datos.requirements.txt y
pyproject.toml: cada uno tiene que bastar para instalar lo necesario con su
herramienta..env, tal como muestra el escenario de prueba del
enunciado..env en .gitignore. Y ningún secreto real en
.env.example ni en el código.«The Matrix — Welcome to the Real World of Data Engineering», versión 3.1:
packs/cursus/M2/210_Python_Module_08/en.subject.pdf (texto en
subject.txt). Solo existe en inglés. Slug de la intra:
python-module-08. Python Module 09 pide haber completado este módulo o el
Module 06 bis.