cleaning

Microservicio Python (FastAPI) de limpieza y normalización de datos extraídos. Recibe lotes de filas extraídas por el servicio extraction y aplica reglas configurables de transformación de columnas.

Puerto

8002

Endpoints

Método	Ruta	Descripción
`GET`	`/health`	Liveness
`GET`	`/rules`	Lista de reglas de limpieza disponibles
`GET`	`/batches/{batch_id}/analysis`	Análisis de columnas de un lote de extracción
`POST`	`/analyze-csv`	Análisis de columnas desde CSV (multipart)
`POST`	`/preview`	Vista previa Antes/Después sobre muestra (sin persistir)
`POST`	`/jobs`	Limpieza desde `extraction_batch_id` (+ `job_id` opcional)
`POST`	`/jobs/from-csv`	Limpieza desde CSV (multipart + reglas JSON)
`GET`	`/jobs?job_id=`	Listar jobs (filtro opcional por trabajo Desktop)
`GET`	`/jobs/{job_id}`	Estado y detalle del job
`GET`	`/jobs/{job_id}/rows`	Filas limpias del job

Crear un job de limpieza

POST /jobs
{
  "extraction_batch_id": "...",
  "rules_per_column": {
    "valor":  ["to_integer"],
    "fecha":  ["date_to_ddmmyyyy"],
    "codigo": ["strip_spaces"]
  }
}

Las reglas disponibles se listan en GET /rules.

Reglas de limpieza

Definidas en el paquete domain/csv_cleaning/ (registro en rules/builtins.py). Cada regla transforma los valores de una columna; se pueden encadenar varias por columna. Para agregar una regla nueva, ver rules/registry.py.

Variables de entorno

Variable	Descripción
`DATABASE_URL`	PostgreSQL (`postgresql+psycopg://...`)

Modelo de datos

extraction_batches  — lote de filas de extracción (leído, no modificado)
  extraction_rows   — filas originales

cleaning_jobs       — job de limpieza (FK → extraction_batches)
  cleaned_rows      — filas transformadas

Estructura del código

api/
  main.py              — FastAPI app con todos los endpoints
domain/
  csv_cleaning/        — paquete de limpieza (análisis + reglas)
    analyze.py         — resumen por columna
    apply.py           — aplicación de reglas
    rules/             — registro e implementaciones de reglas
infrastructure/
  database.py          — modelos SQLAlchemy y sesión
Dockerfile
requirements.txt

Arrancar localmente

# Con Docker Compose (desde la raíz del repositorio):
docker compose up --build cleaning

# Sin Docker:
cd services/cleaning
pip install -r requirements.txt
uvicorn api.main:app --host 0.0.0.0 --port 8002

2.6 KiB Raw Permalink Blame History