Ingeniería de datos para el sistema eléctrico europeo.
Soy Luis Jimenez Rubia, ingeniero de datos independiente en Bruselas. Construyo y mantengo los pipelines que convierten los datos de la red y del mercado – resultados del cálculo de capacidad, ficheros de ENTSO-E y JAO, KPI regulatorios – en cifras fiables.
Un día en la red europea
96 cuartos de hora de mercado. Es el día para el que se escribe casi todo el código.
Que días como estos salgan bien, siempre, es la mayor parte del trabajo.
Qué hago
Datos de energía
- Reporting regulatorio y KPI
- KPI de CACM e IDCC, indicadores mensuales de calidad de datos y los informes que dependen de ellos, con cifras que se pueden rastrear hasta el fichero de origen.
- Pipelines de datos de red y mercado
- Ingesta de ficheros de ENTSO-E, JAO y de los TSO por SFTP y API, tratando a propósito las zonas horarias, los cambios de hora y los ficheros tardíos o corregidos.
- Lakehouse y arquitectura medallion
- Capas bronze, silver y gold sobre PostgreSQL o Delta Lake, incluida la migración desde un data warehouse antiguo sin romper los informes que dependen de él.
Plataforma y entrega
- dbt y Apache Airflow
- Modelos, tests y DAG que tu equipo pueda mantener cuando yo me vaya. Revisión de código y acompañamiento a perfiles junior.
- Rendimiento de PostgreSQL
- Consultas lentas, refresco de vistas materializadas, problemas de disco y de vacuum, y una monitorización que avisa antes que los usuarios.
- Análisis y gestión de proyectos
- Convertir una normativa o una necesidad de negocio en una especificación, un plan y un pipeline entregado.
Experiencia
Más de 30 años en informática desde 1996: ingeniería de datos, administración de bases de datos, análisis de negocio y gestión de proyectos.
- Un centro de coordinación regional al servicio de los operadores europeos de la red de transporte
- Una infraestructura europea de los mercados financieros
- Direcciones generales de la Comisión Europea
- Empresas de energía, telecomunicaciones, aerolíneas, automoción y sector público en España
Herramientas que uso a diario
dbt, Apache Airflow, PostgreSQL, Python, Delta Lake, MinIO, Git, Oracle PL/SQL, Power BI
Cómo trabajamos juntos
Una llamada corta
Me cuentas el problema y te digo con franqueza si soy la persona adecuada.
Una propuesta por escrito
Alcance, entregables, plazos y precio en una página.
La ejecución
En tus repositorios y tus entornos, en Bruselas o en remoto, con seguimientos periódicos.
El traspaso
Documentación y una sesión de presentación, para que tu equipo domine lo que se ha construido.
Contacto
info@magicbyte.euLo más rápido es escribirme. Trabajo en español, inglés y francés.
Bruselas, Bélgica