azure Databricks Data Engineer (Lugo)

Acerca de Bluetab, una empresa de IBM

Bluetab es el brazo fuerte de IBM en Data, Cloud, ML e IA, ayudando a empresas de distintos sectores a acelerar y optimizar estrategias en plataformas de datos y en la nube.

Descripción del puesto

Buscamos un Data Engineer con al menos 4‑5 años de experiencia consolidada, que domine Scala, Python o PySpark y sepa desarrollar y ejecutar procesos Spark sobre Databricks en entornos Cloud.

Responsabilidades

• Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark sobre Spark o Databricks, garantizando rendimiento, calidad y escalabilidad.
• Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud (principalmente Azure, con posibles AWS o GCP).
• Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
• Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y ...