Data Engineer

În practica de date, cea mai mare parte a valorii vine din fundație, nu din model. Rolul acesta este despre fundație.

Vei lucra cu date reale, dezordonate, din sisteme care nu au fost gândite pentru analiză, și vei construi fluxurile care le transformă în informații de încredere.

Responsabilități

• Construirea fluxurilor de ingerare și transformare a datelor
• Definirea și implementarea testelor automate de calitate a datelor
• Modelarea depozitului de date împreună cu echipa de business
• Monitorizarea prospețimii și a corectitudinii datelor în producție

Cerințe

• Minimum patru ani de experiență în inginerie de date
• SQL avansat și înțelegerea planurilor de execuție
• Experiență cu un instrument de orchestrare (Airflow, Dagster sau echivalent)
• Python la nivel de producție

Constituie un avantaj

• Experiență cu dbt
• Cunoștințe de ClickHouse sau alt depozit analitic columnar
• Experiență în proiecte cu cerințe de conformitate