Deskripsi pekerjaan Data Engineer PT DATA TEAM CONSULTANT
Sebagai Data Engineer, Anda akan bertanggung jawab dalam membangun dan mengelola pipeline data untuk kebutuhan proyek klien. Anda akan bekerja pada proses integrasi data dari berbagai sumber, membangun data warehouse, mengelola transformasi data, serta mendukung pengelolaan metrics agar data dapat digunakan secara akurat oleh tim bisnis dan analitik.
Responsibilities
- Membangun dan mengelola proses data ingestion dari berbagai sumber data.
- Mendesain dan mengembangkan struktur data warehouse yang reliable dan scalable.
- Mengembangkan pipeline ETL/ELT menggunakan tools modern.
- Membuat transformasi data menggunakan dbt
- Mengatur workflow dan orchestration menggunakan Airflow.
- Menggunakan dlt untuk proses data ingestion dan integration.
- Mengelola data streaming infrastructurure seperti Kafka.
- Mendukung proses metrics management, termasuk definisi, validasi, dan dokumentasi metrics.
- Bekerja sama dengan tim klien, data analyst, dan stakeholder bisnis untuk memahami kebutuhan data.
- Menjaga kualitas, performa, dan reliability dari pipeline data.
Requirements
- Memiliki pengalaman 3–5 tahun sebagai Data Engineer atau posisi terkait.
- Berpengalaman dalam membangun pipeline data end-to-end.
- Menguasai Python untuk data processing dan automation.
- Memiliki pengalaman dengan Data Warehouse, ETL/ELT, dan data modeling.
- Familiar dengan Airflow untuk orchestration.
- Familiar dengan dbt untuk data transformation.
- Familiar dengan AWS untuk cloud infrastructure.
- Memiliki pengalaman atau ketertarikan kuat terhadap data streaming service seperti Kafka.
- Memahami konsep metrics management dan data mart.
- Memiliki kemampuan problem solving yang baik dan mampu bekerja secara mandiri.
- Siap bekerja untuk proyek kontrak berdurasi 2–4 bulan.
