Job description for Senior Data Engineer at PT. Aigen Global Teknologi
Kami sedang mencari seorang Senior Data Engineer berpengalaman untuk mendukung pengembangan dan operasional data pipeline berskala enterprise. Posisi ini akan berfokus pada implementasi dan pemeliharaan proses Change Data Capture (CDC) dari berbagai source system menuju Oracle On-Premises Operational Data Store (ODS) menggunakan Debezium, Solace Messaging, Python Consumer Application, dan layanan yang berjalan di atas Kubernetes.
Kandidat ideal memiliki pengalaman kuat dalam menangani lingkungan produksi, melakukan troubleshooting data pipeline, serta mampu berkolaborasi dengan tim lintas fungsi untuk memastikan ketersediaan dan performa sistem data yang optimal.
Tanggung Jawab Utama
- Monitoring & Maintenance: Memonitor dan memelihara Debezium CDC Connector yang menangkap perubahan data dari berbagai database secara real-time.
- Optimization & Troubleshooting: Melakukan troubleshooting dan optimasi pada Python consumer application yang memproses pesan dari Solace Messaging.
- Data Transformation: Mendukung proses transformasi dan pemuatan data ke Oracle On-Premises Operational Data Store (ODS).
- Incident Management: Mengidentifikasi, menganalisis, dan menyelesaikan kegagalan pipeline serta bottleneck pada performa sistem produksi.
- Orchestration & Infrastructure: Mendukung proses deployment, scaling, monitoring, dan health check service pada lingkungan Kubernetes.
- Documentation: Membuat, memperbarui, dan memelihara runbook serta dokumentasi operasional teknis.
- Collaboration: Berkolaborasi aktif dengan tim Data Engineer, Developer, DevOps, dan tim bisnis untuk menjaga stabilitas sistem.
Kualifikasi Wajib
1. Kualifikasi Umum & Pendidikan
- Pendidikan: Minimal S1 Teknik Informatika, Ilmu Komputer, Sistem Informasi, Teknik Elektro, atau bidang terkait.
- Pengalaman Kerja: Minimal 3-5 tahun pengalaman sebagai Data Engineer, Backend Engineer, atau posisi relevan lainnya.
- Production System: Terbukti memiliki pengalaman menangani production system berskala besar pada lingkungan yang ter-regulasi (pengalaman di industri perbankan/financial services menjadi nilai tambah utama).
- Soft Skills: Kemampuan problem solving yang kuat, komunikasi yang baik, serta mampu bekerja secara mandiri maupun kolaboratif.
2. Technical Skills
Debezium
Minimal 1 tahun pengalaman praktis menggunakan Debezium.
Memahami arsitektur dan konfigurasi CDC Connector.
Berpengalaman menangani source connector utama seperti: Oracle, PostgreSQL, dan SQL Server.
Python
Minimal 2 tahun pengalaman dalam pengembangan menggunakan Python.
Mahir dalam membangun data pipeline dan consumer application.
Memahami konsep asynchronous programming.
Menguasai teknik error handling dan optimasi performa kode (performance optimization).
Kubernetes
Minimal 1 tahun pengalaman operasional pada lingkungan Kubernetes.
Memahami aspek-aspek berikut: Pod Management, Deployment, Service, ConfigMaps, Secrets, Resource Limits, serta Troubleshooting Kubernetes Environment.
Database (RDBMS)
Minimal 2 tahun pengalaman bekerja dengan database relasional.
Mahir dalam: SQL Query Handling, Data Loading, SQL*Loader, INSERT/UPDATE Scripting, dan Query Performance Tuning.
Kompetensi Data Engineering & DevOps
Data Engineering Core
ETL/ELT Pipeline Design & Optimization
Schema Evolution Handling
SQL DML Optimization
Python DataFrame Processing (Pandas/Polars/PySpark)
DevOps & Alat Monitoring
Containerization: Docker Containerization & Docker Image Building.
CI/CD Pipelines: Jenkins, GitLab CI, GitHub Actions, atau tools sejenis.
Observability: Prometheus, Grafana, dan ELK Stack.
Version Control: Git (GitLab/GitHub/Bitbucket).
Nice to Have
- Pengalaman mendalam pada Oracle RDBMS (khususnya PL/SQL & SQL Loader).
- Pengalaman praktis menggunakan Solace Message Broker.
- Pengalaman integrasi dengan AWS Data Services.
- Pengalaman melakukan performance tuning pada high-throughput data pipeline.
- Memahami konsep Data Governance dan Data Lineage.
