Chi tiết công việc Middle Data Engineer tại CÔNG TY CỔ PHẦN CÔNG NGHỆ UNITRUST VIỆT NAM
DATA ENGINEER (DE)
Thông tin chung về dự án
GTEL ICT đang tìm kiếm những mảnh ghép chiến lược tham gia vào đội ngũ phát triển và vận hành các dự án Chuyển đổi số Chính phủ quy mô lớn, phục vụ trực tiếp cho Khối Chính phủ, các Bộ ban ngành, đặc biệt là Bộ Công An.
Ở vị trí Data Engineer, bạn sẽ tham gia xây dựng và vận hành Data Platform quy mô Enterprise, giải quyết các bài toán về tích hợp, đồng bộ, xử lý và khai thác dữ liệu lớn trong môi trường Private Cloud/On-Premise. Đây là cơ hội để trực tiếp tham gia thiết kế các nền tảng dữ liệu có yêu cầu cao về hiệu năng, tính toàn vẹn, khả năng mở rộng và SLA.
Mô tả công việc
Thiết kế, xây dựng và vận hành ETL/ELT Pipeline kết nối dữ liệu từ ClickHouse, PostgreSQL, Oracle, DB2, API, File bằng Apache Airflow và các công cụ ingestion phù hợp.
Triển khai CDC (Debezium/WAL2JSON + Apache Kafka) để đồng bộ dữ liệu gần thời gian thực; đảm bảo monitoring, retry, alert, SLA và tính toàn vẹn dữ liệu end-to-end.
Xử lý dữ liệu lớn với Apache Spark, tối ưu job, partition và throughput của pipeline.
Thiết kế Data Platform & Data Model theo kiến trúc Medallion (Bronze/Silver/Gold), Star/Snowflake Schema.
Phát triển transformation bằng dbt; tối ưu hiệu năng ClickHouse thông qua partition, index, materialized views.
Triển khai và quản trị Apache Superset/BI, xây dựng Semantic Layer, Dashboard, KPI/Business Metrics và phân quyền dữ liệu.
Đề xuất kiến trúc Data Platform, lựa chọn công nghệ và xây dựng quy trình vận hành với Docker, Git, CI/CD.
Phối hợp với Backend, DevOps, Data Analyst và Business trong quá trình triển khai, vận hành và tối ưu hệ thống dữ liệu; hỗ trợ xử lý sự cố khi cần.
Yêu cầu
Có từ 4+ năm kinh nghiệm xây dựng và vận hành Data Platform, ETL/ELT Pipeline hoặc hệ thống xử lý dữ liệu lớn.
Có kinh nghiệm thực tế với một số công nghệ: Apache Airflow, Apache Spark, Apache Kafka, Debezium, ClickHouse, dbt, PostgreSQL/Oracle/DB2.
Hiểu và có kinh nghiệm về CDC, Data Warehouse, Data Modeling, Medallion Architecture, Star/Snowflake Schema.
Có tư duy tốt về Data Architecture, Data Quality, Performance Optimization và SLA.
Có kinh nghiệm với BI/Superset, Dashboard, Semantic Layer là lợi thế.
Có khả năng phân tích, xử lý sự cố và phối hợp hiệu quả với các team kỹ thuật và nghiệp vụ.
Chủ động, có tinh thần trách nhiệm và khả năng làm việc trong môi trường dự án quy mô lớn.
Ưu tiên
Có kinh nghiệm triển khai dự án Chính phủ/Bộ ban ngành hoặc hệ thống dữ liệu quy mô lớn.
Có kinh nghiệm với Data Lake/Lakehouse, Private Cloud/On-Premise.
Có khả năng thiết kế Data Platform end-to-end và xây dựng quy trình vận hành.
Có kinh nghiệm Technical Guidance/Mentoring cho các thành viên trong team.
Có khả năng đề xuất giải pháp, lựa chọn công nghệ và tham gia xây dựng Data Architecture cho hệ thống.
