Chi tiết công việc Data Engineer (Airflow, Airbyte, Python) tại Công ty Cổ phần Tập đoàn Công nghệ Thiên Hoàng
Data Engineer
(Airflow, Airbyte, Python)
Mô tả công việc
- o Xây dựng chức năng ingestion dữ liệu từ nhiều nguồn.
- o Xây dựng, triển khai và tối ưu hóa quy trình ETL sử dụng Airflow và Python.
- o Thiết kế và duy trì các pipeline dữ liệu phục vụ cho hệ thống Data Warehouse.
- o Quản lý dữ liệu, lưu trữ, và các cấu trúc dữ liệu lớn trên MinION.
- o Phối hợp với đội ngũ ứng dụng và phân tích để đảm bảo tính nhất quán và hiệu quả trong xử lý dữ liệu.
Yêu cầu ứng viên
- o Trên 3 năm kinh nghiệm trong lĩnh vực Data Engineering.
- o Kỹ năng mạnh về Python và ETL (sử dụng Airflow, Airbyte, Apache NiFi).
- o Hiểu biết về các hệ thống lưu trữ dữ liệu như MinION hoặc các giải pháp tương tự.
- o Kinh nghiệm làm việc với Data Warehouse và các công cụ liên quan.
- o Khả năng làm việc nhóm và làm việc dưới áp lực cao, khả năng tự tìm hiểu và ứng dụng công nghệ mới.
- Các kỹ năng khác:
- o Hệ thống Data Warehouse, Lakehouse: Hiểu biết chuyên sâu về kiến trúc và quy trình ETL trong các hệ thống Data Warehouse, Lakehouse. Kiến thức về cơ sở dữ liệu OLAP (Online Analytical Processing) và khả năng tối ưu hóa truy vấn dữ liệu lớn.
- o Big Data: Có kinh nghiệm làm việc với các hệ sinh thái dữ liệu lớn như Hadoop, Spark, hoặc các nền tảng lưu trữ phân tán.
- o SQL nâng cao: Kỹ năng SQL chuyên sâu để viết và tối ưu hóa truy vấn phức tạp. Khả năng tối ưu hóa hiệu năng truy vấn cho các tập dữ liệu lớn.
- o Data Lake: Kiến thức về các mô hình Data Lake và Data Lakehouse, cùng với kỹ năng sử dụng các công cụ như AWS S3, Google Cloud Storage, hoặc MinIO để quản lý dữ liệu lớn.
- o Python: Thành thạo Python cho xử lý dữ liệu và tự động hóa các pipeline dữ liệu. Kinh nghiệm trong việc tạo các script tự động hóa với thư viện Pandas, NumPy, hoặc các thư viện liên quan đến dữ liệu.
- o Quản lý workflow: Thành thạo công cụ Airflow cho việc quản lý và giám sát các luồng công việc ETL, cũng như khả năng xử lý lỗi và khắc phục sự cố khi luồng công việc bị gián đoạn.
Quyền lợi
- - Lương: hấp dẫn
- - Thời gian làm việc: thứ 2 đến thứ 6, 08h30 đến 17h30.
- - Đánh giá nhân sự và điều chỉnh lương: định kỳ 1 năm 1 lần.
- - Nghỉ phép: 12 ngày/năm
- - Nghỉ lễ, nghỉ thai sản, nghỉ ốm, nghỉ hiếu hỉ: theo quy định chung của luật Lao động.
- - BHXH, BHYT, BHTN, Bảo hiểm Bảo Việt cho 100% cán bộ sau thời gian thử việc.
- - Chính sách thu hút và đãi ngộ nhân tài.
- - Chính sách ưu đãi đối với nhân viên có thâm niên làm việc tại công ty.
- - Thu nhập: lương tháng 13; thưởng theo dự án, thưởng theo kết quả kinh doanh và mức độ đóng góp; thưởng theo năng lực và mức độ hoàn thành công việc của từng thành viên đánh giá hàng tháng và trả thưởng theo quý; thưởng các ngày lễ lớn.
- - Chế độ nghỉ mát, du xuân, liên hoan cuối năm cho nhân viên và gia đình.
- - Các hoạt động giao lưu bóng đá, golf, văn nghệ...
- - Chính sách đào tạo về chuyên môn, nghiệp vụ và kỹ năng cho nhân viên. Hỗ trợ 100% kinh phí học và thi các chứng chỉ chuyên môn.
Địa điểm làm việc: Hà Nội: Tòa nhà Viwaseen, 48 Tố Hữu, Phường Đại Mỗ, Hà Nội
Hồ sơ ứng tuyển gửi về LINK hoặc qua email [email protected] tiêu đề: Họ và tên - Vị trí ứng tuyển
Liên Hệ: 092.132.9390
Email: [email protected]
Website: https://www.thienhoang.com.vn/
List job tổng hợp: https://docs.google.com/spreadsheets/d/1dNYPKJgrIcKwiqMvbHVGuqWcFIz_iR856w63DGb3TEE/edit?usp=sharing
