Chi tiết công việc SOFTWARE ARCHITECT (LAKEHOUSE PLATFORM) tại Công ty Cổ phần Tập đoàn Công nghệ Thiên Hoàng
SOFTWARE ARCHITECT (LAKEHOUSE PLATFORM)
Mô tả công việc
- Chúng tôi đang tìm kiếm một Software Architect có kinh nghiệm thiết kế và xây dựng nền tảng dữ liệu hiện đại theo mô hình Data Lake House để phục vụ các hệ thống dữ liệu lớn, AI, phân tích dữ liệu và tích hợp đa nguồn.
- Ứng viên sẽ chịu trách nhiệm thiết kế kiến trúc tổng thể cho hệ thống dữ liệu doanh nghiệp, bao gồm ingestion, processing, storage, metadata, governance, workflow orchestration, AI/ML integration và khả năng mở rộng theo kiến trúc cloud-native.
- Trách nhiệm chính
- · Thiết kế kiến trúc tổng thể cho nền tảng Data Lake House:
- o Data Ingestion
- o Data Lake
- o Metadata Management
- o ETL/ELT Pipeline
- o Data Warehouse
- o Streaming & Batch Processing
- o Data Governance
- o AI/Analytics Layer
- · Thiết kế kiến trúc dữ liệu theo các mô hình:
- o Medallion Architecture (Bronze/Silver/Gold)
- o Data Mesh
- o Lambda/Kappa Architecture
- o Event-driven Architecture
- · Xây dựng giải pháp lưu trữ dữ liệu lớn:
- o Object Storage
- o Distributed File System
- o Columnar Storage
- o Table Format
- · Thiết kế pipeline xử lý dữ liệu:
- o Real-time Streaming
- o CDC (Change Data Capture)
- o Batch Processing
- o Incremental Processing
- · Thiết kế và tối ưu:
- o Query Performance
- o Partitioning
- o Indexing
- o Data Lifecycle
- o Data Retention
- · Xây dựng chiến lược:
- o Data Governance
- o Data Lineage
- o Metadata Management
- o Data Security
- o Access Control
- o Audit Logging
- · Làm việc với đội:
- o Backend
- o DevOps
- o AI/ML
- o Data Engineer
- o Security
- o Infrastructure
- · Định hướng kỹ thuật và review kiến trúc cho các team phát triển.
Yêu cầu ứng viên
- o Trên 3 năm kinh nghiệm trong lĩnh vực Data Engineering.
- o Kỹ năng mạnh về Python và ETL (sử dụng Airflow, Airbyte, Apache NiFi).
- o Hiểu biết về các hệ thống lưu trữ dữ liệu như MinIO hoặc các giải pháp tương tự.
- o Kinh nghiệm làm việc với Data Warehouse và các công cụ liên quan.
- o Khả năng làm việc nhóm và làm việc dưới áp lực cao, khả năng tự tìm hiểu và ứng dụng công nghệ mới.
- Các kỹ năng khác:
- o Hệ thống Data Warehouse, Lakehouse: Hiểu biết chuyên sâu về kiến trúc và quy trình ETL trong các hệ thống Data Warehouse, Lakehouse. Kiến thức về cơ sở dữ liệu OLAP (Online Analytical Processing) và khả năng tối ưu hóa truy vấn dữ liệu lớn.
- o Big Data: Có kinh nghiệm làm việc với các hệ sinh thái dữ liệu lớn như Hadoop, Spark, hoặc các nền tảng lưu trữ phân tán.
- o SQL nâng cao: Kỹ năng SQL chuyên sâu để viết và tối ưu hóa truy vấn phức tạp. Khả năng tối ưu hóa hiệu năng truy vấn cho các tập dữ liệu lớn.
- o Data Lake: Kiến thức về các mô hình Data Lake và Data Lakehouse, cùng với kỹ năng sử dụng các công cụ như AWS S3, Google Cloud Storage, hoặc MinIO để quản lý dữ liệu lớn.
- o Python: Thành thạo Python cho xử lý dữ liệu và tự động hóa các pipeline dữ liệu. Kinh nghiệm trong việc tạo các script tự động hóa với thư viện Pandas, NumPy, hoặc các thư viện liên quan đến dữ liệu.
- o Quản lý workflow: Thành thạo công cụ Airflow cho việc quản lý và giám sát các luồng công việc ETL, cũng như khả năng xử lý lỗi và khắc phục sự cố khi luồng công việc bị gián đoạn.
- o Kinh nghiệm:
- - Có kinh nghiệm thiết kế hệ thống Big Data hoặc Data Platform quy mô lớn.
- - Hiểu sâu về kiến trúc Data Lake House.
- - Có kinh nghiệm với: Distributed Systems, Event Streaming, Data Pipeline, Microservices, Cloud-native Architecture
- - Hiểu về: Data Modeling, Data Governance, Metadata Catalog, Data Quality, Data Security.
Quyền lợi
- - Lương: hấp dẫn
- - Thời gian làm việc: thứ 2 đến thứ 6, 08h30 đến 17h30.
- - Đánh giá nhân sự và điều chỉnh lương: định kỳ 1 năm 1 lần.
- - Làm việc onsite tại ngân hàng số 1 Việt Nam, trực tiếp tham gia vào các dự án tiên phong về chuyển đổi số.
- - Nghỉ phép: 12 ngày/năm
- - Nghỉ lễ, nghỉ thai sản, nghỉ ốm, nghỉ hiếu hỉ: theo quy định chung của luật Lao động.
- - BHXH, BHYT, BHTN, Bảo hiểm Bảo Việt cho 100% cán bộ sau thời gian thử việc.
- - Chính sách thu hút và đãi ngộ nhân tài.
- - Chính sách ưu đãi đối với nhân viên có thâm niên làm việc tại công ty.
- - Thu nhập: lương tháng 13; thưởng theo dự án, thưởng theo kết quả kinh doanh và mức độ đóng góp; thưởng theo năng lực và mức độ hoàn thành công việc của từng thành viên đánh giá hàng tháng và trả thưởng theo quý; thưởng các ngày lễ lớn.
- - Chế độ nghỉ mát, du xuân, liên hoan cuối năm cho nhân viên và gia đình.
- - Các hoạt động giao lưu bóng đá, golf, văn nghệ...
- - Chính sách đào tạo về chuyên môn, nghiệp vụ và kỹ năng cho nhân viên. Hỗ trợ 100% kinh phí học và thi các chứng chỉ chuyên môn.
Địa điểm làm việc: Hà Nội: Tòa nhà Viwaseen, 48 Tố Hữu, Phường Đại Mỗ, Hà Nội
Hồ sơ ứng tuyển gửi về LINK hoặc qua email [email protected] tiêu đề: Họ và tên - Vị trí ứng tuyển
Liên Hệ: 092.132.9390
Email: [email protected]
Website: https://www.thienhoang.com.vn/
List job tổng hợp: https://docs.google.com/spreadsheets/d/1dNYPKJgrIcKwiqMvbHVGuqWcFIz_iR856w63DGb3TEE/edit?usp=sharing
