AI Agent Engineer (Python Backend)

Pemberitahuan (Disclaimer): Lowongan ini diterbitkan atas nama Taiwan Mobile, dan seluruh proses serta informasi terkait posisi ini akan disampaikan langsung oleh pihak perusahaan.

Ringkasan Peran

Kami mencari engineer yang mampu membangun sistem agentic yang benar-benar tahan uji di lingkungan produksi — bukan sekadar demo yang mulus di skenario ideal namun rapuh begitu berhadapan dengan pengguna sungguhan.

Inti dari peran ini adalah harness engineering: seluruh lapisan pendukung di sekitar model — context pipeline, antarmuka tool, memory, orchestration, guardrail, dan observability — yang menjadikan agent andal untuk tugas-tugas berdurasi panjang (long-horizon). Prinsipnya sederhana: Agent = Model + Harness. Model kian menjadi komoditas; harness-lah yang menentukan apakah sebuah sistem benar-benar berfungsi atau tidak.

---

Deskripsi Pekerjaan (Job Descriptions)

- Merancang, membangun, dan mengoperasikan agent harness tingkat produksi: context pipeline, antarmuka tool/function, memory, model permission, sandbox eksekusi, serta hook untuk human-in-the-loop.

- Merancang arsitektur sistem AI secara end-to-end — mulai dari agent orchestration, retrieval pipeline, integrasi LLM API, hingga alur data antar layanan.

- Menerapkan context engineering: memutuskan informasi apa yang perlu masuk ke context window, kapan waktunya, dan dalam format seperti apa (compaction, summarization, sub-agent, retrieval just-in-time) supaya agent tetap koheren lintas sesi dan tidak berhenti di tengah jalan ("early stopping").

- Membangun pipeline RAG modern: strategi chunking, hybrid search (semantic + keyword/BM25), reranking, grounding & citation, serta memperlakukan retrieval sebagai tool yang dipanggil agent — bukan sekadar prefetch di awal prompt.

- Merancang dan menjalankan evals: test suite otomatis, LLM-as-judge, regression tracking, dan analisis failure mode, sehingga setiap perubahan pada prompt atau harness dinilai berdasarkan data, bukan asumsi.

- Membangun observability untuk sistem agentic: tracing per langkah, token usage, latency (TTFT maupun total), cost per task, tool error rate, dan deteksi drift perilaku.

- Menyeimbangkan trade-off antara reliability, latency, dan cost: prompt caching, model routing, budget token, fallback ke model yang lebih ringan, retry/timeout, dan graceful degradation.

- Menerapkan guardrail dan keamanan: mitigasi prompt injection, prinsip least-privilege pada tool, penanganan data PII, allowlist tool, dan approval gate untuk aksi berisiko tinggi.

- Berkolaborasi dengan para pemangku kepentingan (stakeholder) untuk menerjemahkan kebutuhan bisnis menjadi workflow agentic yang terukur dan dapat dievaluasi.

- Menyusun dan memelihara dokumentasi teknis, spesifikasi sistem, serta diagram arsitektur.

---

Kualifikasi Pekerjaan (Job Requirements)

Wajib

- Minimal lulusan S1 di bidang Ilmu Komputer, Sistem Informasi, Teknologi Informasi, atau AI/Machine Learning.

- Pengalaman kerja 3–5 tahun sebagai Python Backend/AI Engineer, dengan setidaknya 1 tahun pengalaman membangun sistem berbasis LLM atau agent yang berjalan di produksi (bukan sekadar proof of concept atau notebook).

- Python sebagai bahasa pemrograman utama — terbiasa dengan `asyncio`, type hints, dan Pydantic dalam membangun sistem agentic.

- Memiliki rekam jejak nyata dalam membangun aplikasi berbasis LLM atau AI agent untuk sistem berskala besar.

- Mampu menyusun dan mempresentasikan diagram arsitektur sistem AI (agent workflow, data flow, integrasi API, dll.).

Bahasa Pemrograman & Framework

- Utama (SYARAT MUTLAK): Python (async/await, typing, Pydantic)

- Framework Agentic (minimal 1): LangGraph, OpenAI Agents SDK, Claude Agent SDK, Pydantic AI, LlamaIndex, CrewAI, Mastra, atau yang setara — termasuk kemampuan merancang agent loop sendiri tanpa framework bila itu pilihan yang lebih tepat.

- Backend Framework: FastAPI (diutamakan) atau Flask, termasuk streaming response melalui SSE/WebSocket.

- Poin Plus: TypeScript/Node.js, Go, Java.

Agent & Harness Engineering

• Tool use / function calling dan structured output — termasuk kemampuan merancang schema tool yang jelas dan minim risiko salah pakai.
• MCP (Model Context Protocol) — pengalaman membangun maupun mengonsumsi MCP server.
• Orchestration: single-agent loop, sub-agent, multi-agent, pola planner–executor — beserta pemahaman kapan pendekatan yang lebih sederhana justru lebih andal.
• State & durability: checkpointing, resume, long-running task, idempotency, serta penanganan kegagalan di tengah proses eksekusi.
• Memory: short-term (percakapan), long-term (vector/dokumen), dan working memory berbasis file atau state eksternal.
• Sensors & guardrails: validation loop, output parser, permission/allowlist, sandbox eksekusi (Docker/E2B/Firecracker), dan human-in-the-loop approval.

Retrieval & RAG

• Strategi chunking dan desain metadata; hybrid search (dense + sparse/BM25) serta reranking.
• Grounding dan citation; evaluasi kualitas retrieval (recall@k, faithfulness, answer relevancy).
• Agentic retrieval, query rewriting, dan multi-hop retrieval.
• Poin plus: GraphRAG, contextual/late chunking, evaluasi retrieval otomatis di dalam CI.

LLM & AI Platform

• Pengalaman menggunakan LLM API (OpenAI, Anthropic Claude, Google Gemini, dsb.).
• Prompt engineering dan context engineering; pemanfaatan prompt caching.
• Pemilihan model berdasarkan hasil evaluasi, bukan sekadar tren.
• Pemahaman tentang fine-tuning/distillation — termasuk kepekaan untuk menilai kapan hal ini justru tidak diperlukan.

Database (Minimal Menguasai 1 SQL dan 1 Vector)

• SQL: PostgreSQL (diutamakan) atau MySQL
• Vector / Hybrid Search: pgvector, Qdrant, Milvus, Weaviate, Pinecone, atau Chroma
• NoSQL / Cache (Poin Plus): Redis, MongoDB, Firebase

DevOps & LLMOps

• Mahir menggunakan Git untuk pengelolaan kode dan kolaborasi tim.
• Berpengalaman dalam otomatisasi dan CI/CD pipeline, termasuk menjadikan eval sebagai gate sebelum rilis untuk setiap perubahan prompt/harness.
• Terbiasa bekerja dengan Docker dan orkestrasi container.
• Berpengalaman melakukan deployment dan monitoring sistem AI di lingkungan produksi: token usage, latency, error rate, tool failure rate, dan cost per task.
• Observability LLM: LangSmith, Langfuse, Braintrust, Arize, atau tracing berbasis OpenTelemetry.

Nilai Tambah (Nice to Have)

• Pengalaman dengan arsitektur multi-agent dan koordinasi agent secara paralel.
• Pengalaman dengan layanan cloud AI/ML: AWS Bedrock, Vertex AI, atau Azure OpenAI.
• Pengalaman dengan message queue / durable execution untuk orchestration: Redis, Kafka, RabbitMQ, atau Temporal.
• Pengalaman melakukan inference atau self-hosting model: vLLM, Ollama, atau setara.
• Kontribusi di proyek open source pada ekosistem agent/RAG.
• Sertifikasi profesional (AWS Certified, Azure AI Engineer, Google Cloud Professional ML Engineer, dsb.).

Persyaratan Wawancara (Interview Requirements)

• Menampilkan dan menjelaskan diagram arsitektur sistem agentic dari proyek yang pernah ditangani, termasuk lapisan harness-nya (context, tool, memory, orchestration, observability).
• Menjabarkan keputusan desain beserta trade-off-nya: pemilihan framework, strategi orchestration, batas otonomi agent, serta pertimbangan cost vs latency vs akurasi.
• Menceritakan satu kasus kegagalan agent di lingkungan produksi: bagaimana kegagalan tersebut terdeteksi, ditelusuri, dan diperbaiki secara permanen di level harness — bukan sekadar tambal sulam pada prompt.
• Menjelaskan strategi evaluasi yang digunakan: apa yang diukur, bagaimana regresi dicegah, dan bagaimana hasil evaluasi memengaruhi keputusan rilis.
• Menunjukkan portofolio atau hasil proyek yang dibangun menggunakan Python dan framework agentic AI.