Fondasi AI yang Skalabel: Pelajaran dari Vanguard soal Data, Governance, dan Agentic System

Mengapa Banyak Proyek AI Macet di Skala Pilot

Banyak perusahaan berhasil membangun model machine learning yang akurat di lingkungan eksperimen, tapi gagal saat harus dioperasikan di skala enterprise. Menurut sesi The Foundations of Scalable AI di konferensi EmTech Future MIT Technology Review, kunci bukan pada algoritma terbaru, melainkan pada fondasi yang memungkinkan data, engineering, platform, operating model, dan governance bekerja sebagai satu kesatuan.

Pembicara utamanya, Jing Wang, Principal di Center for AI & Insights (CAI) Vanguard, berbagi pengalaman mengelola transformasi AI di salah satu manajer aset terbesar dunia dengan dana di bawah manajemen lebih dari 7 triliun dolar. Vanguard bukan startup AI — mereka adalah institusi keuangan yang diatur ketat, di mana kesalahan model berujung pada risiko regulasi, kerugian investor, dan kehilangan kepercayaan.

Lima Pilar Fondasi AI Skalabel

1. Data: Kualitas dan Lineage Sebelum Volume

Wang menekankan bahwa data bukan cuma soal volume. Di Vanguard, setiap dataset yang masuk pipeline AI harus punya lineage yang jelas: dari mana asalnya, siapa yang mengubahnya, kapan terakhir di-refresh, dan apakah sudah melalui validasi kepatuhan (compliance). Tanpa lineage, tim tidak bisa menjelaskan ke regulator mengapa model merekomendasikan alokasi portofolio tertentu.

Praktik konkret: Bangun data catalog terpusat dengan metadata otomatis (schema, freshness, owner, sensitivity level). Gunakan tools seperti Apache Atlas, Amundsen, atau DataHub. Tetapkan SLA freshness per domain — misalnya data transaksi harian harus tersedia pukul 06:00 WIB untuk batch training pagi.

2. Engineering: MLOps sebagai Standar, Bukan Opsional

Banyak tim data science masih hand-craft pipeline training tiap proyek. Vanguard mengadopsi pendekatan platform-first: satu platform MLOps terpusat yang menyediakan CI/CD untuk model, feature store terpusat, experiment tracking, model registry, dan automated monitoring (drift, performance, bias).

Hasilnya: time-to-production model baru turun dari 6–9 bulan jadi 6–8 minggu. Tim data science fokus pada feature engineering dan business logic, bukan plumbing infrastruktur.

Checklist engineering minimal:

• Feature store terpusat (Feast, Tecton, atau custom) untuk menghindari feature drift dan duplikasi kerja.
• Model registry dengan versioning, staging (dev/staging/prod), dan rollback satu klik.
• Automated testing: unit test untuk preprocessing, integration test untuk pipeline end-to-end, shadow deployment sebelum canary release.
• Monitoring real-time: data drift (PSI, KS test), concept drift (performance drop), dan bias metrics per segmen pelanggan.

3. Platform: Abstraksi yang Memberdayakan, Bukan Membatasi

Platform AI Vanguard dirancang sebagai internal developer platform (IDP). Data scientist, ML engineer, dan business analyst mengakses compute, data, dan tools lewat self-service portal — tanpa tiket ke tim infrastruktur. Platform menyediakan environment terisolasi per proyek, quota GPU, dan policy guardrails (mis. model yang menyentuh data PII wajib lewat privacy review otomatis).

Kunci: platform harus opinionated tapi extensible. Tim boleh bawa framework sendiri (PyTorch, TensorFlow, JAX) selama container-nya memenuhi standar keamanan dan observability.

4. Operating Model: Squad Cross-Functional, Bukan Handoff Berantai

Model operasi tradisional — data scientist riset, lalu “throw over the wall” ke ML engineer, lalu ke ops — menciptakan technical debt dan misalignment. Vanguard mengadopsi product-oriented squad: setiap squad punya product manager, data scientist, ML engineer, data engineer, compliance officer, dan business stakeholder. Squad bertanggung jawab penuh dari ide hingga dekomisioning model.

Manfaatnya: feedback loop cepat. Jika monitoring deteksi drift, squad yang sama bisa retrain dan redeploy dalam hari, bukan bulan.

5. Governance: Trust by Design, Bukan Checklist Akhir

Di industri teratur (keuangan, kesehatan, energi), governance bukan hambatan — itu prasyarat kepercayaan investor. Vanguard menyematkan governance di setiap lapisan:

• Model Risk Management (MRM) terintegrasi di CI/CD: validasi konseptual, validasi data, validasi performa, dan independent review wajib sebelum production.
• Explainability wajib untuk model yang mempengaruhi keputusan investor (mis. rebalancing otomatis). Gunakan SHAP, LIME, atau inherent interpretable models (GAM, decision trees) untuk high-stakes use case.
• Audit trail immutable: siapa approve, kapan, dengan bukti apa, dan keputusan apa. Disimpan di write-once storage untuk keperluan audit regulator (SEC, OJK, dll).

Agentic System: Langkah Berikutnya di Atas Fondasi Kokoh

Wang menyoroti agentic AI — sistem yang tidak hanya memprediksi, tapi bertindak (planning, tool use, multi-step reasoning) — sebagai peluang besar berikutnya. Tapi agentic system memperbanyak risiko: compounding errors, unbounded tool calls, dan accountability gap.

Fondasi lima pilar di atas jadi prasyarat sebelum deploy agentic system:

• Data lineage memastikan agent akses data yang tepat dan berhak.
• MLOps platform menyediakan sandbox eksekusi agent dengan resource limit dan rollback otomatis.
• Operating model squad memastikan ada human-in-the-loop untuk aksi kritis (mis. eksekusi trade, ubah alokasi dana).
• Governance framework mendefinisikan action space agent: apa yang boleh dilakukannya, batas kerugian, dan protokol eskalasi.

Contoh konkret di Vanguard: agent yang membantu analis riset menyusun investment memo draft. Agent mengakses data pasar terverifikasi, menjalankan model forecasting internal, menyusun narasi, dan menyerahkan draft ke analis untuk review final. Agent tidak mengeksekusi trade — batas jelas, akuntabilitas tetap pada manusia.

Langkah Praktis untuk Mulai Minggu Ini

1. Audit fondasi: Skor organisasi Anda 1–5 di masing-masing pilar (data lineage, MLOps maturity, platform self-service, squad autonomy, governance embedded). Fokus perbaikan di skor terendah.
2. Pilih satu use case high-value, regulated: Misalnya credit scoring, fraud detection, atau regulatory reporting automation. Bangun end-to-end di satu squad dengan semua pilar aktif.
3. Invest platform internal: Jangan tunggu vendor. Bangun IDP minimal: feature store, model registry, monitoring dashboard, dan self-service compute.
4. Definisikan “Definition of Done” untuk model: Termasuk validasi MRM, monitoring config, runbook insiden, dan owner bisnis yang sign-off.
5. Uji agentic di sandbox: Batasi action space, wajibkan human approval untuk aksi irreversibel, log semua keputusan agent untuk audit.

Kesimpulan

AI skalabel bukan soal model terbaik, tapi soal sistem yang memungkinkan model berkembang, diamati, dikoreksi, dan dipercaya — berulang kali, di lingkungan produksi yang teratur. Pengalaman Vanguard di bawah kepemimpinan Jing Wang menunjukkan: investasi di fondasi (data, engineering, platform, operating model, governance) membayar kembali dalam time-to-value yang lebih cepat, risiko yang terkendali, dan kapasitas untuk mengadopsi inovasi baru seperti agentic AI tanpa membangun dari nol.

Untuk pemimpin teknologi di Indonesia — baik di fintech, bank, e-commerce, maupun telekomunikasi — pesannya sama: bangun fondasi dulu, skala akan mengikuti.