Berhenti Menghitung Token, Mulai Menghitung Kode yang Ter-deploy: Mengubah Ekonomi AI Coding

Dari Chat Sederhana ke Agent Coding: Lonjakan Biaya Token

Ketika seorang developer memberikan tugas coding ke AI agent, yang terjadi bukan sekadar satu kali jawaban. Agent merencanakan, menghasilkan kode, menjalankan tes, dan mengulang proses untuk memperbaiki error. Satu tugas saja bisa memakan 10 hingga 50 kali lebih banyak token dibanding prompt chat biasa. Semakin berguna agent tersebut, semakin banyak panggilan API yang ia buat.

Dengan model harga per-token, alur kerja yang menciptakan nilai paling besar justru bisa menjadi yang paling mahal. Tekanan finansial sudah terlihat nyata: Uber42026AI setelah memperluas penggunaan Claude Code. GitHub Copilot beralih dari harga flat-rate ke sistem kredit bermeter. Gartner memprediksi biaya token AI coding akan melebihi gaji rata-rata developer pada 2028.

Respons Alami: Rationing — Dan Mengapa Itu Salah

Respons alami perusahaan adalah menerapkan pembatasan: batas penggunaan, batas seat, dan persetujuan sebelum developer meluncurkan agent. Tapi batasan blanket justru bisa membatasi alur kerja yang mengantarkan nilai. Mereka juga mengoptimalkan angka yang salah. Cost per token mengukur konsumsi, bukan hasil. Sebagian pengeluaran mencerminkan waste — retry dan Stop tak terkendali. Sebagian lagi mewakili pekerjaan nyata: shipping software. Meter tidak bisa membedakannya, begitu juga spending cap.

Metrik Lebih Baik: Cost Per Merged Pull Request

Ukuran yang lebih bermakna adalah cost per merged pull request: total biaya pengembangan berbantu AI dibagi jumlah perubahan yang lolos review dan ter-merge. Lacak juga rework dan defect di sampingnya, agar perubahan yang lebih murah tidak menutupi kualitas yang lebih rendah.

Jika biaya itu turun seiring naiknya penggunaan AI, tanpa mengorbankan kualitas, berarti developer mengubah lebih banyak konsumsi menjadi software yang berguna. Pertanyaannya bukan berapa token yang dipakai, tapi berapa banyak pekerjaan selesai yang dihasilkan investasi tersebut.

Dua Perubahan Fundamental

1. Cocokkan Model dengan Tugas

Agentic coding tidak memerlukan model paling powerful di setiap langkah. Gunakan model frontier (atau flagship on-premises saat kebijakan menuntut) untuk perencanaan sulit dan reasoning baru. Arahkan pekerjaan rutin — generasi kode, pembuatan tes, refactoring berulang — ke open-weight models yang dioperasikan sendiri.

Sebuah gateway bisa mengarahkan request berdasarkan kompleksitas tugas, sensitivitas data, biaya, dan latency. Ini menyisihkan inference premium untuk momen yang memang membutuhkannya, bukan menerapkan harga premium ke seluruh alur kerja. Meterkan pengecualian, bukan beban kerja.

Open-weight models membuat pembagian ini semakin praktis. Benchmark software engineering menunjukkan model open-weight terdepan mendekati performa frontier pada beberapa tugas. Itu tidak berarti ekuivalen di setiap repositori atau alur kerja. Evaluasi kandidat terhadap kode, tes, dan kriteria penerimaan Anda sendiri sebelum menyerahkan pekerjaan produksi.

2. Ubah Ekonomi Penggunaan Berulang

Berikutnya, tentukan siapa yang memiliki kapasitas. Dengan inference disewa, setiap panggilan menambah tagihan. Dengan kapasitas sendiri, sebagian besar biaya dikomit upfront, sehingga setiap panggilan tambahan jadi lebih murah seiring bertambahnya penggunaan.

Ekonominya sederhana: harga per-token membuat penggunaan berat jadi lebih mahal, sedangkan kapasitas sendiri jadi lebih efisien saat tim menggunakannya lebih banyak. Kepemilikan bukan gratis — daya, operasi, maintenance, dan depresiasi semua harus dihitung. Angka yang penting adalah fully loaded cost per merged pull request.

Kapasitas sendiri juga mengantarkan nilai yang tidak pernah muncul di invoice: kontrol atas kode sensitif. Saat generasi kode dan testing berjalan on-premises, kode proprietary tetap di dalam enterprise. Hanya prompt perencanaan yang disetujui dan pengecualian tergovernance yang pergi ke model eksternal, melalui gateway yang dikontrol organisasi. Itu membuka repositori sensitif di mana keamanan biasanya menghentikan adopsi — dan di mana gain terbesar menunggu.

Bukti Nyata: Kasus HPE

Di HPE, platform AI hybrid mengarahkan beban kerja rutin dari lebih dari 150 aplikasi internal ke open-weight models yang berjalan on-premises, termasuk di HPE Private Cloud AI. Hasilnya: biaya token turun 30 hingga 50%.

Itulah titik hybrid. Dengan HPE Private Cloud AI, memiliki inference sendiri tidak berarti menyerahkan model frontier. Jalankan volume pada kapasitas Anda sendiri, dan biarkan gateway mengirimkan pekerjaan tersulit ke model frontier.

Data juga menunjukkan bahwa usage, bukan licensed headcount, yang mendorong spend. 5% user teratas menghasilkan sebagian besar konsumsi, dan user terberat menggunakan sekitar 450 kali lebih banyak dari user terringan pada lisensi yang sama. Jika power users tumbuh dari minoritas kecil menjadi separuh workforce, spend bulanan bisa naik sekitar 4,4 kali dengan headcount datar. Campuran Anda akan berbeda, itulah mengapa Anda perlu mengukurnya.

HPE melacak dua metrik dan merekomendasikan pelanggan melakukan hal yang sama. Pertama, cost per active developer, karena rata-rata di seluruh lisensi menyembunyikan power users yang mendorong spend. Kedua, cost per merged pull request, karena menghubungkan pengeluaran AI ke software yang benar-benar ter-ship.

Baseline kedua biaya sebelum mengubah infrastruktur. Lalu jalankan siklus pengembangan penuh pada kapasitas sendiri. Jika kedua metrik tidak membaik seiring naiknya penggunaan, model saat ini mungkin masih pilihan yang lebih baik.

Bangun untuk Adopsi, Bukan Rationing

Kapasitas sendiri bukan untuk semua orang. Penggunaan rendah atau tidak terduga mendukung API, tanpa modal terikat di infrastruktur idle. Kepemilikan berbuah ketika permintaan berkelanjutan menjaganya sibuk. Sebagian besar enterprise akan menjalankan hybrid: frontier API untuk pekerjaan menuntut atau intermitten, kapasitas sendiri untuk volume yang bisa diulang. Gateway tergovernance memutuskan apa yang keluar gedung, sehingga Anda mendapatkan model frontier tanpa menyerahkan kedaulatan atas kode Anda.

Seiring developer semakin bergantung pada coding agent, usage akan terus naik. Pilihan nyata adalah apakah pertumbuhan itu muncul sebagai tagihan variable-cost yang lebih besar, atau sebagai lebih banyak software yang ter-ship pada kapasitas Anda sendiri. Perusahaan yang memimpin pengembangan berbantu AI tidak akan merasionalisasi adopsi untuk mengontrol biaya. Mereka akan membangun model operasi di mana penggunaan AI yang lebih banyak memperbaiki ekonomi, bukan mengganggunya.