Pada 29 Oktober 2026 di Jakarta, sebuah perusahaan infrastruktur inferensi AI asal Indonesia, Netra Runtime, resmi memperkenalkan layanannya kepada publik. Beritanya mungkin terasa teknis: kernel, runtime, throughput token per detik. Tetapi ada satu analogi yang dipakai perusahaan dan langsung mudah dicerna pemilik usaha: GPU itu seperti dapur, sedangkan inference engine adalah kokinya.
Analogi itu penting karena menjelaskan di mana uang AI Anda sebenarnya habis. Selama ini perhatian pemilik usaha tertuju pada model - GPT, Gemini, Claude, dan sebagainya. Padahal model hanyalah resep. Yang menentukan apakah restoran Anda melayani sepuluh pelanggan atau empat puluh pelanggan per jam dengan dapur yang sama adalah koki dan tata kerja dapurnya.
Inferensi: Pos Anggaran AI yang Paling Sering Terlupakan
Setiap kali karyawan AI menjawab pelanggan, merangkum rapat, atau menulis deskripsi produk, model harus dijalankan. Proses menjalankan model itulah inferensi. Melatih model ibarat membangun dapur sekali saja; inferensi adalah memasak setiap pesanan, setiap hari, tanpa henti. Di banyak organisasi, biaya inferensi tumbuh lebih cepat daripada biaya langganan karena ia berbanding lurus dengan jumlah percakapan, bukan jumlah staf.
Sepanjang 2026, harga per token memang turun. Namun volume pemakaian naik lebih cepat daripada penurunan harga, sehingga tagihan akhir sering tetap membengkak. Inilah yang mengubah efisiensi mesin penyaji dari urusan engineering menjadi urusan pemilik usaha. Anda tidak perlu memahami kernel untuk menyadari bahwa dapur yang sama, dengan koki yang lebih tertata, menghasilkan lebih banyak piring dengan biaya bahan yang sama.
Yang Sebenarnya Dijual Netra: Koki, Bukan Dapur
Netra tidak menjual GPU. Netra menjual lapisan perangkat lunak yang membuat GPU yang sudah ada bekerja lebih produktif. Ada dua skema layanan. Pertama, private deployment: perangkat lunak Netra berjalan di infrastruktur GPU milik atau sewaan pelanggan, sehingga model dan data tetap berada di lingkungan perusahaan. Kedua, Netra Cloud: layanan terkelola lewat API yang kompatibel dengan format OpenAI dan dibayar per token yang diproses, tanpa membeli atau mengoperasikan GPU sendiri.
Analogi dapur bisa diperluas untuk memahami tiga istilah teknis yang akan Anda dengar saat berdiskusi dengan vendor. Batching berarti memasak porsi yang mirip secara bersamaan, bukan satu per satu. KV cache berarti menyimpan bumbu dasar yang sudah diulek agar tidak dibuat ulang untuk setiap pesanan. Lalu ada prefill dan decode: prefill adalah membaca pesanan panjang sekali di awal, decode adalah menulis jawaban kata per kata. Ketiganya menjelaskan mengapa dua mesin dengan GPU identik bisa menghasilkan jumlah token per detik yang sangat berbeda.
Pekerjaan engineering Netra menyentuh lapisan di bawah API: kernel inferensi, jalur runtime, penjadwalan, dan detail penyajian model dalam skala besar. Salah satu keluarannya sudah dipublikasikan, yaitu kernel inferensi dan integrasi runtime untuk model Deepseek v4.1 Flash pada GPU AMD Instinct MI350X. Repositori Netra Kernel dirilis dengan lisensi MIT, sehingga engineer Anda dapat memeriksa sendiri implementasinya. Bagi pemilik usaha, arti praktisnya sederhana: klaim performa bisa diuji, tidak harus dipercaya begitu saja.
Membaca Angka Benchmark dengan Kepala Dingin
Angka yang dipublikasikan perusahaan: throughput prefill mencapai 73.527 token input per detik pada concurrency 32 tanpa cache. Untuk decode, konfigurasi empat GPU AMD Instinct MI350X mencapai 5.062 token output per detik secara agregat pada concurrency 32, dibandingkan 2.870,2 pada dua GPU NVIDIA B300 dan 2.497,8 pada empat GPU NVIDIA B300. Perusahaan juga mengklaim throughput hingga empat kali lebih tinggi dibanding mesin inferensi open source terkemuka pada GPU yang sama.
Dua hal harus dikatakan jujur. Pertama, ini benchmark yang dipublikasikan perusahaan, bukan hasil uji pihak ketiga; hasilnya bergantung pada model, hardware, pola beban, dan konfigurasi pengujian. Kedua, angka agregat pada concurrency tinggi mengukur kapasitas server, bukan kecepatan yang dirasakan satu pelanggan. Yang dirasakan pelanggan adalah time-to-first-token dan kecepatan streaming jawaban. Dua metrik itulah yang sebaiknya Anda minta saat uji coba, bukan hanya token per detik.
Meski begitu, arah klaimnya masuk akal secara ekonomi. Jika satu dapur dapat mengeluarkan empat kali lebih banyak porsi dengan bahan yang sama, biaya per porsi turun. Pertanyaannya bukan apakah angka itu tepat sampai desimal, melainkan apakah penurunannya cukup besar untuk mengubah keputusan beli Anda.
Dua Cara Membeli: GPU Sendiri atau API per Token
Private deployment cocok bila data pelanggan tidak boleh keluar dari lingkungan Anda, volume pemakaian stabil dan tinggi, dan Anda sudah memiliki atau menyewa GPU. Pada skema ini, biaya utama adalah sewa kapasitas yang tetap, sehingga utilisasi menjadi segalanya. GPU yang menganggur tujuh puluh persen waktu tetap ditagih penuh.
Netra Cloud cocok bila volume Anda naik-turun, tim internal kecil, dan Anda lebih suka membayar sesuai pemakaian. Karena API-nya kompatibel dengan format OpenAI, migrasi umumnya hanya mengganti alamat server dan kunci API, bukan menulis ulang aplikasi. Situs perusahaan menyebut layanannya di-host di Indonesia - detail yang kita bahas di bagian berikutnya.
Aturan praktisnya begini: bila tagihan API bulanan Anda sudah setara atau melewati biaya sewa satu GPU selama enam bulan, private deployment layak dihitung serius. Bila belum, jangan tergoda memiliki dapur sendiri hanya karena terdengar lebih bergengsi.
Mengapa 'Di-host di Indonesia' Bukan Sekadar Kalimat Pemasaran
Bagi UKM yang memproses data pelanggan, ada tiga hal nyata di balik frasa itu. Pertama, jarak. Permintaan yang harus menyeberang ke Singapura atau Amerika menambah latensi, dan pada chatbot layanan pelanggan jeda satu detik sudah terasa seperti sistem yang lambat. Kedua, kewajiban. Undang-Undang Perlindungan Data Pribadi menuntut kejelasan soal di mana data diproses dan siapa yang dapat mengaksesnya, dan lokasi pemrosesan adalah bagian dari jawaban itu. Ketiga, audit. Ketika pelanggan korporat meminta bukti, kemampuan menunjukkan lokasi infrastruktur mempercepat proses pengadaan.
Perlu dicatat dengan jujur: hosting lokal bukan jaminan kepatuhan otomatis. Anda tetap memerlukan perjanjian pemrosesan data, kebijakan retensi, dan kontrol akses yang tertulis. Tetapi hosting lokal menghapus satu pertanyaan sulit dari daftar due diligence Anda.
Peluang Bisnis untuk UKM Indonesia
Di sinilah berita infrastruktur berubah menjadi peluang yang bisa dihitung. Ada tiga posisi yang dapat diambil pemilik usaha, dan ketiganya berbeda secara ekonomi.
Pertama, sebagai pengguna. Ambil contoh UKM layanan pelanggan dengan 1.500 percakapan per hari. Satu percakapan rata-rata empat putaran, tiap putaran 800 token masuk dan 250 token keluar, sehingga sekitar 4.200 token per percakapan. Totalnya 6,3 juta token per hari atau sekitar 189 juta token per bulan. Pada kisaran harga pasar API sekitar US$1,1-1,2 per juta token (estimasi industri pertengahan 2026), tagihannya sekitar US$221 atau Rp 3,5 juta per bulan. Murah - sampai Anda ingin menjalankan model sendiri karena data tidak boleh keluar. Sewa satu GPU sekitar Rp 18 juta per bulan. Dengan kapasitas 500 percakapan per hari, biaya per percakapan Rp 1.200. Bila efisiensi mesin penyaji menaikkan kapasitas menjadi 2.000 percakapan per hari dengan sewa yang sama, biaya per percakapan turun ke Rp 300. Selisih Rp 900 per percakapan itu bukan penghematan di atas kertas; ia yang menentukan apakah layanan AI Anda bisa dijual Rp 500 per percakapan dan masih untung.
Kedua, sebagai integrator. UKM jasa - agensi digital, konsultan manajemen, integrator sistem - dapat menjual karyawan AI sebagai layanan berulang. Pola harga yang lazim: setup Rp 15-25 juta, lalu retainer Rp 3-5 juta per bulan per klien. Bila biaya inferensi per klien dapat ditekan ke Rp 500 ribu sampai Rp 1 juta per bulan, margin kotor tetap sehat meski Anda menjanjikan revisi dan pemantauan bulanan. Yang berubah dengan adanya penyedia inferensi lokal bukan hanya biaya, tetapi juga kecepatan demo: latensi rendah membuat calon klien melihat hasil dalam hitungan detik, dan demo yang meyakinkan menutup kontrak lebih cepat daripada proposal tiga puluh halaman.
Ketiga, sebagai penjual hasil. Pedagang online dan produsen kecil dapat memakai penurunan biaya per token untuk pekerjaan yang dulu terlalu mahal: menulis deskripsi dan judul SEO untuk seluruh katalog, bukan hanya dua puluh produk terlaris; membuat varian iklan per segmen pelanggan; merangkum ulasan menjadi daftar perbaikan produk setiap minggu. Bila biaya per produk turun dari Rp 400 ke Rp 100, katalog 2.000 SKU berubah dari proyek Rp 800 ribu menjadi Rp 200 ribu - angka yang bisa diputuskan seorang manajer tanpa rapat anggaran.
Lima Langkah Adopsi yang Bisa Dijalankan Bulan Ini
- Hitung dulu, jangan menebak. Ambil tagihan API tiga bulan terakhir, bagi dengan jumlah percakapan. Itu biaya per unit Anda hari ini. Tanpa angka ini, semua diskusi efisiensi hanya berhenti di opini.
- Pilih satu alur kerja, bukan sepuluh. Layanan pelanggan atau pembuatan konten katalog. Ukur time-to-first-token dan biaya per percakapan sebelum dan sesudah perubahan.
- Uji dengan beban nyata. Kirim 200 pertanyaan asli pelanggan Anda, termasuk yang berantakan dan campur bahasa. Benchmark pada pertanyaan rapi selalu terlihat bagus.
- Periksa kontraknya. Lokasi pemrosesan data, masa retensi, cara ekspor, dan apa yang terjadi bila Anda pindah penyedia. API yang kompatibel dengan format OpenAI membuat perpindahan menjadi pekerjaan satu hari, bukan satu kuartal.
- Pasang pagar biaya. Tetapkan batas token per percakapan dan per bulan, plus alarm ketika terlampaui. Mesin yang lebih murah sering membuat pemakaian naik lebih cepat daripada penghematannya.
Risiko yang Jangan Diabaikan
Tiga risiko perlu disebut terbuka. Pertama, benchmark vendor adalah materi penjualan; minta uji coba dengan data Anda sendiri dan catat siapa yang mengukur. Kedua, optimasi apa pun punya harga. Kuantisasi agresif dapat menurunkan kualitas jawaban pada kasus sulit, dan penurunan itu jarang terlihat di dashboard - ia hanya terlihat di keluhan pelanggan. Ketiga, paradoks efisiensi. Ketika biaya per token turun, tim Anda akan memakai lebih banyak token: konteks lebih panjang, lebih banyak agen, lebih banyak percobaan. Tagihan bisa naik meski harga satuan turun, dan pagar biaya adalah satu-satunya yang membuat penghematan benar-benar terasa di laporan keuangan.
Yang juga layak dicatat: munculnya pemain infrastruktur lokal dengan dukungan modal dari Init-6 - ventura yang didirikan Achmad Zaky dan Nugroho Herucahyono - adalah sinyal bahwa lapisan penyajian AI mulai diperlakukan sebagai bisnis, bukan sekadar biaya teknis. Bagi pemilik usaha, itu berarti pilihan pemasok bertambah dan harga cenderung membaik. Bagi yang bergerak di jasa teknologi, itu berarti kompetitor baru bisa muncul dari arah yang tidak biasa.
Sumber berita: Media Indonesia (30 Oktober 2026), Kontan, Bisnis.com, JagatBisnis, dan Industry.co.id (29-30 Oktober 2026), serta halaman resmi Netra Runtime. Seluruh angka benchmark adalah klaim perusahaan dan perlu diverifikasi ulang pada beban kerja Anda sendiri.
Baca juga: NVIDIA Tanam US$3 Miliar di Meta: Mengapa Biaya Komputasi AI UKM Ikut Berubah, NVIDIA Nemotron 3.5: Karyawan AI Kini Bisa Berjalan di Komputer Kantor Tanpa Tagihan Token Cloud, dan OpenAI Rilis GPT-6.1 Terra: Model AI Kantor Murah, Biaya Karyawan AI UKM Bisa Turun Drastis.
Teknologi yang lebih murah tidak otomatis menjadi karyawan yang benar-benar bekerja. Yang membedakan adalah SOP, batas kewenangan, dan cara mengukur hasil. Jika Anda ingin membangun itu dengan pendampingan langsung, ikuti workshop 'Bikin Karyawan AI' bersama Arie Tama - tiga jam untuk merancang dan membangun enam AI agent yang siap dipakai di bisnis Anda. Jadwal dan informasi biaya ada di arietama.id.