Ada kabar penting pada Jumat, 30 Oktober 2026, yang bisa jadi terlewat di antara hiruk-pikuk berita AI: OpenAI, Google, Microsoft, dan Anthropic mengumumkan dukungan atas satu sinyal bersama di file robots.txt untuk menolak penggunaan konten situs web demi melatih model AI. Untuk pertama kalinya, pemilik situs cukup menulis satu aturan, dan aturan itu akan dibaca oleh crawler hampir semua raksasa AI sekaligus.
Sebelumnya, situasinya melelahkan. Setiap vendor punya crawler sendiri: GPTBot milik OpenAI, ClaudeBot milik Anthropic, Google-Extended milik Google. Anda harus menulis aturan terpisah untuk masing-masing, memahami format yang berbeda-beda, lalu tetap tidak yakin siapa yang benar-benar patuh. Analoginya begini: selama ini Anda harus menempelkan stiker "dilarang memotret" di setiap pintu gedung Anda satu per satu, dengan desain dan bahasa yang beda-beda. Mulai kini, cukup satu papan instruksi di gerbang depan yang dipahami semua tamu.
Apa yang Sebenarnya Disepakati
Dasar teknisnya adalah rancangan standar internasional (Internet-Draft) berjudul Machine-Readable Training Preference Signal yang ditulis Kevin Kelley dari Anthropic dan dipublikasikan di forum IETF pada 30 Oktober 2026. Rancangan ini memperkenalkan token kebijakan bernama __usage_ai-training yang dituliskan di file robots.txt, file teks sederhana yang selama ini dipakai situs untuk memberi tahu mesin pencari bagian mana yang boleh dan tidak boleh diakses.
Caranya persis seperti menulis aturan robots.txt biasa, tanpa sintaks baru:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
Tiga baris di atas berarti: seluruh isi situs tidak boleh dipakai untuk pelatihan AI, kecuali halaman-halaman di bawah folder /press-kit/. Aturan lama seperti pemisahan blok per-crawler tetap berjalan seperti biasa.
Jadwal Implementasi: Tidak Serentak, tapi Pasti
- Anthropic, tempat penulis rancangan ini bekerja, menyatakan mulai menerapkan dukungan sinyal dan akan melengkapinya dengan kontrol crawler yang sudah ada.
- OpenAI menargetkan implementasi "dalam beberapa bulan ke depan", dengan detail teknis yang akan menyusul.
- Google membidik awal 2027 dan berencana memperlakukan penolakan melalui token ini sebagai penolakan terhadap Google-Extended, crawler yang memakai konten untuk pelatihan maupun grounding Gemini.
- Microsoft paling tegas: berlaku mulai 1 Februari 2027, dan menambahkan preferensi tingkat halaman yang memisahkan opsi pelatihan dari opsi grounding (konten Anda dikutip sebagai sumber jawaban AI).
Batasnya: Ini Preferensi, Bukan Gembok
Agar tidak salah berekspektasi, pahami tiga keterbatasan. Pertama, sinyal ini sukarela: ia menyatakan preferensi, bukan perintah yang mengikat secara hukum, dan pengikis nakal tidak akan berhenti karenanya. Kedua, ia hanya berlaku untuk pengambilan data ke depan, konten yang terlanjur masuk kumpulan data latihan tidak otomatis terhapus. Ketiga, Meta berada di posisi abu-abu: perusahaan ini memberi sinyal mendukung inisiatif, tetapi belum menyatakan akan menghormati sinyal tersebut.
Latar belakangnya menarik: pada hari yang sama, regulator persaingan Inggris (CMA) membuka penyelidikan resmi terhadap ketentuan komersial Meta yang memungkinkan perusahaan merayapi situs bisnis milik pelanggannya untuk mengembangkan produk AI. Meta pun menunda pemberlakuan ketentuan barunya dan menghentikan sementara penerapannya menunggu konsultasi industri. Jadi tren minggu ini jelas: tekanan regulasi dan kesepakatan pasar bergerak ke arah yang sama, yaitu memberi pemilik konten kendali lebih besar.
Dilema Strategis UKM: Lindungi Konten atau Tetap Terbaca AI
Di sinilah keputusan menjadi tidak hitam-putih. Menolak pelatihan AI berarti menjaga katalog produk, artikel blog, dan foto orisinal Anda tidak "dipelajari" gratis oleh model pihak lain. Tetapi ada konsekuensi: pada Google, penolakan melalui token ini juga berdampak pada Google-Extended yang mencakup grounding, artinya situs Anda berpotensi lebih jarang dikutip asisten AI sebagai sumber jawaban, meski tetap muncul di hasil pencarian biasa.
Bagi banyak UKM, posisi tengah lebih masuk akal: biarkan halaman produk dan katalog tetap terbuka karena justru ingin ditemukan dan direkomendasikan ChatGPT atau Gemini, sementara lindungi aset bernilai seperti kajian internal, basis data harga, atau konten orisinal yang menjadi pembeda merek Anda.
Lima Langkah Praktis Pekan Ini
- Buka https://domainanda.com/robots.txt dan audit isinya. Banyak situs UKM Indonesia tidak punya file ini sama sekali, artinya semua crawler bebas masuk.
- Tetapkan kebijakan konten Anda: mana yang menjadi alat penjualan dan harus terbaca AI, mana yang merupakan aset proprietary dan harus dilindungi.
- Sambil menunggu sinyal baru berlaku penuh, tetap tulis aturan eksplisit per-crawler: blokir GPTBot, ClaudeBot, dan Google-Extended untuk halaman yang Anda lindungi.
- Pengguna WordPress atau hosting kelolaan biasanya bisa mengedit robots.txt lewat plugin SEO atau permintaan ke penyedia hosting; minta developer atau tim digital Anda melakukannya, lalu verifikasi hasilnya.
- Tandai kalender: 1 Februari 2027 untuk Microsoft dan awal 2027 untuk Google. Setelah sinyal aktif, cek ulang apakah penolakan Anda benar-benar dihormati melalui laporan crawler di panel web Anda.
Konten Anda Adalah Aset, Perlakukan Seperti Aset
Percakapan besar AI tahun 2026 bukan lagi "bolehkah mesin mengambil konten kita", melainkan bagaimana bisnis kecil memposisikan hartanya di era ketika mesinlah yang pertama membaca halaman Anda. Di workshop Bikin Karyawan AI, tim Arietama membantu pelaku UKM merapikan fondasi digital seperti ini, sekaligus menyiapkan sisi serunya: memakai agen AI untuk follow-up prospek otomatis, layanan pelanggan via WhatsApp, dan produksi konten yang justru membuat merek Anda paling sering dikutip asisten AI. Anda bisa memeriksa jadwal pelatihan terbaru di halaman program arietama.id.
Sumber: pengumuman OpenAI, Google Search Central, dan blog Bing Microsoft (30 Oktober 2026); Internet-Draft IETF draft-kelley-aipref-training-preference-signal; Reuters dan gov.uk mengenai penyelidikan CMA atas ketentuan komersial Meta (30 Oktober 2026).