Shaqueena.com - Belakangan ini banyak pemilik website yang mulai “gerah” karena konten mereka diambil bot AI untuk training (AI trainer). Saya pun termasuk salah satunya. Akhirnya saya memutuskan untuk memblokir AI trainer lewat Cloudflare agar bot-bot tersebut tidak bebas meng-crawl dan mengambil data dari website saya.
Masalahnya… setelah beberapa hari diterapkan, saya kaget karena score SEO website malah turun.
Di artikel ini saya akan cerita pengalaman lengkapnya, penyebab SEO bisa turun, dan solusi yang akhirnya saya lakukan.
Kenapa Saya Memblokir AI Trainer?
Alasan saya cukup sederhana:
Konten diambil tanpa izin
Rasanya seperti “dibajak halus”, karena konten kita dipakai melatih AI.Boros resource server
Bot AI kadang crawling agresif, bikin beban server naik.Takut konten gampang “diduplikasi”
Banyak yang khawatir konten uniknya dipakai AI lalu muncul di tempat lain dalam bentuk rangkuman.
Jadi saya pikir, memblokir AI trainer itu langkah aman dan bijak.
Cara Saya Memblokir AI Trainer di Cloudflare
Waktu itu saya pakai fitur Cloudflare seperti:
Bot Fight Mode
WAF Rules / Firewall Rules
Memblokir user-agent tertentu yang terindikasi AI crawler
Membatasi akses berdasarkan request pattern
Secara teknis, semuanya terlihat normal. Website tetap bisa diakses pengunjung biasa. Saya pun merasa “aman”.
Sampai akhirnya saya cek SEO…
Tanda-Tanda Score SEO Website Turun Setelah Block AI Trainer
Beberapa hal yang saya rasakan setelah beberapa hari:
✅ Score SEO di tools audit menurun (misalnya performance/SEO score)
✅ Halaman tertentu turun ranking perlahan
✅ Impresi dan klik dari Google Search Console berkurang (terutama halaman baru)
✅ Index halaman baru jadi lebih lambat
Dari situ saya mulai curiga: “Jangan-jangan aturan Cloudflare saya malah mengganggu bot Google?”
Penyebab SEO Turun Setelah Memblokir AI Trainer di Cloudflare
Ternyata, ini beberapa penyebab yang paling sering terjadi (dan saya alami sendiri):
1) Googlebot Ikut Terblokir Tanpa Sengaja
Ini yang paling fatal.
Kadang kita bikin rule “keras” untuk memblokir bot AI, tapi malah:
Googlebot dianggap bot biasa
atau request Googlebot kena challenge Cloudflare
atau Googlebot kena rate limit
Akibatnya Google kesulitan crawl halaman kita.
Kalau Google sulit crawl → index melambat → SEO turun.
2) Cloudflare Challenge Bikin Bot Sulit Mengakses
Cloudflare punya fitur seperti:
JS Challenge
Managed Challenge
CAPTCHA
Kalau challenge ini diterapkan ke bot penting, bisa bikin:
Google gagal merender halaman
crawl budget terbuang
bot tidak dapat melihat isi konten dengan sempurna
Hasilnya Google menilai kualitas akses situs menurun.
3) Terlalu Banyak Firewall Rule yang Over Protektif
Kadang kita menambahkan banyak rule, misalnya:
block semua user-agent aneh
blok request dari negara tertentu
throttle request berlebihan
Kalau terlalu ketat, efeknya seperti “mengunci pintu rumah” terlalu rapat sampai tamu penting ikut tidak bisa masuk.
4) Menghambat Proses Index Halaman Baru
SEO itu butuh crawl rutin.
Kalau proses crawl jadi sulit karena rule yang agresif, halaman baru:
lebih lama terdeteksi
lebih lama terindeks
lebih lama naik ranking
Ini membuat website terasa seperti “jalan di tempat” di Google.
Cara Saya Memperbaiki SEO Setelah Block AI Trainer
Setelah sadar ada yang salah, saya melakukan beberapa langkah ini:
✅ 1) Whitelist Googlebot dan Bot Search Engine Resmi
Saya pastikan:
Googlebot
Bingbot
dan bot mesin pencari resmi lainnya
tidak kena challenge atau block.
Biasanya ini bisa dilakukan dengan:
Allow rule untuk Verified Bots
atau bypass untuk bot yang terverifikasi
✅ 2) Ubah Rule Jadi Lebih Spesifik
Saya tidak lagi memblokir “semua bot”, tetapi hanya:
bot yang memang terindikasi AI training
bot dengan perilaku agresif (request terlalu cepat)
Rule saya dibuat lebih sempit dan aman.
✅ 3) Monitoring di Google Search Console
Saya pantau:
Coverage / indexing
Crawl stats
dan error seperti 403 / 429
Kalau muncul error tersebut, berarti Googlebot masih terganggu.
✅ 4) Gunakan Rate Limit Secukupnya (Bukan Block Total)
Kadang bot AI itu bukan harus diblok total, tapi cukup dibatasi:
biarkan akses sedikit
tapi jangan sampai membebani server
Langkah ini lebih aman untuk SEO dibanding block brutal.
Apakah Memblokir AI Trainer Itu Salah?
Tidak selalu salah.
Tapi harus hati-hati.
Karena kalau aturan Cloudflare terlalu keras, yang dirugikan bukan bot AI saja…
tapi juga Googlebot sebagai “pintu utama” SEO.
Kalau mau memblokir AI trainer, pastikan:
✅ Bot search engine tidak terganggu
✅ Tidak ada challenge untuk bot penting
✅ Crawl & index tetap lancar
Kesimpulan: Block AI Trainer Bisa Turunkan SEO Jika Tidak Tepat
Dari pengalaman saya, memblokir AI trainer memang terasa aman, tapi bisa jadi bumerang kalau:
Googlebot ikut terblok
Challenge Cloudflare membuat Google gagal crawl
Firewall rule terlalu agresif
Solusinya adalah menyeimbangkan antara:
🔒 keamanan website
dan
📈 kelancaran SEO
Jadi website tetap aman, tapi ranking juga tidak jatuh.
FAQ Singkat
Q: Bagaimana cara tahu Googlebot terblokir?
A: Cek Google Search Console (Coverage & Crawl Stats) dan log Cloudflare apakah banyak 403/429 untuk Googlebot.
Q: Lebih baik block atau rate limit?
A: Lebih aman pakai rate limit, kecuali kamu yakin bot itu benar-benar berbahaya.
Q: Apakah memblokir AI trainer meningkatkan SEO?
A: Tidak otomatis. Fokus SEO tetap pada kualitas konten, kecepatan, struktur, dan crawlability.
