Gerekli ama riskli
Kazıyıcılar, spam botları ve saldırı denemeleri gerçek sorunlardır. Ancak agresif engelleme, arama motoru botlarını da engelleyebilir — ve bu, felaketle sonuçlanır.
Belirtiler: bot engellenmiş olabilir
- Search Console'da tarama isteklerinde ani düşüş
- Tarama hatalarında artış (özellikle 403 ve 429)
- Yeni içerikler indekslenmiyor
- İndekslenen sayfa sayısı azalıyor
- URL denetiminde "erişilemedi" hatası
Bu belirtiler görüldüğünde güvenlik duvarı kuralları mutlaka kontrol edilmelidir.
Yaygın engelleme nedenleri
| Neden | Açıklama |
|---|---|
| Hız sınırı çok düşük | Bot normal tarama hızında engelleniyor |
| Ülke bazlı engelleme | Bot sunucularının bulunduğu bölge kapatılmış |
| Kullanıcı aracısı filtresi | Yanlış kural |
| Doğrulama zorunluluğu | Bot doğrulama ekranını geçemez |
| Agresif bot koruma modu | Meşru botlar da engelleniyor |
Doğru yaklaşım
- Arama motoru botlarını beyaz listeye alın
- Bot doğrulaması yapın — kullanıcı aracısı taklit edilebilir, IP doğrulaması güvenilirdir
- Hız sınırlarını makul belirleyin
- Engelleme sonrası tarama istatistiklerini izleyin
- Doğrulama ekranlarını botlara uygulamayın
Kazıyıcılarla mücadele
İçeriğinizi kopyalayan botlar sunucu yükü ve içerik hırsızlığı üretir. Dengeli önlemler:
- Hız sınırlaması (tamamen engelleme yerine)
- Anormal davranış tespiti
- Sunucu kaynak izleme
- Yalnızca belirgin zarar veren kaynakları engelleme
Yapay zeka botları
Bu botların yönetimi ayrı bir karardır ve robots.txt üzerinden yapılabilir. Güvenlik duvarıyla topluca engellemek, ayrım yapma imkânını ortadan kaldırır.
Test rutini
Güvenlik yapılandırması değiştiğinde:
- Search Console URL denetimi yapın
- Canlı test ile botun sayfayı görebildiğini doğrulayın
- Sonraki günlerde tarama istatistiklerini izleyin
Bu üç dakikalık kontrol, haftalarca sürebilecek bir görünürlük kaybını önler.
Ne anlama gelir?
Bot engelleme (bot management), bir siteye erişen otomatik yazılımların (botların) yönetilmesi ve zararlı olanların engellenmesidir. İnternet trafiğinin büyük kısmı botlardan gelir; bunların bir kısmı faydalıdır (arama motoru botları), bir kısmı ise zararlıdır (içerik çalanlar, spam gönderenler, saldırı botları). Bot engelleme, faydalı botlara izin verirken zararlıları durdurmayı hedefler.
Bot türleri
- Faydalı botlar: Arama motoru tarayıcıları (Googlebot vb.)
- Zararlı botlar: İçerik hırsızları, spam ve saldırı botları
- Gri bölge: Agresif tarayan analitik veya scraper botlar
SEO açısından kritik denge
Bot engellemede en büyük risk, zararlı botları engellemeye çalışırken yanlışlıkla arama motoru botlarını da engellemektir. Googlebot engellenirse, site taranamaz ve zamanla aramadan kaybolur; bu felakettir. Bu yüzden bot engelleme kuralları dikkatle yazılmalı ve arama motoru botlarının her zaman erişebildiğinden emin olunmalıdır. Öte yandan, kontrolsüz zararlı bot trafiği sunucuyu yorar, tarama bütçesini israf eder ve içeriğin çalınmasına yol açar. Doğru bot yönetimi, bu iki ucu dengeleyerek hem güvenliği hem SEO erişilebilirliğini korur.
Gerçek örnek
Bir site, agresif scraper botlarını engellemek için geniş bir kural koydu ama yanlışlıkla Googlebot'u da kapsadı; site taranamaz oldu ve trafik düştü. Kural, arama motoru botlarını açıkça hariç tutacak biçimde daraltıldığında, hem zararlı botlar engellendi hem tarama normale döndü.
Özet
Bot engelleme, siteye erişen otomatik yazılımları yönetip zararlıları durdurmaktır. Faydalı arama motoru botlarına izin verilmeli, zararlılar engellenmelidir. En büyük risk, yanlışlıkla Googlebot'u engelleyip siteyi taranamaz hale getirmektir; kurallar bu dengeyi gözetmelidir.