Tüm sayfalar eşit taranmaz
Arama motoru sitenizdeki her sayfayı aynı sıklıkta taramaz. Bazı sayfalar günde birkaç kez, bazıları ayda bir taranır.
Tarama sıklığını etkileyen unsurlar
| Unsur | Etkisi |
|---|---|
| Sayfanın önemi | İç ve dış bağlantı sayısı |
| Güncelleme sıklığı | Sık değişen sayfa sık taranır |
| Tıklama derinliği | Yüzeye yakın sayfalar öncelikli |
| Site haritasında olması | Keşfi hızlandırır |
| Sunucu performansı | Yavaş sunucuda tarama azalır |
| Sayfa kalitesi | Değersiz sayfalar seyrekleşir |
| Geçmiş değişiklikler | Hiç değişmeyen sayfa seyrek taranır |
Pratik sonuçlar
- Yeni içerik geç keşfediliyorsa: İç link eksik veya derinlik fazla olabilir
- Fiyat güncellemesi geç yansıyorsa: Tarama sıklığı yetersizdir
- Önemli sayfa nadiren taranıyorsa: İç link yapısı gözden geçirilmeli
Tarama önceliğini iyileştirme
- İç link verin. Önemli sayfalara güçlü sayfalardan bağlantı
- Derinliği azaltın. Ticari sayfalar 3 tıklama içinde olsun
- Site haritasını güncel tutun
- Sunucu hızını iyileştirin. Hızlı yanıt, daha fazla tarama demektir
- Değersiz adresleri taramaya kapatın. Kaynak doğru sayfalara aksın
- Yönlendirme zincirlerini kısaltın
- Anlık bildirim protokolleri kullanın (sık güncellenen sitelerde)
Tarama istatistiklerini okuma
Search Console'daki tarama istatistikleri raporunda izlenecekler:
- Günlük tarama isteği sayısı eğilimi
- Ortalama yanıt süresi
- Yanıt kodu dağılımı
- Dosya türü dağılımı
- Tarama amacı (keşif mi, yenileme mi?)
Uyarı işareti: Tarama isteklerinde ani düşüş + yanıt süresinde artış = sunucu sorunu.
Büyük siteler için
On binlerce sayfalı sitelerde tarama önceliği kritik hâle gelir. Log analizi, botun gerçekte hangi sayfalara zaman ayırdığını gösteren tek kesin yöntemdir.
Tipik bulgu: Tarama kaynağının büyük bölümü filtre ve parametre adreslerine harcanırken, ticari sayfalar nadiren ziyaret edilir.
Ne anlama gelir?
Tarama öncelikleri (crawl priorities), Googlebot'un bir sitedeki sayfaları hangi sıklıkla ve hangi öncelikle tarayacağına dair verdiği kararlardır. Google'ın her siteye ayırdığı tarama kaynağı (tarama bütçesi) sınırlıdır; bu yüzden tüm sayfaları eşit sıklıkla taramaz. Önemli, sık güncellenen ve otoriteli sayfaları daha öncelikli tararken; değersiz veya nadiren değişen sayfaları daha seyrek tarar. Bu önceliklerin farkında olmak, özellikle büyük siteler için kritiktir.
Öncelikleri ne etkiler?
- Sayfanın önemi ve site içindeki konumu (iç linkler)
- İçeriğin güncellenme sıklığı
- Sayfanın otoritesi ve backlinkleri
- Site haritasındaki ve iç linklemedeki vurgu
Nasıl yönlendirilir?
Tarama önceliklerini doğrudan kontrol edemezsiniz, ama güçlü biçimde etkileyebilirsiniz. En önemli sayfalarınıza güçlü iç linkler vermek, onları site haritasına dahil etmek ve düzenli güncellemek, Google'a bu sayfaların öncelikli olduğunu sinyaller. Buna karşılık, değersiz sayfaların (örneğin sonsuz filtre kombinasyonları, çok sayıda düşük değerli etiket sayfası) tarama bütçesini boşa harcamasını önlemek de önemlidir; bunları robots.txt veya diğer yöntemlerle taramadan hariç tutmak, kaynağın değerli sayfalara yönelmesini sağlar. Büyük sitelerde en yaygın sorun, Googlebot'un bütçesini değersiz sayfalarda harcayıp önemli sayfaları yeterince taramamasıdır. Sunucu günlüğü analizi, Googlebot'un gerçekte neyi öncelediğini görmenin ve bu öncelikleri düzeltmenin en iyi yoludur.
Gerçek örnek
Büyük bir e-ticaret sitesinde yeni ürünler geç indeksleniyordu. Günlük analizi, Googlebot'un tarama bütçesinin çoğunu değersiz filtre URL'lerinde harcadığını gösterdi. Bu değersiz URL'ler taramadan hariç tutulup önemli sayfalara iç linkler güçlendirildiğinde, Googlebot öncelikleri düzeldi ve yeni ürünler hızla indekslenmeye başladı.
Özet
Tarama öncelikleri, Googlebot'un sayfaları hangi sıklık ve öncelikle tarayacağına dair kararlarıdır; tarama bütçesi sınırlı olduğundan tüm sayfalar eşit taranmaz. Güçlü iç linkleme, site haritası, güncel içerik önceliği artırır; değersiz sayfaları hariç tutmak bütçeyi korur. Büyük sitelerde kritiktir.