Ne anlama gelir?
Tarama (crawling), arama motoru botlarının (Google için "Googlebot") bir sayfaya girip içeriğini okuması ve o sayfadaki bağlantıları takip ederek yeni sayfalar keşfetmesidir. Bu, arama sürecinin ilk adımıdır; bir sayfa taranmadan indekslenemez, indekslenmeden de aramada görünemez. Bot, tıpkı bir kullanıcı gibi bağlantıdan bağlantıya atlayarak web'i dolaşır ve keşfettiği her adresi işlemek üzere sıraya alır.
Tarama → İndeksleme → Sıralama
Arama süreci üç aşamada, sırayla işler:
- Tarama: Bot sayfayı bulur ve içeriğini okur.
- İndeksleme: İçerik değerlendirilip arama motorunun veri tabanına alınır.
- Sıralama: Uygun sorgularda sonuç olarak gösterilir.
İlk aşama gerçekleşmezse diğer ikisi mümkün değildir. Bu nedenle "sayfam neden aramada görünmüyor" sorusunun teşhisi her zaman taramadan başlar; içerik ne kadar iyi olursa olsun, bot ona ulaşamıyorsa hiçbir şey ifade etmez.
Bot bir sayfayı nasıl bulur?
Botun bir sayfayı keşfetmesinin üç ana yolu vardır: başka sayfalardan gelen iç ve dış bağlantılar (en yaygın yol), sitenizin XML site haritasında beyan edilmesi ve Search Console üzerinden yapılan indeksleme talepleri. Bu yüzden hiçbir yerden bağlantı almayan bir sayfa (yetim sayfa), var olsa bile botun radarına hiç girmeyebilir.
Taramayı engelleyen tipik durumlar
- robots.txt'te yanlış engelleme kuralı: Bütün siteyi kapatan bir
Disallow: /satırı en yıkıcı örnektir. - Yetim sayfa: Sayfaya hiç iç link verilmemesi, botun onu bulmasını engeller.
- Sunucu hataları veya çok yavaş yanıt: Bot sürekli hata alırsa tarama hızını düşürür.
- Yalnızca JavaScript ile üretilen bağlantılar: Bazı durumlarda bot bu bağlantıları takip edemeyebilir.
- Giriş gerektiren alanlar: Şifre arkasındaki içerik taranamaz.
Tarama bütçesi neden önemli?
Google her siteye sınırlı bir "tarama bütçesi" ayırır; yani her sayfayı sonsuz sıklıkta taramaz. Büyük sitelerde bu bütçe, önemli sayfaların yeterince sık taranmaması sorununu doğurabilir. Değersiz sayfaların (sonsuz filtre kombinasyonları, arama sonuç sayfaları) taranmasını sınırlamak, botun kaynağını gerçekten önemli sayfalara yönlendirir.
Nasıl kontrol edilir?
Search Console'un "Tarama istatistikleri" raporu, botun sitenizi ne sıklıkla ve hangi yanıt süreleriyle taradığını gösterir. URL denetleme aracı ise tek bir adresin en son ne zaman tarandığını ve tarama sonucunu verir. Sunucu günlük (log) dosyalarını analiz etmek de botun gerçekte hangi sayfalara girdiğini görmenin en doğrudan yoludur.
Sık sorulanlar
Sayfam tarandı ama görünmüyor, neden? Taranmak indekslenmeyi garanti etmez. Sayfa taranıp değersiz veya kopya bulunduysa indekslenmeyebilir.
Taramayı hızlandırabilir miyim? Güçlü iç linkleme, güncel bir site haritası ve hızlı bir sunucu tarama sıklığını artırır; ayrıca önemli sayfalar için indeksleme talep edebilirsiniz.
Gerçek dünya örneği
Büyük bir e-ticaret sitesi düşünün: yüz binlerce ürün, sayısız filtre kombinasyonu ve arama sonuç sayfası. Böyle bir sitede Googlebot günde yalnızca belirli sayıda sayfayı tarar. Eğer bu bütçenin büyük kısmı, hiç kimsenin aramadığı "mavi + 42 beden + fiyat artan" gibi işe yaramaz filtre URL'lerine harcanıyorsa, asıl önemli ürün ve kategori sayfaları haftalarca yeniden taranmaz. Sonuç: güncellenen fiyatlar, stok durumları ve yeni ürünler aramaya geç yansır. Bu sitede yapılacak iş, değersiz kombinasyonları robots.txt ve doğru etiketlerle tarama dışı bırakıp botun kaynağını gerçekten satış getiren sayfalara yönlendirmektir. Küçük bir blogda tarama nadiren sorun olurken, ölçek büyüdükçe tarama yönetimi doğrudan gelire dokunan bir konu hâline gelir. Bu yüzden büyük sitelerde "hangi sayfalar taranıyor, hangileri boşuna bütçe yiyor?" sorusu, sunucu günlüklerinin (log dosyalarının) analiziyle düzenli olarak yanıtlanmalıdır.
Özet
Tarama, SEO'nun görünmeyen ama en temel adımıdır. Bir sayfa botun ulaşamadığı yerdeyse, ne içeriği ne otoritesi bir işe yarar. Bu yüzden her teknik SEO teşhisi "bu sayfa taranabiliyor mu?" sorusuyla başlar; ve site büyüdükçe, "hangi sayfalar tarama bütçesini hak ediyor?" sorusu en az onun kadar önemli hâle gelir.