Googlebot Sitenizde Gerçekte Ne Yapıyor? Loglar Anlatıyor

Search Console size özet verir: kaç sayfa indekslendi, kaç tarama isteği yapıldı. Ancak şu sorulara yanıt vermez:

• Googlebot dün tam olarak hangi 4.000 URL'yi ziyaret etti?
• En değerli kategori sayfam en son ne zaman tarandı?
• Tarama kapasitesinin yüzde kaçı parametreli çöp adreslere gidiyor?
• Hiç ziyaret edilmeyen sayfalarım hangileri?

Bu soruların kesin yanıtı tek bir yerdedir: sunucu log dosyaları. Loglar, botun sitenizde bıraktığı gerçek ayak izleridir — tahmin değil, kayıt.

Log dosyasında ne var?

Her satır bir isteği temsil eder:

66.249.66.1 - - [14/May/2026:08:12:45 +0300] "GET /kategori/ceket HTTP/1.1" 200 45231 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"

Bu satır şunları söyler:

Önce doğrulama: gerçek Googlebot mu?

Kullanıcı aracısı taklit edilebilir; birçok tarayıcı ve zararlı bot kendini Googlebot olarak tanıtır. Ciddi analizde doğrulama şarttır:

1. IP adresine ters DNS sorgusu yapın. Sonuç googlebot.com veya google.com ile bitmelidir.
2. Çıkan alan adına ileri DNS sorgusu yapın; aynı IP'ye dönmelidir.

Doğrulanmamış veriyle yapılan analiz yanıltıcı sonuçlar üretir.

Log analizinin yanıtladığı 7 soru

1. Tarama bütçesi nereye gidiyor?

İstekleri URL desenine göre gruplayın: kategori sayfaları, ürün sayfaları, blog, parametreli adresler, statik dosyalar. Ortaya çıkan dağılım genellikle şaşırtıcıdır — çoğu sitede taramanın büyük bölümü arama değeri olmayan adreslere gider.

2. Hangi sayfalar hiç taranmıyor?

Site haritanızdaki URL listesiyle loglardaki URL listesini karşılaştırın. Farktaki sayfalar Googlebot tarafından hiç ziyaret edilmemiş demektir. Bu sayfaların indekslenmesi imkânsızdır.

Neden ziyaret edilmediklerini araştırın: iç link almıyor olabilirler (yetim sayfa), çok derinde olabilirler ya da robots.txt ile engelleniyor olabilirler.

3. Tarama sıklığı önemle orantılı mı?

En değerli sayfalarınız en sık taranan sayfalar mı? Çoğu sitede yanıt "hayır"dır. Ana sayfa günde defalarca taranırken, gelir getiren kategori sayfaları haftada bir taranıyor olabilir.

Çözüm: İç linkleme ile önem sinyalini güçlendirmek.

4. Bot hangi hataları görüyor?

Yanıt kodu dağılımını çıkarın. Yüksek oranda 404 veya 301, bütçe israfı demektir. 5xx hataları ise ciddi bir uyarıdır: sunucunuz bot isteklerine yanıt veremiyor olabilir.

5. Yeni içerik ne kadar sürede keşfediliyor?

Yayınladığınız bir sayfanın loglarda ilk göründüğü zamanı ölçün. Günler sürüyorsa iç linkleme ve site haritası akışınızda sorun vardır.

6. Mobil mi masaüstü botu mu geliyor?

Mobil öncelikli indeksleme nedeniyle taramaların büyük kısmı akıllı telefon Googlebot'undan gelmelidir. Farklı bir tabloyla karşılaşıyorsanız araştırın.

7. Sunucu bota nasıl yanıt veriyor?

Googlebot'a verilen ortalama yanıt süresini hesaplayın. Yavaşsa tarama hacmi düşer. Ayrıca botun yoğun geldiği saatlerde sunucunun zorlanıp zorlanmadığını görebilirsiniz.

Analiz nasıl yapılır?

Küçük ölçekte: elektronik tablo

Birkaç yüz bin satıra kadar, logları filtreleyip bir elektronik tabloya aktarabilir; pivot tablo ile URL grubu ve yanıt kodu dağılımını çıkarabilirsiniz.

Orta ölçekte: komut satırı

Basit komutlarla hızlı özetler alınabilir. Örneğin en çok taranan URL'leri listelemek veya yanıt kodlarını saymak, tek satırlık komutlarla mümkündür.

Büyük ölçekte: özel araçlar

Milyonlarca satır için log analizi araçları kullanılır. Bunlar URL gruplandırma, zaman serisi görselleştirme ve site haritasıyla karşılaştırma özellikleri sunar.

Tipik bulgular ve çözümleri

Log analizi neden Search Console'dan daha derin bir görüş sunar?

Search Console, Googlebot'un davranışı hakkında değerli ama özetlenmiş bir tablo verir. Tarama istatistikleri raporu size günlük toplam istek sayısını ve genel eğilimleri gösterir, ancak hangi tekil adreslerin ne zaman ve kaç kez tarandığını, botun hangi sayfalarda hata aldığını sayfa sayfa göstermez. Sunucu log dosyaları ise bu boşluğu doldurur: her isteğin ham kaydını, yani gerçekte ne olduğunu tutar. Bu, özetlenmiş bir rapordan farklı olarak, botun sitenizdeki gerçek yolculuğunu adım adım izlemenizi sağlar.

Bu derinlik farkı pratikte çok önemlidir. Search Console size "tarama arttı" diyebilir, ama bu artışın değerli ürün sayfalarınızda mı yoksa değersiz filtre adreslerinizde mi olduğunu söylemez. Log analizi tam olarak bunu söyler. Botun zamanını nerede harcadığını tekil adres düzeyinde görmeden, tarama bütçesi optimizasyonu büyük ölçüde tahmine dayalı kalır. Loglar, tahmini gerçek veriyle değiştirir ve bu yüzden büyük sitelerin teknik SEO cephaneliğinde eşi olmayan bir araçtır.

Hangi araçlarla log analizi yapılır?

Log analizi için birkaç yaklaşım vardır ve seçim, sitenizin ölçeğine ve teknik kaynaklarınıza bağlıdır. Küçük ölçekli ve tek seferlik incelemeler için, log dosyalarını bir elektronik tabloya aktarıp filtrelemek bile anlamlı içgörüler verebilir. Orta ölçekte, özel olarak SEO log analizi için tasarlanmış masaüstü araçlar, ham logları Googlebot davranışına dair görselleştirilmiş raporlara dönüştürür. Çok büyük sitelerde ise logların sürekli bir veri işleme hattına aktarılıp gösterge panolarında izlendiği kurumsal çözümler tercih edilir.

Araç ne olursa olsun, sürecin özü aynıdır: ham log kayıtlarını almak, yalnızca arama motoru botlarına ait istekleri süzmek ve bu istekleri adres, durum kodu, sıklık ve zaman boyutlarında analiz etmek. Önemli olan pahalı bir araç değil, doğru soruları sorabilmektir; en basit araçla yapılan disiplinli bir analiz, en pahalı araçla yapılan yüzeysel bir incelemeden çok daha değerlidir.

Botun tarama frekansını yorumlamak

Log analizinin en aydınlatıcı çıktılarından biri, farklı sayfa gruplarının hangi sıklıkla tarandığını görmektir. Sağlıklı bir sitede Googlebot, sık güncellenen ve değerli sayfaları (ana sayfa, önemli kategoriler, güncel içerikler) yüksek sıklıkla, arşiv niteliğindeki durağan sayfaları ise daha seyrek ziyaret eder. Bu doğal dağılım bozulduğunda bir sorun işareti vardır: eğer bot, güncellenen önemli sayfalarınızı nadiren ziyaret ederken değersiz sayfalarda sık dolaşıyorsa, tarama bütçeniz yanlış yere akıyor demektir.

Tarama frekansını yorumlarken dikkat edilmesi gereken bir başka nokta, hiç taranmayan sayfalardır. Loglarda hiç görünmeyen ama sitenizde var olan ve indekslenmesini istediğiniz sayfalar, botun onlara ulaşamadığını gösterir — genellikle iç bağlantı eksikliği veya derin bir site yapısı yüzünden. Bu "kör noktalar", yalnızca log analiziyle net biçimde ortaya çıkar ve iç bağlantı stratejisinin nereye odaklanması gerektiğini gösterir.

Durum kodlarının log'daki anlamı

Her log kaydı, sunucunun o isteğe verdiği HTTP durum kodunu içerir ve bu kodların dağılımı sitenin teknik sağlığının doğrudan bir röntgenidir. İdeal durumda Googlebot isteklerinin ezici çoğunluğu 200 (başarılı) kodu almalıdır. Loglarda çok sayıda 404 (bulunamadı) kodu görünüyorsa, bot kırık iç bağlantıları veya silinmiş ama hâlâ bağlantı alan sayfaları takip ediyor demektir. Çok sayıda 301 kodu, botun yönlendirme zincirlerinde zaman harcadığını; 5xx sunucu hataları ise botun sitenizi taramakta güçlük çektiğini ve bunun tarama oranını düşürebileceğini gösterir.

Bu dağılımı düzenli izlemek, sorunları büyümeden yakalamanın en pratik yoludur. Örneğin bir şablon değişikliğinden sonra 404 oranında ani bir artış görürseniz, muhtemelen bir bağlantı yapısını yanlışlıkla bozmuşsunuzdur ve bunu kullanıcılar fark etmeden düzeltebilirsiniz. Durum kodu dağılımı, sitenin teknik sağlığını sürekli izleyen sessiz bir nabız gibidir.

Mobil bot ve masaüstü bot davranışı

Google artık siteleri öncelikli olarak mobil bot ile tarar; bu "mobil öncelikli indeksleme" yaklaşımının log analizine yansıması önemlidir. Loglarınızda Googlebot'un mobil ve masaüstü sürümlerinin oranına bakmak, Google'ın sitenizi hangi gözle değerlendirdiğini gösterir. Mobil botun ağırlıkta olması beklenen ve sağlıklı bir durumdur. Eğer mobil bot sitenizin bazı bölümlerine masaüstü botun eriştiği içeriğe erişemiyorsa — örneğin mobil sürümde gizlenen içerik veya engellenen kaynaklar yüzünden — bu, mobil öncelikli indekslemede o içeriğin görülmemesi anlamına gelir ki ciddi bir görünürlük kaybı doğurur.

Log analizini rutine bağlamak

Log analizi tek seferlik bir teşhis olarak değerlidir, ama asıl gücü düzenli bir rutine dönüştüğünde ortaya çıkar. Aylık veya çeyreklik bir log incelemesi, tarama davranışındaki değişiklikleri zaman içinde izlemenizi ve yaptığınız teknik değişikliklerin botun davranışını nasıl etkilediğini ölçmenizi sağlar. Örneğin değersiz bir bölümü robots.txt ile kapattıktan sonra, sonraki loglarda botun o bölüme ayırdığı isteklerin azaldığını ve değerli sayfalara yönelen isteklerin arttığını doğrulayabilirsiniz. Bu geri bildirim döngüsü, teknik SEO çalışmalarını "yaptık ve umarız işe yaramıştır" belirsizliğinden çıkarıp ölçülebilir bir mühendislik disiplinine dönüştürür.

Sık sorulan sorular

Log analizi her site için gerekli mi? Hayır. Birkaç yüz sayfalık siteler için genellikle Search Console yeterlidir. Log analizi asıl olarak on binlerce sayfalı, tarama bütçesinin gerçek bir kısıt olduğu büyük sitelerde değer üretir.

Log dosyalarına nasıl erişirim? Sunucu erişim logları çoğu barındırma sağlayıcısında mevcuttur; barındırma panelinizden veya sunucu yöneticinizden erişim logu dosyalarını talep edebilirsiniz. Bazı sağlayıcılar logları belirli bir süre sonra sildiği için düzenli arşivlemek gerekebilir.

Sahte Googlebot'ları nasıl ayırt ederim? Kötü niyetli botlar Googlebot gibi görünmeye çalışabilir. Gerçek Googlebot doğrulaması, isteğin geldiği IP adresinin ters DNS sorgusuyla Google'a ait olduğunu teyit etmekle yapılır; log analizinde yalnızca doğrulanmış botları dikkate almak önemlidir.

Log analizi ile ne kadar sürede sonuç alırım? Analiz anlık içgörü verir, ama yaptığınız değişikliklerin tarama davranışına yansıması için botun siteyi yeniden taraması gerekir; bu, sitenin büyüklüğüne bağlı olarak günlerden haftalara kadar sürebilir.

Log verisini diğer kaynaklarla birleştirmek

Log analizinin gücü, tek başına kullanıldığında bile büyüktür; ancak asıl değeri, diğer veri kaynaklarıyla birleştirildiğinde ortaya çıkar. Log verisini bir tarama aracının (crawler) çıktısıyla eşleştirdiğinizde, sitenizde var olan ama botun hiç ziyaret etmediği sayfaları — yani keşif kör noktalarını — net biçimde görebilirsiniz. Log verisini Search Console'un performans raporuyla birleştirdiğinizde, sık taranan ama hiç tıklama almayan sayfaları tespit edip bu tarama israfını sorgulayabilirsiniz. Log verisini analitik trafik verisiyle birleştirdiğinizde ise, bot ilgisi ile gerçek kullanıcı değeri arasındaki uçurumları görürsünüz.

Bu birleştirme, tekil olarak anlamsız görünen verileri güçlü içgörülere dönüştürür. Örneğin bir sayfanın hem sık tarandığını hem de hiç organik trafik almadığını gördüğünüzde, elinizde iki seçenek belirir: ya sayfayı gerçekten değerli hale getirmek, ya da botun oraya ayırdığı bütçeyi başka yöne çevirmek. Veri kaynaklarını birleştirmeden, bu tür kararlar için gereken tam resmi elde etmek mümkün değildir.

Örnek bir keşif: gizli tarama israfı

Log analizinin ne tür sürprizler ortaya çıkardığını somut bir örnekle düşünelim. Büyük bir e-ticaret sitesinin loglarını incelediğinizde, Googlebot isteklerinin önemli bir bölümünün yıllar önce kaldırılmış bir kampanyaya ait, artık var olmayan yüzlerce adrese gittiğini fark edebilirsiniz. Bu adresler dış bağlantı aldığı için bot onları ziyaret etmeye devam eder, her seferinde 404 alır ve değerli tarama bütçesini boşa harcar. Bu tür bir israf, yalnızca loglara bakılarak keşfedilir; Search Console'un özet raporları bunu bu netlikte göstermez.

Bu keşfin ardından çözüm nettir: hâlâ değer taşıyan eski adresleri uygun sayfalara yönlendirmek, tümüyle değersiz olanların ise temiz biçimde 410 döndürmesini sağlamak. Bu düzeltmeden sonraki loglar, botun bu ölü adreslere ayırdığı isteklerin azaldığını ve enerjisini gerçek ürün sayfalarına kaydırdığını doğrular. İşte log analizini bu kadar değerli kılan tam olarak bu somut, ölçülebilir kazançtır.

Küçük ekipler için pratik bir başlangıç

Log analizi kulağa karmaşık ve yalnızca büyük ekiplere özel bir çalışma gibi gelse de, mütevazı bir başlangıç herkes için mümkündür. İlk adım, barındırma sağlayıcınızdan birkaç günlük erişim logunu talep etmektir. Ardından bu logları bir elektronik tabloya aktarıp yalnızca Googlebot satırlarını süzmek, durum kodlarına göre gruplamak ve en sık taranan adresleri sıralamak bile ilk anlamlı içgörüleri verir. Bu basit inceleme, çoğu zaman şaşırtıcı bulgular ortaya çıkarır ve daha derin analize değip değmeyeceğini gösterir.

Önemli olan mükemmel bir kurulum değil, düzenli bir bakış alışkanlığıdır. Çeyrekte bir yapılan basit bir log incelemesi bile, tarama sorunlarını büyümeden yakalar ve teknik SEO kararlarınızı tahmin yerine gerçek veriye dayandırır. Log analizi, bu anlamda pahalı araçlardan çok, doğru soruları düzenli sorma disiplininden ibarettir.

Log analizinin sınırları ve dikkat edilmesi gerekenler

Log analizi güçlü bir araç olsa da her sorunun cevabını içermez ve doğru yorumlanmadığında yanıltıcı olabilir. Loglar botun ne yaptığını gösterir, ama neden yaptığını doğrudan söylemez; yüksek tarama sıklığı bazen bir sorunun değil, sağlıklı bir güncelleme temposunun işareti olabilir. Bu yüzden log verisini her zaman sitenin bağlamıyla — yapısı, büyüklüğü, güncelleme sıklığı — birlikte yorumlamak gerekir. Ham sayılara bakıp aceleci sonuçlar çıkarmak, gerçek olmayan sorunlar peşinde koşmaya yol açabilir.

İkinci bir dikkat noktası, log verisinin belirli bir zaman dilimini kapsamasıdır. Birkaç günlük bir log, mevsimsel veya haftalık dalgalanmaları yakalayamaz; anlamlı eğilimleri görmek için yeterince uzun bir dönem incelenmelidir. Ayrıca botların davranışı zamanla değişir, bu yüzden bir kez yapılan analiz sonsuza dek geçerli varsayılmamalıdır. Log analizini periyodik ve bağlama duyarlı biçimde yürütmek, onu güvenilir bir teşhis aracına dönüştürür.

Son olarak, log analizi teknik SEO'nun yalnızca bir parçasıdır. Botun sayfaları taraması, o sayfaların indekslendiği veya iyi sıraladığı anlamına gelmez; tarama, indeksleme ve sıralama ayrı aşamalardır. Log analizini içerik kalitesi, iç bağlantı ve kullanıcı deneyimi çalışmalarıyla birlikte ele almak, onu bütünsel bir stratejinin değerli bir bileşeni yapar.

Özetle log analizi, botun sitenizdeki gerçek davranışını tahmin etmek yerine doğrudan görmenizi sağlayan, doğru ve düzenli kullanıldığında teknik SEO kararlarınızı sağlam bir zemine oturtan güçlü bir teşhis yöntemidir. Değeri, pahalı araçlardan değil, doğru soruları düzenli sorma disiplininden gelir.

Özet

Log analizi, SEO'nun en az kullanılan ama en kesin bilgi veren yöntemidir. Diğer tüm araçlar Google'ın ne yaptığını tahmin ederken, loglar ne yaptığını kaydeder.

Büyük ve karmaşık bir siteniz varsa ve indeksleme sorunları yaşıyorsanız, cevap büyük olasılıkla loglarınızda saklıdır.

Log analizi dâhil kapsamlı bir teknik denetim için teknik SEO hizmetimizi inceleyebilir, başlangıç için ücretsiz analiz talep edebilirsiniz.