Tek Satırlık Bir Dosya Sitenizi Google'dan Silebilir

Bir sitenin arama sonuçlarından tamamen kaybolması için ne gerekir? Bazen sadece tek bir satır. Yeniden tasarım sonrası test ortamından canlıya taşınan şu iki satır, sayısız sitenin aylarca görünmez kalmasına yol açmıştır:

User-agent: *
Disallow: /

Bu iki satır, tüm arama motorlarına "bu sitenin hiçbir yerini tarama" der. Trafiğin haftalar içinde erimesi ve nedenin geç fark edilmesi, sektörün en pahalı klasik hatasıdır.

Bu rehberde robots.txt dosyasının ne yaptığını, ne yapmadığını ve doğru kullanımını ele alıyoruz.

Robots.txt tam olarak ne işe yarar?

Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini bildiren bir metin dosyasıdır. Kök dizinde bulunur ve bot siteye geldiğinde ilk baktığı yerdir.

Kritik ayrım şudur:

Bu farkı anlamamak, en yaygın hatanın kaynağıdır: İnsanlar bir sayfayı Google'dan kaldırmak için robots.txt kullanır, oysa bu tam tersine sonuç verebilir.

Temel yazım kuralları

Dosya basit bir yapıya sahiptir: bir veya birden fazla kural bloğu.

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Allow: /admin/genel-bilgi.html

Sitemap: https://siteniz.com/sitemap.xml

Direktifler ne anlama gelir?

• User-agent: Kuralın hangi bota uygulanacağı. * tüm botlar demektir. Googlebot yazarak yalnızca Google'a özel kural verebilirsiniz.
• Disallow: Taranmasını istemediğiniz yol. Disallow: / tüm siteyi kapatır — en tehlikeli satır budur.
• Allow: Engellenen bir dizin içinde istisna tanımlar.
• Sitemap: Site haritanızın tam adresi. Botun içerik keşfini hızlandırır.

Joker karakterler

• * — herhangi bir karakter dizisi. Örnek: Disallow: /*?sirala= sıralama parametreli tüm URL'leri kapatır.
• $ — satır sonu. Örnek: Disallow: /*.pdf$ yalnızca PDF ile biten adresleri kapatır.

Siteleri aramadan silen 7 kritik hata

1. Test ortamı kuralının canlıya taşınması

Geliştirme sırasında site Disallow: / ile kapatılır, yayına alınırken kaldırılmayı unutulur. Sonuç: site tamamen görünmez.

Önlem: Yayına alma kontrol listenizin ilk maddesi bu olsun. Canlıya geçtikten sonra siteniz.com/robots.txt adresini tarayıcıda açıp gözle doğrulayın.

2. Sayfayı dizinden çıkarmak için robots.txt kullanmak

Bir sayfayı Google'dan kaldırmak istiyorsanız robots.txt yanlış araçtır. Taramayı engellerseniz Google sayfadaki noindex etiketini de göremez — çünkü sayfaya hiç bakmaz. Sayfa dizinde kalmaya devam edebilir.

Doğru yöntem: Sayfayı taramaya açık bırakın ve <meta name="robots" content="noindex"> ekleyin. Google sayfayı taradığında etiketi görür ve dizinden çıkarır.

3. CSS ve JavaScript dosyalarını engellemek

Eskiden yaygın bir uygulamaydı; bugün açıkça zararlıdır. Google sayfayı tarayıcı gibi işler. Stil ve script dosyaları engellenirse sayfayı bozuk görür, mobil uyumluluk değerlendirmesi hatalı olur.

4. Gizli alanları dosyada listelemek

Robots.txt herkese açıktır. Disallow: /yonetim-paneli-2024/ yazdığınızda, o adresi tüm dünyaya duyurmuş olursunuz. Bu bir güvenlik aracı değildir.

5. Alt alan adını unutmak

Robots.txt yalnızca bulunduğu alan adı için geçerlidir. blog.siteniz.com için ayrı bir dosya gerekir; ana sitenin dosyası oraya uygulanmaz.

6. Yanlış konum

Dosya yalnızca kök dizinde çalışır. siteniz.com/dosyalar/robots.txt hiçbir bot tarafından dikkate alınmaz.

7. Site haritasını bildirmemek

Zarar vermez ama önemli bir fırsat kaybıdır. Tek satırlık Sitemap: bildirimi, botun içeriklerinizi keşfetmesini hızlandırır.

Tipik bir robots.txt nasıl olmalı?

Çoğu kurumsal site için sade bir yapı yeterlidir:

User-agent: *
Disallow: /admin/
Disallow: /giris/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /*?sirala=
Disallow: /*?filtre=

Sitemap: https://siteniz.com/sitemap.xml

Mantık: Kullanıcıya özel işlem sayfaları (sepet, ödeme, hesap) ve arama değeri olmayan parametreli adresler kapatılır; geri kalan her şey açık bırakılır.

E-ticaret için ek not

Filtreleme sistemleri yüz binlerce gereksiz URL üretebilir. Ancak arama hacmi olan filtre kombinasyonlarını (örneğin "siyah deri ceket") kapatmayın — bunlar değerli açılış sayfalarıdır. Kapatılması gerekenler sıralama, görünüm ve oturum parametreleridir.

Nasıl test edilir?

1. Gözle kontrol: Tarayıcıda siteniz.com/robots.txt adresini açın. Beklediğiniz içerik orada mı?
2. Search Console → URL Denetimi: Önemli birkaç sayfayı test edin. "Robots.txt tarafından engellendi" uyarısı çıkıyor mu?
3. Sayfalar raporu: "Robots.txt tarafından engellendi" nedeniyle hariç tutulan URL sayısını izleyin. Ani artış alarm demektir.
4. Değişiklik sonrası: Her düzenlemeden sonra bu üç kontrolü tekrarlayın. Dosya küçük olduğu için hata yapmak kolaydır.

Robots.txt ile noindex farkı: özet tablo

Robots.txt dosyası nerede bulunur ve nasıl oluşturulur?

Robots.txt, her zaman sitenizin kök dizininde ve tam olarak alanadi.com/robots.txt adresinde bulunmak zorundadır. Bir alt klasöre (örneğin alanadi.com/blog/robots.txt) yerleştirilen dosya arama motorları tarafından dikkate alınmaz; botlar dosyayı yalnızca kök dizinde arar. Bu kural, alt alan adları için de ayrı ayrı geçerlidir: blog.alanadi.com ve shop.alanadi.com kendi robots.txt dosyalarına sahip olmalıdır, çünkü her alt alan adı arama motorları açısından bağımsız bir host olarak değerlendirilir.

Dosyayı oluşturmak için özel bir araca ihtiyacınız yoktur; düz metin (plain text) formatında, UTF-8 kodlamasıyla kaydedilmiş basit bir .txt dosyası yeterlidir. WordPress gibi içerik yönetim sistemlerinde robots.txt çoğu zaman sanal olarak (fiziksel dosya olmadan, sistem tarafından dinamik) üretilir; bu durumda dosyayı doğrudan düzenlemek yerine bir SEO eklentisi üzerinden veya sunucuya fiziksel bir dosya yükleyerek kontrolü ele almanız gerekir. Fiziksel bir dosya yüklediğinizde bu, sanal dosyayı geçersiz kılar ve tam kontrol sizde olur.

Direktiflerin tek tek anlamı

Robots.txt yalnızca birkaç temel direktiften oluşur, ancak her birinin davranışını tam olarak bilmek hayati önemdedir. Aşağıdaki tablo en sık kullanılan direktifleri ve işlevlerini özetler:

En kritik nokta, Disallow direktifinin taramayı engellediğini, indekslemeyi değil anlamaktır. Bir sayfayı robots.txt ile engellerseniz Google o sayfanın içeriğini okuyamaz, ancak sayfa başka yerlerden bağlantı alıyorsa yine de dizine "içeriği görülemedi" notuyla eklenebilir. Bir sayfanın arama sonuçlarında kesinlikle görünmemesini istiyorsanız robots.txt değil, sayfa içi noindex etiketi kullanmalısınız — ve bu etiketin görülebilmesi için sayfanın robots.txt ile engellenmemiş olması gerekir.

Farklı site tipleri için örnek robots.txt

Doğru robots.txt yapılandırması sitenizin türüne göre değişir. Aşağıda üç yaygın senaryo için güvenli başlangıç şablonları yer alıyor.

Kurumsal / blog sitesi: Genellikle yönetim paneli ve arama sonuç sayfaları dışında her şey taranmaya açık olmalıdır.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://alanadi.com/sitemap.xml

E-ticaret sitesi: Filtreli ve parametreli URL'ler tarama bütçesini tüketir; sepet ve hesap sayfaları ise hiçbir zaman dizine girmemelidir.

User-agent: *
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /*?filtre=
Disallow: /*?sirala=
Sitemap: https://alanadi.com/sitemap_index.xml

Geliştirme / test ortamı: Yayına hazır olmayan bir siteyi tümüyle kapatmak için tek satır yeterlidir — ancak canlıya geçerken bu satırı kaldırmayı unutmak, siteleri aramadan silen en yaygın felakettir.

User-agent: *
Disallow: /

Robots.txt ve tarama bütçesi ilişkisi

Tarama bütçesi (crawl budget), Googlebot'un belirli bir sürede sitenizde tarayacağı sayfa sayısıdır. Küçük sitelerde bu genellikle sorun olmaz, ancak binlerce URL'ye sahip büyük sitelerde botun değerli sayfalar yerine gereksiz, tekrarlı veya düşük değerli sayfalarda zaman harcaması ciddi bir kayıptır. Robots.txt, botu değersiz alanlardan uzak tutarak bu bütçeyi korumanın en doğrudan aracıdır.

Örneğin sonsuz kombinasyon üreten filtre parametreleri (?renk=kirmizi&beden=42&sirala=fiyat), takvim sayfaları veya oturum kimliği içeren URL'ler robots.txt ile engellendiğinde, Googlebot bu tuzaklara girmez ve enerjisini gerçek ürün ve içerik sayfalarına ayırır. Ancak burada da denge önemlidir: taranmasını engellediğiniz bir sayfa güncellendiğinde Google bunu fark edemez, bu yüzden yalnızca gerçekten değersiz alanları kapatmalısınız.

Sık sorulan sorular

Robots.txt olmadan sitem çalışır mı? Evet. Dosya zorunlu değildir; olmadığında arama motorları her şeyi taranabilir kabul eder. Yine de tarama kontrolü ve site haritası bildirimi için bir robots.txt bulundurmak iyi bir uygulamadır.

Bir klasörü engelledim ama sayfalar hâlâ Google'da görünüyor, neden? Çünkü robots.txt taramayı engeller, indekslemeyi değil. Sayfa dış bağlantı alıyorsa başlığıyla dizinde kalabilir. Kalıcı çözüm için engeli kaldırıp sayfaya noindex ekleyin, Google etiketi görüp sayfayı düşürsün.

Robots.txt değişikliği ne zaman etki eder? Google robots.txt dosyasını genellikle günde bir kez önbelleğe alır; kritik bir değişiklikte Search Console üzerinden yeniden tarama talep ederek süreci hızlandırabilirsiniz.

Tüm botları aynı anda hem engelleyip hem izin verebilir miyim? Evet, farklı User-agent blokları tanımlayarak her bota ayrı kurallar verebilirsiniz; ancak bir bot için birden fazla eşleşen blok varsa yalnızca en spesifik olanı geçerli olur.

Search Console ile robots.txt nasıl test edilir?

Bir robots.txt kuralının gerçekten istediğiniz gibi davranıp davranmadığını tahminle bırakmak yerine test etmelisiniz. Google Search Console, belirli bir URL'nin Googlebot tarafından taranıp taranamayacağını doğrudan gösterir. İzlenecek yol şudur: önce Search Console'da URL Denetleme aracına test etmek istediğiniz adresi girin; araç size sayfanın "taranmaya izin verilen" mi yoksa "robots.txt tarafından engellenmiş" mi olduğunu net biçimde bildirir. Engellenmişse, hangi kuralın bunu yaptığını görebilir ve dosyanızı buna göre düzeltebilirsiniz.

İkinci bir doğrulama katmanı olarak, dosyayı canlıya almadan önce bir kopyasını hazırlayıp farklı URL desenlerini zihinsel olarak veya bir robots.txt test aracıyla kontrol etmek iyi bir alışkanlıktır. Özellikle Disallow ve Allow satırlarının birbiriyle çeliştiği durumlarda, arama motoru genellikle daha spesifik (daha uzun yol içeren) kuralı uygular; bu davranışı bilmeden yazılan kurallar beklenmedik sonuçlar üretir.

Yapay zeka botları ve robots.txt

Robots.txt artık yalnızca arama motoru botlarını değil, içerik toplayan yapay zeka botlarını da yönetmek için kullanılıyor. GPTBot, CCBot, Google-Extended ve benzeri kullanıcı aracıları, sitenizin içeriğini yapay zeka modellerini eğitmek için toplayabilir. İçeriğinizin bu amaçla kullanılmasını istemiyorsanız, ilgili botları robots.txt üzerinden engelleyebilirsiniz:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Burada önemli bir ayrım vardır: Google-Extended yalnızca Google'ın yapay zeka ürünlerinin içeriğinizi kullanmasını etkiler; normal arama sıralamanızı ve Googlebot taramasını etkilemez. Yani içeriğinizin aramada görünmeye devam etmesini ama yapay zeka eğitiminde kullanılmamasını isterseniz, arama botunu açık tutup yalnızca yapay zeka botunu engelleyebilirsiniz. Ancak unutmayın: robots.txt bir talep mekanizmasıdır, teknik bir bariyer değil. Saygılı botlar kurallara uyar; kötü niyetli scraper'lar ise dosyayı tamamen görmezden gelebilir, bu yüzden gerçekten hassas içerik sunucu düzeyinde korunmalıdır.

Gerçek bir felaketin anatomisi

En sık yaşanan robots.txt felaketi neredeyse her zaman aynı senaryodan doğar: bir site geliştirme ortamında hazırlanırken, arama motorlarının test sürümünü dizine eklememesi için Disallow: / satırı eklenir. Site yayına alınırken bu satırın kaldırılması gerekir — ama çoğu zaman unutulur. Site canlıya çıkar, günlerce her şey normal görünür çünkü mevcut sayfalar hâlâ dizindedir. Ancak Google bir sonraki taramada robots.txt'yi okur, tüm siteyi taramaya kapalı bulur ve haftalar içinde sayfalar arama sonuçlarından düşmeye başlar. Trafik sessizce erir.

Bu felaketten korunmanın tek yolu, yayın (deploy) sürecine robots.txt kontrolünü zorunlu bir adım olarak eklemektir. Her canlıya alma işleminden hemen sonra alanadi.com/robots.txt adresini açıp gözle doğrulamak, dakikalar süren ama haftalarca sürecek trafik kaybını önleyen basit bir alışkanlıktır.

Yayın öncesi robots.txt kontrol listesi

• Dosya kök dizinde mi? alanadi.com/robots.txt doğrudan açılıyor olmalı.
• Global bir Disallow: / var mı? Canlı sitede bu satır asla bulunmamalı.
• Sitemap satırı doğru mu? Site haritasının tam ve güncel adresi bildirilmeli.
• Önemli CSS/JS engellenmiş mi? Google sayfayı doğru işleyebilmek için bu dosyalara erişebilmeli.
• Search Console'da test edildi mi? Kritik sayfalar URL Denetleme ile doğrulanmalı.
• Değişiklik sonrası yeniden tarama istendi mi? Kritik düzeltmelerde süreci hızlandırın.

Robots.txt hakkında yaygın yanlış inanışlar

Robots.txt, SEO dünyasında hakkında en çok yanlış bilgi dolaşan dosyalardan biridir ve bu yanlış inanışlar çoğu zaman ciddi hatalara yol açar. En yaygın olanı, dosyanın bir güvenlik aracı olduğu düşüncesidir. Oysa robots.txt herkese açık bir metin dosyasıdır; herkes alanadi.com/robots.txt adresini açıp hangi dizinleri gizlemeye çalıştığınızı görebilir. Yani gizli bir yönetim panelini robots.txt ile "gizlemek", aslında onun adresini kötü niyetli kişilere ilan etmek anlamına gelir. Hassas alanlar her zaman parola koruması veya sunucu düzeyinde erişim kısıtlamasıyla korunmalıdır.

İkinci yaygın yanlış, robots.txt ile engellenen bir sayfanın kesinlikle aramaya çıkmayacağı inancıdır. Gerçekte engelleme yalnızca taramayı durdurur; sayfa dış bağlantı alıyorsa Google onu içeriğini görmeden dizine ekleyebilir ve arama sonuçlarında çıplak bir başlıkla gösterebilir. Üçüncü yanlış inanış ise Crawl-delay direktifinin Google'ı yavaşlatacağıdır; Googlebot bu direktifi tümüyle yok sayar ve tarama hızını yalnızca Search Console ayarları ve sunucu tepkileri üzerinden belirler. Bu üç yanlışı bilmek, robots.txt'yi amacına uygun ve güvenli biçimde kullanmanın temelidir.

Robots.txt'yi kim yönetmeli?

Robots.txt küçük bir dosya olsa da etkisi tüm sitenin görünürlüğünü kapsadığı için, üzerinde değişiklik yapma yetkisi net biçimde tanımlanmış olmalıdır. Pratikte bu dosyaya hem geliştiriciler, hem SEO uzmanları, hem de bazen eklentiler dokunur; ve bu çok elli yapı, çelişkili kuralların ve unutulmuş test satırlarının başlıca kaynağıdır. En sağlıklı yaklaşım, dosyanın her değişikliğini bir sürüm kontrol sistemi üzerinden kayıt altına almak ve canlıya çıkmadan önce SEO'dan sorumlu kişinin gözden geçirmesini zorunlu kılmaktır. Böylece bir geliştiricinin test amacıyla eklediği bir Disallow satırı, kimse fark etmeden haftalarca canlı sitede kalmaz. Küçük ekiplerde bu, basit bir kontrol alışkanlığıyla; büyük ekiplerde ise yayın süreçlerine gömülü bir onay adımıyla sağlanır.

Özet

Robots.txt küçük bir dosyadır ama etkisi orantısız büyüktür. Üç şeyi aklınızda tutun:

• Taramayı engeller, dizinden çıkarmaz. İkisini karıştırmak en pahalı hatadır.
• Güvenlik aracı değildir. Yazdığınız her yol herkese açıktır.
• Her değişiklikten sonra test edin. Tek karakterlik hata tüm siteyi kapatabilir.

Sitenizin robots.txt dosyasında sorun olup olmadığını hızlıca kontrol etmek için ücretsiz robots.txt aracımızı kullanabilir, kapsamlı bir teknik denetim için ücretsiz analiz talep edebilirsiniz.