Robots.txt Oluşturucu

Robots.txt Nedir?

Robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp taramaması gerektiğini söyleyen basit bir metin dosyasıdır. Yanlış yapılandırılmış bir robots.txt, tüm sitenizin arama sonuçlarından kaybolmasına neden olabilir.

Nelerin Engellenmesi Mantıklıdır?

Yönetim paneli (/wp-admin/), sistem dosyaları (/wp-includes/) ve arama sonucu sayfaları (/?s=) gibi kullanıcıya değer katmayan, aynı içeriği tekrar eden sayfaların taranmasını engellemek, crawl bütçenizi önemli sayfalarınıza yönlendirir.

Robots.txt Bir Güvenlik Önlemi Değildir

Robots.txt sadece "kibarca rica" niteliğindedir; kötü niyetli botlar bu dosyayı görmezden gelebilir. Hassas verileri gizlemek için robots.txt yerine gerçek erişim kontrolü (şifre, sunucu ayarları) kullanmalısınız.

Kapsamlı Teknik SEO

Robots.txt sadece teknik SEO'nun bir parçasıdır. Sitenizin tam taranabilirlik ve indekslenebilirlik denetimi için SEO hizmetimize göz atabilirsiniz.

Söz Dizimi: Dosyayı Doğru Okumak

Robots.txt dosyası kural gruplarından oluşur. Her grup, kuralların hangi bota uygulanacağını belirten bir User-agent satırıyla başlar; yıldız işareti tüm botları ifade eder. Ardından gelen Disallow satırları taranmaması gereken yolları, Allow satırları ise engellenen bir klasörün içinde taranmasına izin verilen istisnaları tanımlar. Sitemap satırı ise XML site haritanızın tam adresini bildirir ve herhangi bir gruba bağlı olmadan dosyanın herhangi bir yerinde yer alabilir.

Kurallarda iki özel karakter kullanılabilir: yıldız işareti herhangi bir karakter dizisini, dolar işareti ise adresin sonunu ifade eder. Yollar büyük ve küçük harfe duyarlıdır; /Urunler/ ile /urunler/ farklı adresler olarak değerlendirilir. Google, aynı adrese uyan birden fazla kural olduğunda en uzun, yani en spesifik kuralı uygular; eşitlik durumunda izin veren kural öncelik kazanır. Bu ayrıntıları bilmek, istemeden önemli sayfaları engellemenizi önler. Dosyanıza ekleyeceğiniz site haritasını hazırlamak için XML sitemap oluşturucumuzu kullanabilirsiniz.

Disallow Bir Sayfayı Dizinden Çıkarmaz

En yaygın yanlış anlamalardan biri, robots.txt ile engellenen bir sayfanın arama sonuçlarından kaldırılacağını düşünmektir. Disallow kuralı yalnızca taramayı engeller; sayfa başka sitelerden bağlantı alıyorsa Google onu içeriğini görmeden de dizine ekleyebilir ve arama sonuçlarında açıklamasız bir başlıkla gösterebilir. Bir sayfanın arama sonuçlarında görünmesini istemiyorsanız doğru araç, sayfaya noindex etiketi eklemektir. Noindex etiketi, sayfanın HTML kodundaki meta etiketiyle veya sunucunun gönderdiği HTTP başlığıyla tanımlanabilir. Hangi yöntemi seçerseniz seçin, amacın taramayı değil dizinlemeyi kontrol etmek olduğunu unutmayın.

Burada kritik bir çelişkiye dikkat etmek gerekir: noindex etiketinin işe yaraması için arama motorunun sayfayı tarayıp etiketi görebilmesi gerekir. Aynı sayfayı hem robots.txt ile engeller hem de noindex eklerseniz, bot sayfayı tarayamadığı için noindex etiketini hiç görmez ve sayfa dizinde kalmaya devam edebilir. Doğru sıra, önce noindex ekleyip sayfanın dizinden çıkmasını beklemek, ardından gerekirse taramayı engellemektir. Tarama ve dizinleme sinyallerinin sitenizde tutarlı çalışması için teknik SEO hizmetimizi inceleyebilirsiniz.

E-Ticaret Sitelerinde Filtre ve Parametreler

E-ticaret siteleri, filtreleme ve sıralama seçenekleri nedeniyle binlerce farklı adres üretebilir. Renk, beden, fiyat aralığı ve sıralama parametrelerinin her kombinasyonu ayrı bir adres oluşturur ve bu adreslerin çoğu birbirine çok benzer içerik gösterir. Botların bu kombinasyonları taramakla vakit kaybetmesi, yeni ürünlerin ve önemli kategori sayfalarının geç keşfedilmesine yol açabilir. Robots.txt, bu parametreli adreslerin taranmasını sınırlamak için etkili bir araçtır. Bu sınırlama, tarama bütçesinin değerli sayfalara harcanmasını sağlar.

Sepet, ödeme, hesabım ve sipariş takibi gibi kullanıcıya özel sayfalar da arama sonuçlarında değer taşımaz ve genellikle taramadan çıkarılır. Ancak hangi filtre sayfalarının engelleneceğine dikkatle karar verin; "kadın siyah elbise" gibi gerçek arama hacmi olan filtre kombinasyonları, değerli giriş sayfalarına dönüşebilir. Bu sayfaları engellemek yerine dizine eklenecek şekilde optimize etmek daha kârlı olabilir. Sitenizdeki tarama sorunlarını ve gereksiz adres üretimini tespit etmek için SEO denetimi hizmetimizden yararlanabilirsiniz.

Yapay Zekâ Botları İçin Bilinçli Karar

Arama motoru botlarının yanında artık yapay zekâ şirketlerinin botları da web sitelerini tarıyor. OpenAI'nin GPTBot'u, Anthropic'in ClaudeBot'u ve PerplexityBot gibi tarayıcılar robots.txt kurallarına göre yönetilebilir. Google ise yapay zekâ modellerinin eğitiminde içeriğinizin kullanılmasını Google-Extended belirteciyle kontrol etmenize izin verir. Bu botları engellemek ya da izin vermek, içeriğinizin yapay zekâ ürünlerinde nasıl kullanılacağını doğrudan etkileyen bir iş kararıdır. Her botun ayrı bir User-agent adı olduğu için kurallar bot bazında tanımlanabilir.

Bu kararı verirken hedeflerinizi tartın. İçeriğinizin yapay zekâ cevaplarında kaynak gösterilmesi ve markanızın bu kanallarda görünür olması önemliyse, ilgili botları engellemek bu görünürlüğü sınırlayabilir. Özel ve ücretli içerik sunuyorsanız ise belirli botları engellemek mantıklı olabilir. Hangi botun hangi amaçla tarama yaptığını, ilgili şirketlerin yayımladığı güncel belgelerden kontrol etmenizi öneririz. Yapay zekâ aramalarında görünürlük stratejinizi bütünsel kurgulamak için GEO hizmetimizi inceleyebilirsiniz.

Değişiklikten Sonra Mutlaka Test Edin

Robots.txt dosyasındaki tek bir hatalı satır, sitenin tamamının ya da önemli bir bölümünün taranmasını engelleyebilir. En sık görülen kaza, geliştirme aşamasında eklenen ve tüm siteyi engelleyen kuralın site yayına alındıktan sonra unutulmasıdır. Bir diğer yaygın hata, temanın CSS ve JavaScript dosyalarının bulunduğu klasörleri engellemektir; bu durumda Google sayfanızı doğru görüntüleyemez ve mobil uyumluluk ile içerik değerlendirmesi olumsuz etkilenebilir. Bu yüzden her değişiklikten sonra kontrol yapmak bir alışkanlık olmalıdır.

Değişiklik yaptıktan sonra Search Console'daki robots.txt raporundan dosyanın Google tarafından başarıyla okunduğunu kontrol edin. Önemli sayfalarınızdan birkaçını URL denetimi aracıyla test ederek taranabilir olduklarını doğrulayın. Dosyanın önceki sürümünü yedek olarak saklamak, sorun durumunda hızlı geri dönüş sağlar. WordPress güncellemeleri veya eklenti değişiklikleri robots.txt dosyasını etkileyebileceği için düzenli kontrol önemlidir. Sitenizin bu tür teknik ayarlarının düzenli takibi için WordPress bakım hizmetimizi inceleyebilirsiniz.