Robots.txt Oluştur
Arama Motoru Bot Yönetimi — Tek Tıkla Hazır
Arama motorlarına hangi sayfaların taranacağını, hangilerinin engelleneceğini dakikalar içinde belirleyin. Kodlama bilgisi gerektirmez — doldurun, kopyalayın, yayınlayın.
robots.txt
Nasıl Kullanılır?
Robots.txt dosyanızı 4 adımda oluşturun ve sitenize ekleyin.
Bot Seçin
Kural uygulayacağınız botu seçin. Genellikle "Tüm Botlar (*)" seçeneği yeterlidir. Belirli bir botu hedeflemek için Googlebot veya Bingbot seçebilirsiniz.
Kuralları Ekleyin
"Kural Ekle" butonu ile Allow veya Disallow seçeneğini belirleyin, ardından yolu yazın (/admin/, /wp-login.php gibi). Birden fazla kural ekleyebilirsiniz.
Sitemap Ekleyin
Sitenizin sitemap URL'ini girin. Bu, arama motorlarının tüm sayfalarınızı kolayca keşfetmesini sağlar ve tarama verimliliğini artırır.
Kopyalayın & Yükleyin
Oluşturulan içeriği "Kopyala" veya "İndir" butonu ile alın. Dosyayı robots.txt olarak kaydedin ve sitenizin kök dizinine (domain.com/robots.txt) yükleyin.
Teknik SEO denetimine ihtiyaç duyuyor musunuz?
SEO Analiz Hizmeti ↗Robots.txt Hakkında Merak Edilenler
Robots.txt dosyası nedir ve ne işe yarar?
Robots.txt, web sitenizin kök dizininde yer alan ve arama motoru botlarına (Googlebot, Bingbot vb.) hangi sayfaların taranıp taranmayacağını bildiren düz metin dosyasıdır. "Robots Exclusion Protocol" standardına dayanır. Bot bu dosyayı siteyi ziyaret etmeden önce okur ve kurallara göre hareket eder. Dikkat: Robots.txt bir güvenlik önlemi değildir — sayfaları erişime kapatmaz, yalnızca taramayı yönlendirir.
Robots.txt dosyası nereye yerleştirilmeli?
Robots.txt mutlaka alan adınızın kök dizinine yerleştirilmelidir: https://www.siteniz.com/robots.txt. Alt dizinlerde (örn. /blog/robots.txt) ya da alt alan adlarında ayrı robots.txt tanımlanabilir ancak ana etki alanıyla paylaşılmaz. WordPress kullanıyorsanız Yoast SEO veya Rank Math eklentileri bu dosyayı otomatik yönetir; manuel oluşturmanıza gerek kalmaz.
Arama motorları robots.txt kurallarına uymak zorunda mıdır?
Hayır. Robots.txt bir "rica" dilidir, zorunluluk değil. Google ve Bing gibi büyük arama motorları bu standarda saygı gösterir, ancak kötü niyetli botlar veya bazı küçük tarayıcılar kurallara uymayabilir. Hassas içerikleri (giriş paneli, özel belgeler) gizlemek için robots.txt yeterli değildir; sunucu tarafı erişim kısıtlamaları ve şifre koruması kullanın.
Disallow ve noindex arasındaki fark nedir?
Disallow (robots.txt'de) Google'ın o sayfayı taramasını engeller. Noindex (meta etiketi veya HTTP header) ise Google'ın sayfayı taramasına izin verir ancak arama sonuçlarına eklemez. Kritik fark: Disallow edilmiş bir sayfayı Google hâlâ indeksleyebilir — başka sitelerden gelen linkler üzerinden. Bir sayfanın Google'da görünmemesini kesin olarak istiyorsanız noindex etiketini kullanın, disallow'u değil.
Crawl budget (tarama bütçesi) nedir ve robots.txt ile nasıl optimize edilir?
Crawl budget, Google'ın belirli bir zaman diliminde sitenize ayırdığı tarama kapasitesidir. Büyük sitelerde (100.000+ sayfa) bu bütçeyi verimli kullanmak kritik önem taşır. Robots.txt ile parametre bazlı URL'leri (/search?q=, /filter= gibi), tekrar eden içerikleri, yazıcı sürümlerini ve dahili arama sonuçlarını engelleyerek tarama bütçenizi asıl değerli içeriklere yönlendirebilirsiniz.
En yaygın robots.txt hataları nelerdir?
Sıkça yapılan hatalar: (1) Tüm siteyi yanlışlıkla engellemek — "Disallow: /" tüm botları bloke eder. (2) CSS/JS dosyalarını engellemek — Google bu dosyalara ihtiyaç duyar. (3) Sitemap URL'ini eklememek. (4) Büyük-küçük harf duyarlılığını göz ardı etmek — "/Admin/" ve "/admin/" farklı kurallardır. (5) Birden fazla User-agent bloğu yerine tek blokta kuralları birleştirmek. (6) Yorum satırlarında sözdizimi hatası yapmak.
Sitemap URL'ini robots.txt'e eklemek gerekir mi?
Zorunlu değil ama şiddetle önerilir. Robots.txt'e "Sitemap: https://siteniz.com/sitemap.xml" satırını eklemek Google Search Console'a eklemenin ötesinde, her botun sitemap'i otomatik bulmasını sağlar. Birden fazla sitemap varsa her biri için ayrı satır ekleyebilirsiniz. Sitemap URL'i mutlaka tam URL (https:// ile) olmalıdır.
Crawl-delay direktifi ne yapar ve kullanmalı mıyım?
Crawl-delay, belirtilen saniye aralığında tarama yapılmasını ister (örn. Crawl-delay: 10 → her istek arasında 10 saniye bekle). Googlebot bu direktifi resmi olarak desteklemez; sunucu yükünü Google Search Console üzerinden ayarlamak daha güvenilirdir. Ancak Bingbot ve diğer bazı botlar Crawl-delay'e uymaktadır. Sunucunuz bot trafiğinden aşırı yükleniyor ise Crawl-delay ekleyebilirsiniz, aksi hâlde gereksizdir.
Teknik SEO'yu Birlikte Çözelim.
Robots.txt, sitemap, canonical ve Core Web Vitals — tüm teknik SEO sorunlarınızı tek bir danışmanlık süreciyle çözüyorum.