Google’ın sitenizi ne sıklıkla taradığını hiç merak ettiniz mi? Yeni yayımladığınız bir sayfa neden günlerce, hatta haftalarca indekse girmiyor? Neden bazı önemli sayfalarınız indekslenirken önemsiz URL’ler sürekli Googlebot tarafından ziyaret ediliyor? Bu soruların hepsi tek bir kavrama dayanıyor: crawl budget, yani Türkçesiyle tarama bütçesi.

Crawl budget, büyük e-ticaret siteleri, haber portalları ve kurumsal web siteleri için hayati bir teknik SEO konusudur. Doğru yönetilmeyen bir tarama bütçesi; önemli sayfaların indekslenmemesine, sıralama kayıplarına ve Googlebot’un zamanının gereksiz URL’lere harcanmasına yol açar. Ancak küçük siteler için de temel prensipleri anlamak, ilerleyen dönemde yapılabilecek hataları önler.

Bu rehberde crawl budget’ı en temel tanımından ileri düzey optimizasyon tekniklerine kadar kapsamlı biçimde ele alıyoruz.

Crawl Budget Nedir?

Crawl budget, Google’ın belirli bir zaman dilimi içinde bir web sitesini kaç kez tarayacağını ifade eden bir kavramdır. Daha teknik bir tanımla: Googlebot’un sitenize belirli bir süre içinde yapacağı toplam istek sayısı ve bu isteklerin yönetilme biçimidir.

Google, 2017 yılında yayımladığı resmi bir blog yazısında crawl budget’ı ilk kez net biçimde tanımlamıştır. Bu yazıya göre crawl budget, iki temel bileşenin çarpımıyla belirlenir:

Crawl rate limit (Tarama hız sınırı): Googlebot’un sitenizi ne hızda tarayabileceği; yani sunucunuzu aşırı yüklemeden kaç eşzamanlı istek gönderebileceği.
Crawl demand (Tarama talebi): Google’ın sitenizin belirli URL’lerini ne kadar taramak istediği; içerik popülerliği ve güncellik gibi faktörlere göre şekillenen talep düzeyi.

Bu iki bileşenin dengesi, sitenizin günlük, haftalık ve aylık tarama bütçesini oluşturur.

Crawl Budget Küçük Siteler İçin Önemli mi?

Google’ın resmi açıklamalarına göre birkaç yüz sayfadan oluşan siteler için crawl budget genellikle bir sorun teşkil etmez. Googlebot bu tür siteleri zaten düzenli aralıklarla tarayabilir. Ancak şu durumlarda küçük siteler de crawl budget sorunuyla karşılaşabilir:

Site yavaş yükleniyorsa (sunucu yanıt süresi >500 ms)
Çok sayıda yönlendirme (redirect) zinciri varsa
Sonsuz URL’ler üreten parametreler mevcutsa
Robots.txt hatalı yapılandırılmışsa

Öte yandan on binlerce veya yüz binlerce URL’e sahip siteler için crawl budget yönetimi, teknik SEO stratejisinin merkezine alınması gereken bir önceliktir.

Crawl Rate Limit (Tarama Hız Sınırı) Nedir?

Crawl rate limit, Googlebot’un sitenize ne hızda istek göndereceğini belirleyen üst sınırdır. Google bu sınırı belirlerken iki şeyi gözetir: sitenizin sunucu kapasitesini aşmamak ve mümkün olan en fazla içeriği taramak.

Googlebot Sitenizin Kapasitesini Nasıl Ölçer?

Googlebot, sitenizi tararken sunucu yanıt sürelerini ve HTTP hata oranlarını sürekli izler. Eğer sunucunuz yavaş yanıt vermeye başlarsa veya 5xx hataları artarsa Googlebot tarama hızını otomatik olarak düşürür. Sunucu performansı iyileştikçe tarama hızı yeniden artırılır.

Bu dinamik yapı, Googlebot’un aynı anda birden fazla sayfayı tarayarak sunucuyu boğmasını önler. Ancak bu durum aynı zamanda şunu da gösterir: yavaş bir sunucu, daha az crawl = daha yavaş indeksleme anlamına gelir.

Search Console Üzerinden Crawl Rate Sınırını Değiştirme

Google Search Console’da (GSC) belirli bir ölçüde Googlebot’un tarama hızını manuel olarak kısıtlayabilirsiniz. Bu özellik eski GSC arayüzünde (eski Search Console > Eski Araçlar ve Raporlar > Crawl Rate) erişilebilir durumdadır.

Bu ayarı yalnızca şu durumlarda kullanmalısınız:

Sunucu kapasitesi gerçekten kısıtlıysa
Yoğun Googlebot trafiği sunucu kaynaklarınızı tüketiyorsa
Geçici bir kaynak sıkıntısı yaşıyorsanız

Normal koşullarda bu ayara dokunmamak daha sağlıklıdır. Tarama hızını kısıtlamak, aynı zamanda indeksleme hızını da yavaşlatır.

Crawl Demand (Tarama Talebi) Nedir?

Crawl demand, Google’ın sitenizin URL’lerini ne kadar taramak istediğidir. Bir URL’nin tarama talebi ne kadar yüksekse Googlebot onu o kadar sık ziyaret eder.

Tarama talebini etkileyen başlıca faktörler şunlardır:

Popülerlik (Popularity)

Google, diğer sitelerden çok sayıda backlink alan, sosyal medyada paylaşılan ve kullanıcıların sürekli ziyaret ettiği sayfaları daha sık tarar. Yüksek otoriteli sayfalar, Google’ın veri tabanında taze tutulmak istenen içerikler olarak değerlendirilir.

Güncellik (Freshness)

Sık güncellenen sayfalar daha yüksek crawl demand’a sahiptir. Bir haber sitesinin ana sayfası, saatte bir güncelleniyor olabilir; bu nedenle Googlebot bu sayfayı çok daha sık ziyaret eder. Öte yandan yıllardır değişmeyen bir “hakkımızda” sayfası ayda bir kez taranmak için yeterlidir.

Sitedeki Değişiklikler

Bir sayfayı güncelledikten sonra sitemap’i yeniden göndermek veya Google Search Console’dan URL indexleme isteği oluşturmak, Googlebot’un o sayfayı daha kısa sürede tekrar taramasını sağlar.

Siteleme (Sitewide) Sinyaller

Sitenizin genel otoritesi, tarama talebini etkiler. Yüksek domain otoritesine sahip, güvenilir ve çok bağlantı alan siteler genel olarak daha sık taranır.

Crawl Bütçesini Olumsuz Etkileyen Faktörler

Crawl bütçenizin verimsiz kullanılmasına neden olan başlıca sorunları anlamak, optimizasyon için atılacak ilk adımdır.

1. Parametre Tabanlı URL’ler

Filtre, sıralama ve oturum parametreleri; tek bir içeriğin yüzlerce farklı URL’de görünmesine neden olabilir. Örneğin bir e-ticaret sitesinde:

/urunler?kategori=ayakkabi&renk=siyah&beden=42&siralama=fiyat-artan
/urunler?renk=siyah&kategori=ayakkabi&beden=42&siralama=fiyat-artan
/urunler?beden=42&renk=siyah&kategori=ayakkabi

Bu üç URL aslında aynı içeriği göstermektedir, ancak Googlebot için üç farklı URL’dir ve üç kez taranır. Binlerce ürün ve düzinelerce filtre kombinasyonu olan bir sitede bu durum, crawl bütçesinin %70-80’ini anlamsız URL’lere harcatabilir.

2. Yinelenen İçerik (Duplicate Content)

www ve non-www versiyonları, http ve https versiyonları, trailing slash (/sayfa/ ve /sayfa) farklılıkları; her biri ayrı URL olarak taranır. Canonical etiketleri doğru yapılandırılmamışsa bu durum ciddi bir tarama israfına yol açar.

3. Yönlendirme Zincirleri

Her yönlendirme (301, 302) Googlebot’un ekstra istek harcamasına neden olur. Özellikle 3-4 adımlı yönlendirme zincirleri hem tarama bütçesini tüketir hem de sayfa otoritesinin bir kısmının kaybolmasına yol açar.

4. Kırık Bağlantılar (404 Hataları)

Sitenizde çok sayıda kırık bağlantı varsa Googlebot bu URL’leri de ziyaret eder (ve 404 yanıtı aldıktan sonra geri çekilir). Bu, tarama bütçesinin boşa harcanması anlamına gelir.

5. Yavaş Sayfa Hızı

Sunucu yanıt süresi yükseldikçe Googlebot bir birim zaman diliminde daha az sayfa tarayabilir. 200 ms’de yanıt veren bir sunucuya sahip site, 2000 ms’de yanıt veren siteye kıyasla aynı sürede 10 kat daha fazla sayfa taratabilir.

6. Düşük Kaliteli veya İnce İçerik

Google, değer sunmayan, kısa ve tekrar eden içerikleri taramaya devam etmek istemez. Ancak bu sayfalar sitenizde mevcut olduğu sürece Googlebot bunları da ziyaret edecektir; bu da bütçeyi gereksiz yere tüketir.

7. Sonsuz Crawl Space (Sonsuz Tarama Alanı)

Bazı sitelerde takvim widget’ları, sonraki/önceki bağlantılar, filtreleme kombinasyonları gibi unsurlar; teorik olarak sonsuz sayıda URL üretebilir. Googlebot bu tuzağa düşmemek için belirli noktada taramayı durdurmaya çalışır, ancak bu durum yine de önemli bir tarama israfıdır.

Büyük Sitelerde Crawl Bütçesi Sorunları

On binlerce veya milyonlarca URL’e sahip siteler için crawl budget, teknik SEO’nun en kritik konularından biridir.

E-Ticaret Siteleri

Büyük e-ticaret platformlarında şu sorunlar sıkça görülür:

Sorun	Örnek	Etki
Filtre kombinasyonları	`/urunler?renk=X&beden=Y&marka=Z`	Milyonlarca gereksiz URL
Sayfalama	`/kategori/page/1` … `/kategori/page/500`	Derin sayfalarda crawl kaybı
Stok dışı ürünler	Artık mevcut olmayan ürün sayfaları	Boşa harcanan crawl
Kullanıcı profilleri	`/kullanici/12345/` gibi URL’ler	İndekslenmemesi gereken sayfalar

Haber ve Medya Siteleri

Günde yüzlerce yeni haber yayımlayan siteler için Googlebot’un yeni içeriklere yetişmesi kritiktir. Eski, artık güncellenmeyen arşiv sayfaları yüzünden tarama bütçesinin tükenmesi; yeni haberlerin gecikmeli indekslenmesine neden olur.

Kurumsal Web Siteleri

Çok dilli, çok bölgeli sitelerde hreflang etiketleri yanlış yapılandırıldığında binlerce sahte URL ortaya çıkabilir. Bunun yanı sıra eski kampanya sayfaları, test URL’leri ve staging ortamındaki sayfaların yanlışlıkla erişime açık kalması da ciddi tarama israfına yol açar.

Crawl Budget Nasıl Optimize Edilir?

Tarama bütçenizi optimize etmek için uygulamanız gereken stratejiler birkaç temel kategoriye ayrılır.

1. Robots.txt ile Gereksiz URL’leri Taramadan Çıkarma

robots.txt dosyası, Googlebot’un hangi URL’leri taramasına izin verdiğinizi ya da vermediğinizi belirttiğiniz yapılandırma dosyasıdır. Doğru kullanıldığında tarama bütçenizi önemli ölçüde koruyabilirsiniz.

User-agent: Googlebot
Disallow: /admin/
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /urunler/filtre/
Disallow: /*?renk=*
Disallow: /*?siralama=*
Disallow: /*?sayfa=*&filtre=*
Disallow: /etiket/
Disallow: /yazar/

Ancak bu noktada kritik bir uyarı: robots.txt ile engellenen URL’ler indekslenmez, ama zaten indekslenmiş olan URL’ler için canonical çözümü daha doğru bir yaklaşımdır. Ayrıca robots.txt ile engellenen bir URL, başka bir sayfadan bağlantı alıyorsa Google bu URL’nin varlığından haberdar olmaya devam edebilir; sadece içeriğini göremez.

Robots.txt dosyanızı oluşturmak ve test etmek için Robots.txt Oluşturucu aracımızı kullanabilirsiniz.

Robots.txt ile Engellenmesi Gereken Tipik Alanlar:

Arama sonuçları sayfaları (/arama?q=)
Kullanıcı profil sayfaları
Ödeme ve sepet sayfaları
Admin ve giriş alanları
Yinelenen parametre kombinasyonları
Yazıcı dostu versiyon sayfaları
İzleme parametreleri (?utm_source=, ?fbclid=)

2. Noindex Etiketi ile İndekslenemeyen İçerikleri İşaretleme

robots.txt taramayı engeller, ancak noindex etiketi içeriğin indekslenmesini engeller. Bazı durumlarda bir URL’nin taranmasına izin vermek (Googlebot’un ziyaret etmesine), ancak indeks dışında tutmak isteyebilirsiniz.

&lt;meta name="robots" content="noindex, follow"&gt;

Bu yaklaşım şu durumlar için uygundur:

Sayfalama sayfaları (tartışmalı; bazı SEO uzmanları canonical tercih eder)
Yazar arşiv sayfaları
Etiket sayfaları (özellikle çok fazla sayıda etiket varsa)
Dahili arama sonuçları sayfaları
Teşekkür sayfaları ve onay adımları

Önemli Not: noindex etiketli bir sayfayı robots.txt ile de engellerseniz, Googlebot sayfayı tarayamaz ve noindex direktifini okuyamaz. Bu durum, Google’ın sayfayı indeksden çıkarmak yerine “taramadığı için indeksde tutmaya devam etmesine” neden olabilir.

3. XML Sitemap Optimizasyonu

Sitemap, Googlebot’a “hangi sayfaları öncelikli taraması gerektiğini” söylemenin en doğrudan yoludur. Doğru yapılandırılmış bir sitemap, crawl bütçenizin verimli kullanılmasını sağlar.

Sitemap’te Yalnızca Şunları Belirtin:

Canonical URL’ler (yinelenen varyantları değil)
noindex etiketi taşımayan sayfalar
robots.txt ile engellenmemiş sayfalar
Gerçek içerik sunan, değerli sayfalar
HTTP 200 döndüren, aktif sayfalar

&lt;?xml version="1.0" encoding="UTF-8"?&gt;
&lt;urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"&gt;
  &lt;url&gt;
    &lt;loc&gt;https://www.orneksite.com/urun/kirmizi-ayakkabi/&lt;/loc&gt;
    &lt;lastmod&gt;2026-07-10&lt;/lastmod&gt;
    &lt;changefreq&gt;weekly&lt;/changefreq&gt;
    &lt;priority&gt;0.8&lt;/priority&gt;
  &lt;/url&gt;
&lt;/urlset&gt;

Sitemap’ten Çıkarılması Gerekenler:

Parametre içeren URL’ler
noindex sayfalar
Yönlendirme yapan URL’ler (hedef URL’yi ekleyin)
404 döndüren URL’ler
Erişim gerektiren sayfalar

XML sitemap dosyanızı otomatik olarak oluşturmak için Sitemap XML Oluşturucu aracımızdan yararlanabilirsiniz.

4. Canonical Etiketleri ile Yinelenen İçeriği Yönetme

Canonical etiket (rel="canonical"), bir sayfanın “asıl” versiyonunu Google’a bildirmenin en etkili yollarından biridir. Parametre tabanlı URL’ler veya birden fazla versiyonu olan sayfalar için canonical etiketi doğru kurgulanmalıdır.

&lt;!-- Parametre içeren URL'de --&gt;
&lt;link rel="canonical" href="https://www.orneksite.com/urunler/ayakkabi/" /&gt;

Bu sayede Googlebot parametreli URL’yi taramaya devam edebilir, ancak asıl sayfayı canonical olarak tanır ve tarama bütçesini buna göre yönetir.

Self-referencing canonical (sayfanın kendi kendini canonical olarak işaret etmesi) de iyi bir pratiktir ve Googlebot’a kafa karışıklığı yaşatmaz.

5. İç Linkleme Yapısını Güçlendirme

Googlebot, sitenizi büyük ölçüde iç bağlantıları takip ederek tarar. İç linkleme yapınız ne kadar sağlıklı ve mantıklıysa, Googlebot önemli sayfalarınıza o kadar kolay ulaşır.

İç Linkleme Optimizasyonu için Öneriler:

Önemli sayfaları ana sayfadan veya yüksek otoriteli sayfalardan linkleyin
Orphan (hiçbir iç bağlantı almayan) sayfaları tespit edin ve linkleyin
Breadcrumb navigasyonu kullanın; hem kullanıcı deneyimini hem tarama verimliliğini artırır
Sitenin derinlik yapısını düzenleyin: Önemli sayfalar 3 tıklama derinliğinin altında olmalıdır
Broken internal links (kırık iç bağlantılar) düzeltin

Derin sayfalarda bulunan içerikler Googlebot tarafından daha az sıklıkla taranır. 7-8 tıklama derinliğindeki bir sayfa, ana sayfadan 2 tıklamayla ulaşılabilir bir sayfaya kıyasla çok daha az tarama bütçesi alır.

6. Sayfa Hızını ve Sunucu Performansını İyileştirme

Daha önce belirttiğimiz gibi, sunucu yanıt süresi crawl rate limit’i doğrudan etkiler. Sunucu performansını iyileştirmek, aynı sürede daha fazla sayfanın taranması anlamına gelir.

Sunucu Yanıt Süresini İyileştirmek için:

CDN (Content Delivery Network) kullanın
Sunucu tarafı önbellekleme (server-side caching) uygulayın
Veritabanı sorgularını optimize edin
Gereksiz eklenti ve üçüncü taraf scriptleri kaldırın
HTTP/2 veya HTTP/3 protokolüne geçin
TTFB (Time to First Byte) değerini 200 ms’nin altına indirin

Google’ın kendi önerisi: Sunucu yanıt süresi 500 ms’nin altında olmalıdır. Bu değerin üzerinde Googlebot tarama hızını otomatik olarak düşürür.

7. Yönlendirme Zincirlerini Temizleme

301 yönlendirmeleri gereklidir ve kullanılmalıdır; ancak zincirleme yönlendirmeler hem tarama bütçesini tüketir hem de sayfa otoritesini zayıflatır.

/eski-sayfa/ → /ara-sayfa/ → /yeni-sayfa/

Bu zincir yerine doğrudan:

/eski-sayfa/ → /yeni-sayfa/

yönlendirmesi kullanılmalıdır. Sitenizdeki tüm yönlendirme zincirlerini düzenli aralıklarla denetleyin ve zincirleri tek adıma indirin.

8. Stok Dışı ve Silinen Ürün Sayfalarını Yönetme

E-ticaret sitelerinde en sık karşılaşılan sorunlardan biri, artık satılmayan ürünlerin sayfalarının nasıl yönetileceğidir. Bunun için birkaç seçenek vardır:

Seçenek 1 — Sayfayı Koruyun, İçeriği Güncelleyin: Ürün artık mevcut değilse benzer ürünlere yönlendirme yapan bir içerik ekleyin. Sayfa SEO otoritesini korur.

Seçenek 2 — 301 Yönlendirme: Ürün kalıcı olarak kaldırıldıysa kategori sayfasına veya ilgili bir ürüne 301 yönlendirmesi yapın.

Seçenek 3 — 410 Gone: Sayfanın kalıcı olarak kaldırıldığını Googlebot’a bildirmek için 410 HTTP durum kodu döndürebilirsiniz. Google bu sayfayı daha hızlı indeksden çıkarır.

Önerilmeyen — 404 Bırakma: Hiçbir işlem yapmadan 404 döndürmek hem kullanıcı deneyimini bozar hem de Googlebot’un bu URL’leri gereksiz yere taramaya devam etmesine neden olur.

Log Analizi ile Crawl Bütçesini Takip Etme

Crawl budget optimizasyonunun en güçlü ve en az kullanılan yöntemi sunucu log analizidir. Sunucu logları, Googlebot’un sitenizde tam olarak ne yaptığını saniye saniye kaydeder.

Sunucu Loglarında Ne Aranır?

Sunucu loglarında her satır bir HTTP isteğini temsil eder. Googlebot istekleri, log dosyasında şu şekilde görünür:

66.249.64.1 - - [13/Jul/2026:14:23:11 +0000] "GET /urunler/mavi-tisort/ HTTP/1.1"
200 14231 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.64.5 - - [13/Jul/2026:14:23:15 +0000] "GET /sepet/?session_id=abc123 HTTP/1.1"
200 8421 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Log analizinde şunlara odaklanın:

Googlebot Hangi URL’leri Tarıyor? Taradığı URL’lerin listesini çıkarın. Hangi parametreli URL’ler taranıyor? Hangi bölümler en fazla istek alıyor?

Hangi HTTP Durum Kodları Dönüyor?

Durum Kodu	Anlam	Eylem
200	Başarılı	Normal
301 / 302	Yönlendirme	Zinciri kısalt
404	Bulunamadı	Düzelt veya yönlendir
500	Sunucu Hatası	Acil müdahale
429	Çok Fazla İstek	Rate limiting sorunu

Googlebot Hangi Saatlerde Tarama Yapıyor? Tarama saatlerini görmek, sunucu yükü ile Googlebot trafiğini ilişkilendirmenize yardımcı olur.

Tarama Hızı ve Sıklığı Nasıl? Günlük Googlebot istek sayısını hesaplayın. Bu sayı zaman içinde artıyor mu, azalıyor mu? Azalma sunucu sorunlarının habercisi olabilir.

Log Analizi Araçları

Log analizi için kullanabileceğiniz araçlar:

Screaming Frog Log File Analyser: Sunucu log dosyalarını görsel olarak analiz etmek için en popüler araçlardan biridir.
Botify: Kurumsal düzey crawl analizi sunan, log verilerini SEO metrikleriyle birleştiren gelişmiş bir platform.
Oncrawl: Log verisi ile crawl verilerini harmanlayan kurumsal bir SEO aracı.
Python/Pandas: Log dosyalarını bizzat analiz etmek isteyenler için özelleştirilmiş script yazabilirsiniz.

Basit bir Python örneği:

import re
from collections import Counter

googlebot_pattern = re.compile(r'Googlebot')
url_pattern = re.compile(r'"GET (.+?) HTTP')

googlebot_urls = []

with open('access.log', 'r') as f:
    for line in f:
        if googlebot_pattern.search(line):
            url_match = url_pattern.search(line)
            if url_match:
                googlebot_urls.append(url_match.group(1))

# En çok taranan URL'ler
url_counter = Counter(googlebot_urls)
print("En çok taranan 20 URL:")
for url, count in url_counter.most_common(20):
    print(f"{count:5d} kez - {url}")

Bu basit script, Googlebot’un en çok hangi URL’leri ziyaret ettiğini ortaya çıkarır. Buradaki URL’ler içinde robots.txt ile engellenmesi gereken veya noindex eklenmesi gereken sayfalar varsa hemen müdahale edebilirsiniz.

Google Search Console ile Crawl Raporlarını Okuma

Google Search Console, crawl bütçenizi izlemek için en erişilebilir ve en güvenilir kaynaktır.

Dizin Kapsamı (Index Coverage) Raporu

GSC’deki “Dizin Kapsamı” raporu, sitenizin hangi URL’lerinin indekslendiğini, hangilerinin hariç tutulduğunu ve hangilerinde hata olduğunu gösterir.

Bu raporun ana sekmeleri şunlardır:

Hata: Google’ın indekslemek istediği ancak başarısız olduğu sayfalar. Acil müdahale gerektirir.
Geçerli, uyarıyla: İndekslenmiş ancak dikkat edilmesi gereken durumlar (örn. robots.txt ile engelleme var ama canonical belirtiyor).
Hariç tutulan: Google’ın bilerek indekslemediği sayfalar (noindex, canonical, robots.txt vs.).
Geçerli: Başarıyla indekslenmiş sayfalar.

Dikkat Edilmesi Gereken Hariç Tutma Nedenleri:

Hariç Tutma Nedeni	Olası Sorun
”Robots.txt tarafından engellendi”	Yanlışlıkla engellenen önemli sayfalar
”Noindex etiketi var”	İstenmeden noindex eklenen sayfalar
”Canonical, kullanıcı tarafından seçilmiş bir URL’ye işaret ediyor”	Canonical yönlendirmesi
”Canonical, Google tarafından seçilmiş URL farklı”	Google’ın canonical seçiminize katılmaması
”Gönderildi, ancak taranmadı”	Sitemap’te var ama Googlebot henüz taramadı

URL Denetleme Aracı

GSC’deki URL Denetleme aracı, belirli bir URL’nin Google tarafından nasıl görüldüğünü anlık olarak kontrol etmenizi sağlar. Bir URL’yi denetlediğinizde şunları görebilirsiniz:

URL’nin Google’ın dizininde olup olmadığı
Son taranma tarihi ve saati
Sayfayı keşfeden canonical URL
Hangi sayfadan keşfedildiği (referring page)
HTTP durum kodu
Robots.txt ve meta robots durumu

Bu araç, bireysel sayfa sorunlarını teşhis etmek için son derece güçlüdür.

Tarama İstatistikleri Raporu

GSC’nin “Ayarlar > Tarama İstatistikleri” bölümü, son 90 güne ait Googlebot tarama verilerini gösterir:

Günlük tarama sayısı: Googlebot’un sitenizi günde kaç kez ziyaret ettiği.
Tarama boyutu: Her taramada indirilen ortalama veri miktarı.
Tarama süresi: Googlebot’un sayfa başına ortalama bekleme süresi.

Bu grafikler, tarama aktivitesindeki ani düşüş veya artışları tespit etmenizi sağlar. Ani bir düşüş genellikle sunucu sorununu veya robots.txt değişikliğini işaret eder.

Crawl Budget için İleri Düzey Stratejiler

Temel optimizasyonların ötesine geçmek isteyenler için bazı ileri düzey yaklaşımlar:

Sayfalama Yönetimi

Büyük kategori listelerinde sayfalama (pagination) önemli bir crawl bütçesi tüketicisidir. Seçenekler:

rel=“next” / rel=“prev”: Google bu direktifleri artık resmi olarak desteklemese de bazı SEO uzmanları hâlâ kullanmaktadır.
Canonical: Her sayfalama sayfasının canonical’ını birinci sayfaya yönlendirmek (tartışmalı yaklaşım).
Sonsuz kaydırma (infinite scroll): Doğru uygulanırsa Googlebot’un da gezebileceği bir yapı oluşturulabilir; ancak dikkatli yapılandırılmalıdır.
Bütün içeriği tek sayfada gösterme: Küçük listeler için en sağlıklı çözümdür.

En önerilen yaklaşım: Sayfalama URL’lerini sitemap’e eklemeyin, ancak robots.txt ile de engellemeyin. Bunun yerine her sayfa için noindex ekleyin ve ana kategori sayfasını güçlendirin.

Hreflang ve Uluslararası Siteler

Çok dilli sitelerde hreflang etiketleri, Google’ın doğru dil sürümünü kullanıcıya sunmasına yardımcı olur. Ancak yanlış yapılandırıldığında her hreflang etiketi ek tarama talebi yaratabilir.

&lt;link rel="alternate" hreflang="tr" href="https://www.orneksite.com/tr/sayfa/" /&gt;
&lt;link rel="alternate" hreflang="en" href="https://www.orneksite.com/en/page/" /&gt;
&lt;link rel="alternate" hreflang="de" href="https://www.orneksite.com/de/seite/" /&gt;
&lt;link rel="alternate" hreflang="x-default" href="https://www.orneksite.com/en/page/" /&gt;

Tüm dil versiyonlarının sitemap’e eklenmesi ve hreflang etiketlerinin karşılıklı (birbirini işaret eden) şekilde yapılandırılması gerekir.

JavaScript SEO ve Crawl Budget

JavaScript ile render edilen içerikler, Googlebot’un iki aşamalı tarama sürecinden geçer:

HTML’i indir (ilk tarama)
JavaScript’i çalıştır ve DOM’u render et (ikinci aşama, gecikmeli)

İkinci aşama için Googlebot kuyruğu kullanır ve bu süreç bazen günler alabilir. Önemli içeriklerin server-side rendering (SSR) veya static site generation (SSG) ile sunulması, hem crawl verimliliğini hem de indeksleme hızını artırır.

Crawl Budget Optimizasyonu için Kontrol Listesi

Teknik SEO denetimi kapsamında crawl budget’ı değerlendirirken şu listeyi kullanabilirsiniz:

Teknik Kontroller

Robots.txt dosyası doğru mu? Önemli sayfalar yanlışlıkla engellenmemiş mi?
Parametre yönetimi (GSC veya canonical) yapılandırılmış mı?
Yönlendirme zincirleri tek adıma indirilmiş mi?
Canonical etiketleri tutarlı ve doğru mu?
Sitemap’te yalnızca geçerli, 200 döndüren sayfalar mı var?
Dahili kırık bağlantılar giderilmiş mi?

Performans Kontrolleri

TTFB (Time to First Byte) 200 ms’nin altında mı?
Sunucu yanıt süresi 500 ms’nin altında mı?
CDN kullanılıyor mu?
Önbellekleme yapılandırılmış mı?

İçerik Kontrolleri

İnce, düşük kaliteli veya yinelenen içerikler noindex mi?
Stok dışı/silinen sayfalara uygun işlem yapılmış mı?
Orphan (iç bağlantısız) sayfa sayısı minimize edilmiş mi?

İzleme Kontrolleri

GSC Tarama İstatistikleri düzenli olarak takip ediliyor mu?
GSC Dizin Kapsamı raporu haftalık gözden geçiriliyor mu?
Sunucu logları periyodik olarak analiz ediliyor mu?

Crawl Budget ile İndeksleme Hızı Arasındaki İlişki

Crawl budget yönetiminin nihai amacı, önemli sayfaların hızlı ve doğru biçimde indekslenmesini sağlamaktır. Bu iki kavram birbiriyle doğrudan ilişkilidir ancak aynı şey değildir.

Taranmak indekslenmek anlamına gelmez. Googlebot bir sayfayı tarayabilir, ancak kalite eşiğini geçmediği için onu indekslemeyebilir. Bu nedenle crawl budget optimizasyonu tek başına yeterli değildir; içerik kalitesi, E-E-A-T (Deneyim, Uzmanlık, Otorite, Güvenilirlik) sinyalleri ve teknik doğruluk da şarttır.

Öte yandan indekslenmeyen bir sayfa taranamaz da değildir. Noindex etiketli sayfalar taranmaya devam eder (robots.txt ile engellenmemişlerse). Ancak indekse alınmazlar.

Verimli bir crawl budget yönetimi şu sonuçları doğurur:

Yeni içerikler daha hızlı indekslenir
Güncellenen sayfalar arama sonuçlarına daha kısa sürede yansır
Önemli sayfalar daha sık taranır ve güncelliklerini korur
Gereksiz URL’ler yerine değerli içerikler için bütçe harcanır

Teknik SEO hizmetlerimiz kapsamında crawl budget analizi, log dosyası incelemesi ve kapsamlı tarama optimizasyonu gerçekleştiriyoruz.

Crawl Budget Hakkında Sık Sorulan Sorular

Crawl budget limiti var mıdır?

Evet, her site için Google’ın belirli bir süre içinde yapacağı maksimum tarama sayısı söz konusudur. Ancak bu limit sabit değildir; sitenizin otoritesi, sunucu kapasitesi ve içerik değeri arttıkça limit de artma eğilimindedir.

Google Search Console crawl budget’ı gösteriyor mu?

Doğrudan “crawl budget kaldı X URL” şeklinde bir gösterge yoktur. Ancak GSC’deki Tarama İstatistikleri raporu, Googlebot’un sitenizi ne sıklıkla ve hangi hızda taradığını gösterir. Bu veriler dolaylı olarak crawl budget’ınızı anlamanıza yardımcı olur.

Yeni bir site için crawl budget önemli mi?

Yeni ve küçük siteler için crawl budget genellikle kritik bir sorun değildir. Google yeni siteleri keşfettiğinde belirli bir ilgi gösterir. Ancak sitemap’i eksiksiz yapılandırmak, hızlı bir sunucu kullanmak ve robots.txt’i doğru ayarlamak başlangıçtan itibaren önemlidir.

Crawl budget ile domain otoritesi arasında ilişki var mı?

Evet. Daha yüksek otoriteli siteler (çok sayıda kaliteli backlink alan, yüksek trafik çeken) Google tarafından daha sık taranır. Bu nedenle link building ve içerik kalitesini artırmak, dolaylı olarak crawl budget’ı da iyileştirir.

Crawl budget optimizasyonu ne zaman yapılmalı?

Şu durumlarda hemen harekete geçmelisiniz:

GSC’de çok sayıda “Gönderildi, ancak taranmadı” URL görüyorsanız
Yeni içerikleriniz günlerce indekslenmeden bekliyorsa
Site audit araçları yüzlerce parametre kombinasyonu tespit ediyorsa
Sunucu loglarında Googlebot’un büyük bölümünün gereksiz URL’lere gittiğini görüyorsanız

Sonuç: Crawl Budget Yönetimi Neden Kritiktir?

Crawl budget, görünmez ama son derece etkili bir teknik SEO bileşenidir. Yanlış yönetildiğinde; önemli sayfalar gecikmeyle indekslenir, güncellemeler arama sonuçlarına yavaş yansır ve Googlebot’un zamanı değersiz URL’lere harcanır. Doğru yönetildiğinde ise sitenizin en değerli içerikleri düzenli olarak taranır, indeksleme hızı artar ve teknik SEO temeli sağlamlaşır.

Crawl budget optimizasyonu için atılacak ilk adım her zaman mevcut durumu anlamakla başlar: GSC raporlarını inceleyin, sunucu loglarını analiz edin ve gereksiz URL’leri tespit edin. Ardından robots.txt, canonical etiketler, noindex direktifleri ve sitemap optimizasyonu gibi araçları bilinçli biçimde kullanarak Googlebot’u sitenizin en önemli içeriklerine yönlendirin.

Teknik SEO çalışmalarında uzman desteğe ihtiyaç duyuyorsanız Teknik SEO hizmetlerimizi inceleyebilir, güncel bilgilere ve araçlara ulaşmak için Robots.txt Oluşturucu ve Sitemap XML Oluşturucu araçlarımızdan yararlanabilirsiniz.