Tarama bütçesi optimizasyonu, Googlebot ve diğer arama motorlarının daha fazla önemli içeriğinizi taramasına ve dizine eklemesine yardımcı olma sürecidir.
Bunu yapmanın üç ana yolu vardır:
• Google ve diğer arama motorlarını dizine alınmasını istemediğiniz sayfalardan uzak tutmak
• Önemli içeriğinizi daha hızlı bulmalarına yardımcı olmak
• Önemli sayfalarınızın popülerliğini ve tazeliğini artırmak
Karşılaştığımız, boşa harcanan tarama bütçesinin yaygın nedenlerini inceleyelim.
Parametreli Erişilebilir URL’ler
Parametreli URL’ler, e-ticaret sitelerinde ürün filtreleri uygulanırken yaygın olarak kullanılır. Bunları kullanmak sorun değil; sadece arama motorları tarafından erişilebilir olmadıklarından emin olun.
Onun yerine önemli sayfaların taranabilir olduğundan ve aramada bulunursa değer sağlamayacak içeriğin engellendiğinden emin olun.
.Htaccess ve robots.txt dosyanız sitenin önemli sayfalarını engellememeli ve botlar CSS ve Javascript dosyalarına erişebilmelidir. Aynı zamanda, aramada görünmesini istemediğiniz içeriği engellemelisiniz. Engelleme için en iyi adaylar, yinelenen içeriğe sahip sayfalar, web sitesinin ‘yapım aşamasında’ alanları, dinamik olarak oluşturulmuş URL’ler ve benzerleridir.
Dolayısıyla, tarama bütçenizi düşürmeye ve önemli olduğunu düşünmediğiniz sayfaları tek tek engellemeye çalışıyorsanız, robots.txt dosyasını kullanın. Ancak Google’ın bir sayfadan haberdar olmasını istemiyorsanız meta etiketleri kullanın.
Düşük Kaliteli İçerik
Çok az içeriğe sahip sayfalar, arama motorları için ilgi çekici değildir. Bunları minimumda tutun veya mümkünse tamamen kaldırın. Düşük kaliteli içeriğe bir örnek, her soru ve cevabın ayrı bir URL üzerinden sunulduğu, soruları ve cevapları gösteren bağlantıların bulunduğu SSS bölümleridir.
Bozuk ve Yeniden Yönlendiren Bağlantılar
Uzun yeniden yönlendirme zincirlerinden kaçının. Sitenizde arka arkaya mantıksız sayıda 301 ve 302 yeniden yönlendirme varsa, arama motorları yönlendirmeleri takip etmeyi bir noktada durdurur ve hedef sayfa taranmayabilir. Yönlendirmeleri art arda ikiden fazla olmamak kaydıyla ve yalnızca kesinlikle gerekli olduğunda kullandığınızdan emin olun.
Kırık bağlantıları düzelterek ve bağlantıları yeniden yönlendirerek, boşa harcanan tarama bütçesini hızla kurtarabilirsiniz. Tarama bütçesini kurtarmanın yanı sıra, bir ziyaretçinin kullanıcı deneyimini de önemli ölçüde iyileştirmiş olursunuz. Yönlendirmeler ve özellikle yeniden yönlendirme zincirleri, daha uzun sayfa yükleme süresine neden olur ve dolayısıyla kullanıcı deneyimine zarar verir.
XML Site Haritalarında Yanlış URL’ler
XML site haritalarına dahil edilen tüm URL’ler dizine eklenebilir sayfalar için olmalıdır. Özellikle büyük web sitelerinde, arama motorları tüm sayfalarınızı bulmak için büyük ölçüde XML site haritalarına güvenir. XML site haritalarınız, örneğin artık mevcut olmayan veya yeniden yönlendirilen sayfalarla dağınıksa, tarama bütçesini boşa harcarsınız. Oraya ait olmayan dizine eklenemez URL’ler için XML site haritanızı düzenli olarak kontrol edin. Bunun tersini de kontrol edin: XML site haritasından yanlışlıkla hariç tutulan sayfaları arayın.
RSS’den Yararlanma
Web sitenizdeki belirli bir bölüm sık sık güncelleniyorsa (bir blog, öne çıkan ürünler sayfası, yeni gelenler bölümü), bunun için bir RSS beslemesi oluşturduğunuzdan ve bunu Google’ın Feed Burner’a gönderdiğinizden emin olun. RSS beslemelerini standart olmayan, endeksleme veya 404 sayfadan arındırmayı unutmayın.
Çok Sayıda Dizine Eklenemeyen Sayfa
Web siteniz arama motorları tarafından erişilebilen çok sayıda dizine eklenemeyen sayfa içeriyorsa, temelde arama motorlarını alakasız sayfaları taramakla meşgul etmiş olursunuz.
Aşağıdaki türler dizine eklenemez sayfalardır:
- Yönlendirmeler (3xx)
- Bulunamayan sayfalar (4xx)
- Sunucu hatası içeren sayfalar (5xx)
Çok sayıda dizine eklenemeyen sayfanız olup olmadığını öğrenmek için, tarayıcıların web sitenizde bulduğu toplam sayfa sayısına ve bunların nasıl parçalandığına bakın.
En önemli sayfalarınızda bol miktarda dahili bağlantı bulunduğundan emin olun. Yakın zamanda taranan sayfalar genellikle arama motorlarında daha iyi sıralanır. Bunu aklınızda bulundurun ve bunun için dahili bağlantı yapınızı ayarlayın.
Yazı dizimizin diğer başlıklarına ulaşmak için okumaya devam edin!
Önceki Yazı: Crawl Budget: Tarama Bütçesi Nedir?
Sonraki Yazı: SEO İçin Tarama Bütçesi İpuçları