Dosyaları nasıl yayınlarım?
- robots.txt dosyasını sitenizin kök dizinine yükleyin (siteniz.com/robots.txt).
- sitemap.xml dosyasını da kök dizine yükleyin ve adresini robots.txt içindeki Sitemap satırına yazın.
- Google Search Console > Sitemaps bölümünden sitemap adresinizi gönderin.
Next.js, WordPress ve çoğu e-ticaret altyapısı bu dosyaları otomatik üretebilir; bu araç, elle yönetilen veya özel kurulumlar ve hızlı taslaklar için uygundur.
Sık sorulan sorular
robots.txt nedir?
Sitenizin kök dizininde duran, arama motoru botlarına hangi sayfaları tarayabileceklerini ve hangilerini tarayamayacaklarını söyleyen metin dosyasıdır (siteniz.com/robots.txt).
robots.txt bir sayfayı Google'dan gizler mi?
Hayır. Disallow yalnızca taramayı engeller; sayfa başka sitelerden link alıyorsa yine de dizine eklenebilir. Bir sayfayı sonuçlardan çıkarmak için sayfada “noindex” etiketi kullanın ve botun bu etiketi görebilmesi için sayfayı robots.txt ile engellemeyin.
Sitemap.xml ne işe yarar?
Sitenizdeki önemli sayfaların listesini arama motorlarına verir; yeni ve güncellenen sayfaların daha hızlı keşfedilmesine yardımcı olur. Google Search Console'dan göndermeniz ve robots.txt içine eklemeniz önerilir.
E-ticaret sitemde hangi sayfaları engellemeliyim?
Sepet, ödeme, hesabım, giriş ve iç arama sonuç sayfaları gibi arama değeri olmayan sayfaları ve sıralama/filtre parametreli adresleri engellemek tarama bütçenizi korur. Aracımızdaki “E-ticaret önerisi” şablonu bunlar için bir başlangıçtır; kendi site yapınıza göre düzenleyin.
Yapay zekâ botlarını engellemek ne işe yarar?
GPTBot, ClaudeBot, CCBot gibi botlar içerik toplayarak yapay zekâ modellerini eğitebilir. robots.txt ile engellerseniz, kurallara uyan botlar sitenizi taramaz. Arama motoru sıralamanızı etkilemez; ancak kurallara uymayan botları durdurmaz.