robots.txt oluşturma aracını kullanarak bir robots.txt dosyası oluşturma
1. Google Web Yöneticisi Araçları Ana Sayfası'nda, istediğiniz siteyi tıklayın.
2. Site yapılandırması altında Tarayıcı erişimi'ni tıklayın.
3. robots.txt dosyası oluşturun sekmesini tıklayın.
4. Varsayılan robot erişiminizi seçin. Tüm robotlara izin vermenizi ve sitenize erişmesini istemediğiniz belirli botları hariç tutmak için sonraki adımı kullanmanızı öneririz. Böylece önemli tarayıcıların sitenizi taramasını yanlışlıkla engellemenizin neden olabileceği sorunları önlemiş olursunuz.
5. Varsa, diğer kuralları belirtin. Örneğin, Googlebot'un sitenizdeki tüm dosyaları ve dizinleri taramasını engellemek için:
* Eylem listesinden İzin Verme seçeneğini belirtin.
* Robot listesinden Googlebot'u tıklayın.
* Dosyalar veya Dizinler kutusuna / yazın.
* Ekle'yi tıklayın. robots.txt dosyanızın kodu otomatik olarak oluşturulur.
6. Dosyayı indirerek veya içeriği bir metin dosyasına kopyalayıp robots.txt olarak kaydederek robots.txt dosyanızı kaydedin. Bu dosyayı sitenizin en üst düzey dizinine kaydedin. robots.txt dosyası, etki alanının kök dizinine yerleştirilmeli ve "robots.txt" olarak adlandırılmalıdır. Botlar bu dosyayı yalnızca etki alanının kök düzeyinde kontrol ettiği için, alt dizinde bulunan bir robots.txt dosyası geçerli değildir. Örneğin, http://www.example.com/robots.txt geçerli bir yerdir ancak http://www.example.com/sitem/robots.txt geçerli bir yer değildir.
Bir robots.txt dosyasında belirtilen kurallar uygulanabilir emirler değil isteklerdir. Googlebot ve tüm tanınmış robotlar, robots.txt dosyasındaki istekleri yerine getirecektir. Ancak, spam göndericilerin, yararsız içerik gönderenlerin veya diğer kötü amaçlı kişilerin robotları gibi bazı rahatsız edici robotlar, dosyayı ciddiye almayabilir. Bu nedenle, gizli bilgileri sunucunuzda şifreyle korunan bir dizinde tutmanızı öneririz. Ayrıca, farklı robotlar, robots.txt dosyalarını farklı şekillerde yorumlayabilir ve tüm robotlar dosyadaki tüm yönergeleri desteklemeyebilir. Tüm robotlarla çalışan robots.txt dosyaları oluşturmak için google elinden geleni yapıyor, ancak bu dosyaların yorumlanma şekli konusunda garanti verememektedir.
robots.txt dosyanızın gerektiği gibi çalışıp çalışmadığını kontrol etmek için, Web Yöneticisi Araçları'ndaki robots.txt testi aracını kullanabilirsiniz.
Kaynak: http://www.google.com/support/webmasters/bin/answer.py?hl=tr&answer=156449&from=40360&rd=1
1. Google Web Yöneticisi Araçları Ana Sayfası'nda, istediğiniz siteyi tıklayın.
2. Site yapılandırması altında Tarayıcı erişimi'ni tıklayın.
3. robots.txt dosyası oluşturun sekmesini tıklayın.
4. Varsayılan robot erişiminizi seçin. Tüm robotlara izin vermenizi ve sitenize erişmesini istemediğiniz belirli botları hariç tutmak için sonraki adımı kullanmanızı öneririz. Böylece önemli tarayıcıların sitenizi taramasını yanlışlıkla engellemenizin neden olabileceği sorunları önlemiş olursunuz.
5. Varsa, diğer kuralları belirtin. Örneğin, Googlebot'un sitenizdeki tüm dosyaları ve dizinleri taramasını engellemek için:
* Eylem listesinden İzin Verme seçeneğini belirtin.
* Robot listesinden Googlebot'u tıklayın.
* Dosyalar veya Dizinler kutusuna / yazın.
* Ekle'yi tıklayın. robots.txt dosyanızın kodu otomatik olarak oluşturulur.
6. Dosyayı indirerek veya içeriği bir metin dosyasına kopyalayıp robots.txt olarak kaydederek robots.txt dosyanızı kaydedin. Bu dosyayı sitenizin en üst düzey dizinine kaydedin. robots.txt dosyası, etki alanının kök dizinine yerleştirilmeli ve "robots.txt" olarak adlandırılmalıdır. Botlar bu dosyayı yalnızca etki alanının kök düzeyinde kontrol ettiği için, alt dizinde bulunan bir robots.txt dosyası geçerli değildir. Örneğin, http://www.example.com/robots.txt geçerli bir yerdir ancak http://www.example.com/sitem/robots.txt geçerli bir yer değildir.
Bir robots.txt dosyasında belirtilen kurallar uygulanabilir emirler değil isteklerdir. Googlebot ve tüm tanınmış robotlar, robots.txt dosyasındaki istekleri yerine getirecektir. Ancak, spam göndericilerin, yararsız içerik gönderenlerin veya diğer kötü amaçlı kişilerin robotları gibi bazı rahatsız edici robotlar, dosyayı ciddiye almayabilir. Bu nedenle, gizli bilgileri sunucunuzda şifreyle korunan bir dizinde tutmanızı öneririz. Ayrıca, farklı robotlar, robots.txt dosyalarını farklı şekillerde yorumlayabilir ve tüm robotlar dosyadaki tüm yönergeleri desteklemeyebilir. Tüm robotlarla çalışan robots.txt dosyaları oluşturmak için google elinden geleni yapıyor, ancak bu dosyaların yorumlanma şekli konusunda garanti verememektedir.
robots.txt dosyanızın gerektiği gibi çalışıp çalışmadığını kontrol etmek için, Web Yöneticisi Araçları'ndaki robots.txt testi aracını kullanabilirsiniz.
Kaynak: http://www.google.com/support/webmasters/bin/answer.py?hl=tr&answer=156449&from=40360&rd=1
PratikBilgi.org
"Bilginin yeni adresi"
"Bilginin yeni adresi"
