Robots.txt dosyasının site sıralamasını iyileştirmedeki rolü!

Çoğu web yöneticisi, web sitesi için bir robots.txt dosyası kullanmaya zaman ayırmaz. Hangi dizinlerde arama yapılacağını görmek için robots.txt kullanan arama motoru örümcekleri için robots.txt dosyası, örümceklerinizin istatistiklerinize bakmak gibi diğer bilgileri değil, gerçek sayfalarınızı dizine eklemesini sağlamada çok yararlı olabilir!

Robots.txt dosyası, örümceklerinizin gerçek web sitesi içeriğinizle tamamen ilgisiz olan barındırma dizininizdeki parça klasörlerine ve dosyalara erişmesini önlemede yararlıdır. Örümcekleri, arama motorlarının düzgün bir şekilde çözümleyemediği programların bulunduğu alanların dışında tutmayı ve onları sitenizin web istatistikleri bölümünün dışında tutmayı seçebilirsiniz.

Çoğu arama motoru, dinamik olarak oluşturulmuş içeriği, çoğunlukla PHP veya ASP gibi programlama dilleri tarafından oluşturulan içeriği düzgün görüntüleyemez. Barındırma hesabınızda programlanmış bir çevrimiçi mağazanız varsa ve bu ayrı bir dizindeyse, örümcekleri bu dizinden engelleyerek yalnızca ilgili bilgileri bulmasını sağlamanız akıllıca olacaktır.

Robots.txt dosyası, barındırmanız için ana dosyalarınızın bulunduğu dizine yerleştirilmelidir. Bu nedenle, boş bir metin dosyası oluşturmanız ve bunu robots.txt olarak kaydetmeniz ve ardından index.htm dosyanızın bulunduğu dizine web barındırma hizmetinize yüklemeniz önerilir.

Robots.txt dosyasının kullanımına ilişkin örnekler:

Çevrimiçi mağazanız için / store / adlı bir alt dizin gibi robots.txt dosyasındaki bir dizini engellemek için aşağıdakileri yapmalısınız: İzin verme: / store /

İstatistik dizininizi engellemek için başka bir örnek: İzin verme: / stats /

Arama motorları tarafından aranmasını istemediğiniz tek tek dosyalara da izin vermemek isteyebilirsiniz. Örneğin search.php’nin Arama Motorları tarafından ayrıştırılmasını istemezsiniz. Bunu yapmak için kendi satırına aşağıdakileri yazarsınız:

İzin verme: /search.php

Ana hatlarıyla belirtilen kuralları izleyerek ve robots.txt dosyasını oluştururken, arama motoru örümceklerini istenmeyen dosya ve dizinlerden uzak tutacak ve web sitenizin neyle ilgili olduğunu görmek için önemli dosyaları gözden geçirmelerine izin vereceksiniz!