Как да направя robots.txt файл за моя сайт?

Вие се нуждаете от robots.txt файл единствено, ако вашият сайт съдържа информация, която не искате Google или другите търсещи машини да индексират.

Ако нямате качен robots.txt файл в директорията на сайта ви, цялата текстова информацията, която сте качили, папки, снимки, скриптови файлове, ще бъдат индексирани от търсещите машини.

Какво представлява robots.txt файла

Robots.txt е файл, който се качва в основната директория на сайта и показва на търсещите машини, коя информация не искате да бъде индексирана. Когато качите файла robots.txt на сайта си, достъпа до него трябва да изглежда така:

https://www.Вашият-сайт.com/robots.txt

Преди да обходят сайта ви роботите на търсещите машини прочитат този файл и разбират, коя информация не желаете да бъде индексирана. Ако роботите на търсещите машини не открият този файл те приемат, че собственика на сайта предоставя цялата информация за индексиране.

Какво трябва да знаем преди да създадем robots.txt

• Трябва да знаете, че докато Googlebot и други популярни уеб роботи изпълняват указанията в robots.txt файла, други не го правят. Затова ако имате важна информация на сайта, която искате да запазите от тези роботи е по-добре да помислите за други методи, като например защита с парола от вашия сървър.
• Въпреки че популярните обхождащи роботи следват директивите в robots.txt, всеки от тях може да ги тълкува по различен начин. Трябва да знаете правилния синтаксис за справяне с различните роботи, тъй като някои от тях не могат да разберат някои инструкции.
• Ограниченията в robots.txt файла няма да попречат индексирането на вашите URL адреси от други сайтове. Googlebot няма да проследи вашите адреси забранени в robots.txt, но той може да ги индексира от други места в мрежата. Можете да спрете URL от вашия сайт да се показва в индекса на Google с помощта на robots.txt в комбинация с други методи за блокиране, като защита на файловете с парола от вашия сървър или поставяне на забрана за индексиране в мета таговете на вашия HTML.

Няколко примера за robots.txt

Позволяване индексирането на всичко

User-agent: *

Disallow:

           или

User-agent: *

Allow: /

Забрана за индексиране на цялата информация

User-agent: *

Disallow: /

Забрана за индексирането на определена папка

User-agent: *

Disallow: /име-на-папка/

Забрана на Googlebot да индексира папка, но разрешаване индексирането на файл от нея.

User-agent: Googlebot

Disallow: /име-на-папка/

Allow: /същото-име-на-папка/име-на-файл.html

За да създадете robots.txt можете да използвате текстовия редактор Notepad, който е инсталиран на всеки компютър с операционна система Windows.

Съхранете новосъздадения файл, като robots.txt изписано с малки букви. Трябва да знаете, че файла robots.txt е достъпен за всички и показва папките и файловете, които не искате да се индексират.