Как создать robots.txt и зачем это нужно

Продуктивность взаимодействия интернет-ресурса с поисковыми роботами во многом зависит не только от работ по оптимизации, но и от того, насколько внимательная работа ведется со структурой сайта и необходимыми системными файлами. Одним из них является robots.txt. Это текстовый файл, который содержит в себе настройки, регулирующие работу поисковых роботов.

Смотрите полный видеокурс на iTunes

Что такое robots.txt

Безусловно, прежде чем разобраться, как создать robots.txt, необходимо получить четке представление об основных функциях этого файла. Прежде всего, это обеспечение конфиденциальности. При помощи данного файла осуществляется запрет на индексацию одних страниц и, наоборот, открывается доступ к страницам, которые необходимо индексировать. В файле robots.txt прописываются настройки, которые перечисляют «запретные» и открытые к индексации страницы. Также данный файл регулирует и другие параметры.

Как создать robots.txt

Самым простым ответом на вопрос, как создать robots.txt, будет – при помощи текстового редактора. Отчасти, это соответствует действительности. Файл на самом деле создается при помощи блокнота или любой другой программы, создающей текстовые файлы, сохраняется под названием robots.txt в корневом каталоге сайта и действительно появляется в структуре интернет-ресурса. Тем не менее, основное значение имеет то, насколько верно прописаны содержащиеся в этом файле настройки.

Настройка robots.txt

Прописываемые в файле параметры называются директивами. Чтобы узнать, как создать robots.txt, необходимо знать их значение. Самыми главными из них являются директивы User-agent и Disallow. User-agent определяет то, какому именно поисковому роботу отдаются команды по индексации, а Disallow закрывает доступ к тем или иным страницам сайта. Чтобы открыть доступ, необходимо заменить команду Disallow на Allow. Существуют и другие директивы для файла robots.txt.

Дополнительные директивы для robots.txt

Директива Host актуальна для интернет-ресурсов, имеющих несколько зеркал. Она указывает поисковому роботу путь к основному ресурсу, который должен отображаться в выдаче. Sitemap – директива, которая указывает путь к файлу с картой сайта и сведениях о частоте обновления и приоритете индексации страниц. Crawl-delay – это директива, необходимая для сайтов, содержащих в себе большое количество страниц. Она создает задержку между загрузкой страниц поисковым роботом. Request-rate — директива, благодаря которой можно определить периодичность загрузки роботом страниц, а Visit-time позволяет определить промежуток во времени, когда ваш сайт доступен для индексации.