О важности файла robots.txt и его назначении
Что же всё-таки такое файл robots.txt ? Этот маленький, состоящий всего из двух строчек файл, сослужит вам огромную службу, в момент когда вы будете индексировать ваш сайт. Он сделает индексацию корректной и быстрой.
Присутствие этого файла в корневой директории вашего сайта является важным. Данный файл должен быть в наличии не зависимо от того, на каком движке юзается ваш сайт, он обязательно должен быть текстовым с расширением .txt
Наша задача при создании состоит в том, чтобы сайт хорошо индексировался поисковой системой. Вам нужны ваши посетители, и соответственно они должны его находить. А вот чтобы сайт находился, для этого нужно предпринять некоторые меры.
Иначе ваше творение останется на последних рядах в поисковой выдаче, и толку от такого сайта, как понимаете, будет мало.
У любой поисковой системы существует своё , определённое мнение по поводу качества любого сайта. Мы уже рассматривали вопросы пессимизации сайта поисковыми системами.
Так вот, когда робот поисковой системы в очередной раз сканирует Интернет с целью найти новые сайты и переоценки уже ему знакомых, он в первую очередь ищет файл robots.txt. Именно из него, он получает основную инструкцию по поводу, что конкретно нужно подвергать индексации на данном сайте, а что нет.
В этом файле вы сами прописываете указания для робота по поводу того, что нужно индексировать в вашем сайте, а что нет. Ну или подвергаете индексации весь сайт.
Вы должны создать в корне вашего сайта файл robots.txt, со следующим содержанием
User-agent: *
Disallow:
Host: здесь адрес вашего сайта с www или без этого.
Дело в том, что как ни парадоксально, но робот поисковой системы распознавая ваш сайт, будет видеть два сайта с www в адресе и без них, вам надлежит определиться, какой адрес вводить. Можно ввести только один вариант адреса.
Вы создали файл, поместили его в корень вашего сайта. Теперь робот, получив инструкции проходит по всему вашему сайту, индексируя страницы, проверяя ссылки, распознавая контент.
Существует и много других нюансов, которые отражаются в файле robots.txt но на данном этапе мы их касаться не станем.
Поисковая система очень сложная структура, здесь сложно что-либо угадывать. Так что пользуемся уже наработанным опытом и стараемся не повторять чужих ошибок.