Создание файла robot.txt
Файл robots.txt - важная деталь, забывать о которой не стоит. Для чего он нужен?
Во-первых, иногда поисковые боты, заходящие на ваш сайт и не находя этот файлик, могут просто ничего не проиндексировать, а во-вторых, иногда бывает нужно просто скрыть от них кое-какие элементы нашего сайта. Зачем нужно что-то скрывать и как это делать, см. другую статью в этом же разделе - сейчас же будет объясненно, как составить файл robots.txt с таким расчетом, что б все было открыто и не возникло проблем с индексацией каждой страницы.
Для начала отметим, что сам файл robots.txt должен находиться в корневом каталоге сайта на сервере. Расположение его в других каталогах не даст никакого эффекта - бот его не найдет. Само имя файла должно писаться в нижнем регистре, т.е. состоять из строчных букв. Формирование содержания файла представляет из себя перечень команд, каждая из которых умещается в две строки. Первая строка - это имя поискового бота, вторая - каталоги, которые мы хотим закрыть. Поскольку мы закрывать ничего не собираемся, а, наоборот, стремимся привлечь как можно больше ботов и при этом хотим, что б они проиндексировали все что только возможно, то наш файл будет выглядеть очень просто и симпатично, а именно:
User-agent: * Disallow:
user-agent и звездочка после двоеточия говорит, что мы обращаемся ко всем ботам, а disallow c двоеточием, после которого пустота (т.е. отсутствие запретов) означает, что у нас открыты все директории для индексации. Все просто. Полезно сделать такой файлик и вывесить его на сервере.
Рекомендуем почитать
