Большинство современных сайтов построено с помощью систем управления контентом или, проще говоря, "движков". Ключевой особенностью таких систем является то, что страницы такого сайта создаются динамически на основе шаблонов и информации из базы данных. Такой подход обеспечивает очень гибкое и удобное управление сайтом, но при этом сайт будет содержать различного рода служебные файлы. Например, php скрипты, конфигурационные файлы, файлы шаблонов. Эти файлы невидимы для обычного пользователя (если он использует только ссылки размещённые на самом сайте), но могут быть проиндексированы поисковыми роботами.



Индексация таких файлов крайне не желательна, т.к. они не содержат вообще никакой полезной информации (тексты статей, комментарии и т.п. обычно находятся в базе данных), а трафик потребляется.



Файл robots.txt содержит набор правил, которые позволяют закрыть любые служебные каталоги сайта для индексирования.



Подходить к созданию такого файла нужно очень внимательно, т.к. можно легко скрыть страницы с полезным контентом.



В первую очередь можно поискать готовый файл robots.txt для вашего движка (для wordpress я нашел штук 5 разных файлов). После этого, проверьте, что все ко всем каталогам со служебными файлами закрыт доступ.



Следующим этапом будет проверка синтаксиса файла. Её удобно выполнять с помощью службы Яндекса (http://www.yandex.ru/cgi-bin/test-robots).



Теперь самое главное. Нужно проверить, что все страницы нашего сайта доступны для роботов. Тут удобно использовать службу Google webmasters tools (https://www.google.com/webmasters/tools/siteoverview?hl=ru). Для её использования вам придётся создать аккаунт и подтвердить право собственности на сайт (для этого нужно разместить файл со специальным именем в корне сайта).



Советую почитать "Все о файле robots.txt" и статью "Как проверить файл robots.txt".



Вот и все. Успешного "сайтостроительства".