Давненько хотел написать пост на эту тему. Казалось бы обычный файл robots.txt, а несёт большую пользу вашему сайту. С его помощью можно запретить к индексации определённые страницы. Зачем это нужно? Да прежде всего так мы запрещаем чтобы индексировались дублирующие страницы.
Кстати, много про данную фишку я не знал пока не зашёл на блог ktonanovenkogo.ru. Интересная там статья на данную тему. Всё расписано по полочкам.
Кстати, был у меня случай, когда сайт никак не хотел входить в поиск. Заходишь в пенель вебмастера, смотришь: загружено столько-то, проиндексировано 1. Долго ломал голову почему, вроде и сайт не ГС, контент уникальный. А как выяснилось ошибка в роботсе была. Была неправильно прописана директива host. С тех пор я внимательнее отношусь к этому)
С уважением, фрилансер-вебмастер Александр Шульгинов
