Robots.txt. Нужен ли?

Давненько хотел написать пост на эту тему. Казалось бы обычный файл robots.txt, а несёт большую пользу вашему сайту. С его помощью можно запретить к индексации определённые страницы. Зачем это нужно? Да прежде всего так мы запрещаем чтобы индексировались дублирующие страницы.

Кстати, много про данную фишку я не знал пока не зашёл на блог ktonanovenkogo.ru. Интересная там статья на данную тему. Всё расписано по полочкам.

Кстати, был у меня случай, когда сайт никак не хотел входить в поиск. Заходишь в пенель вебмастера, смотришь: загружено столько-то, проиндексировано 1. Долго ломал голову почему, вроде и сайт не ГС, контент уникальный. А как выяснилось ошибка в роботсе была. Была неправильно прописана директива host. С тех пор я внимательнее отношусь к этому)

С уважением, фрилансер-вебмастер Александр Шульгинов

Подпишитесь на рассылку

Чтобы быть в курсе обновлений блога, новостей по вордпресс и сайтостроительству

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Заполните поле
Заполните поле
Пожалуйста, введите корректный адрес email.

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Обо мне

Работаю с сайтами с 2010 года.
Более 500 выполненных проектов
Специализируюсь преимущественно на сайтах-визитках, блогах и небольших интернет магазинах.
Подробнее

Хостинг ХостиЯ


Меню