Индексация

Как это работает

Робот обходит сайт, скачивает страницы и решает, добавлять ли их в базу. Дальше страница участвует в ранжировании. Между публикацией и появлением в выдаче проходит от нескольких часов до нескольких недель.

Чем управляют индексацией

Файл robots.txt говорит, куда роботу не ходить. Карта сайта перечисляет страницы, которые стоит обойти. Метатег robots и заголовок ответа закрывают отдельные страницы. Канонический адрес указывает главную версию среди похожих.

Что закрывают от индексации

Корзину и оформление заказа. Внутренний поиск. Страницы сортировки. Технические разделы и копии сайта для разработки. Открытая тестовая копия это классическая авария: поисковик находит второй такой же сайт и понижает оба.

Почему страницы не индексируются

Закрыты в robots.txt по ошибке. Нет ссылок на страницу с сайта. Слишком мало содержимого, и робот считает страницу бесполезной. Медленный ответ сервера. Дубли, из которых выбрана другая версия.

Как проверить

В панели вебмастера видно число загруженных и включённых в поиск страниц. Разрыв между ними это и есть проблема. Точечно проверяют оператором site: и адресом страницы.

Что делать при переезде

Готовят постраничную карту переадресаций, сохраняют старые адреса рабочими и следят за индексацией нового сайта две-три недели. Проседание на этот срок нормально, потеря половины трафика на два месяца уже нет.

Сколько страниц должно быть в индексе

Столько, сколько у вас полезных страниц. Если сайт на двести страниц, а в индексе двенадцать тысяч, значит, каталог порождает дубли фильтрами и сортировкой. Обратная ситуация, когда из тысячи карточек проиндексирована сотня, обычно означает медленный сервер или слабую перелинковку.