Если робот не может дойти до нужных разделов, ни один запрос туда не приведёт. Начни с анализа файла robots.txt и мета-тегов robots – убедись, что нужные страницы не закрыты от индексации случайно. Часто блокируют всё подряд на этапе разработки и забывают снять ограничения.
Следующий шаг – проверить код ответа сервера. Страницы с ошибкой 404 или 500 не попадают в индекс и снижают общее качество ресурса. Обрати внимание на редиректы: цепочки из нескольких переходов замедляют загрузку и мешают сканированию. Используй 301, а не 302, если адрес изменился навсегда.
Не пропусти дубликаты. Идентичные страницы с разными адресами (например, с www и без, с слэшем на конце и без) создают конкуренцию внутри ресурса. Настрой канонические теги или переадресацию, чтобы склеить одинаковые версии.
Проверь скорость загрузки. Если страница грузится дольше 2–3 секунд, роботы могут не дойти до конца, особенно при большом объёме. Используй кеширование, сжатие изображений и минимизацию скриптов, чтобы ускорить процесс. Это напрямую влияет на видимость.
Как определить, какие страницы не индексируются поисковыми системами
Сначала проверь статус страниц через оператор site: в Google. Введите site:example.com/имя-страницы и посмотрите, отображается ли страница в результатах. Если нет – она не индексируется.
Используй Google Search Console
Перейди в раздел «Страницы» → «Не индексируется». Там есть конкретные причины: «Страница с тегом noindex», «Недопустимая страница в файле robots.txt», «Ошибка 404» или «Дублирующий контент без канонического URL». Каждую причину нужно анализировать отдельно.
Проверь с помощью Screaming Frog
Сделай краулинг и включи интеграцию с Google Search Console и Google Analytics. В колонке «Indexability» отфильтруй всё, что помечено как «Noindex» или «Blocked by Robots.txt». Дополнительно проверь столбцы «Status Code» и «Canonical Link Element» – редиректы и неправильные каноникал-ссылки тоже мешают индексации.
Чтобы быстро найти страницы без посещений, сверь логи сервера или данные из GA – если поисковики их не посещают, вероятно, они и не индексируются.
Проверка технических ошибок: битые ссылки, дубликаты страниц и ошибки в robots.txt
Сначала проверь все внутренние и внешние ссылки – мёртвые URL’ы тормозят индексацию и создают плохое впечатление. Используй Screaming Frog или Netpeak Spider: они покажут статус-коды 404 и 5xx. Не оставляй битые ссылки – либо замени на рабочие, либо убери совсем.
Дубликаты страниц
Одинаковый контент по разным адресам размывает релевантность и мешает поисковым системам выбрать нужный URL. Проверяй наличие канонических тегов (<link rel="canonical">) и настрой редиректы. Типовые дубликаты – страницы с параметрами, версии с www и без, с https и http. Их нужно объединить через 301 редирект или закрыть от индексации через robots.txt.
Ошибки в robots.txt
Открой файл robots.txt и проверь, не перекрывает ли он доступ к важным разделам. Часто блокируют папки с нужными страницами или запрещают индексацию скриптов и стилей, из-за чего контент отображается некорректно. Для проверки используй инструмент в Google Search Console – он сразу покажет, что именно закрыто от роботов.
Не забудь про директиву Disallow: – она должна быть максимально точной. Например, Disallow: /search ограничит индексацию только поиска, а не всего сайта. И проверь, нет ли случайных ошибок в синтаксисе – даже один лишний символ может заблокировать всё ненароком.
Анализ SEO-меток: как выявить проблемы с заголовками, описаниями и заголовками H1
Проверь длину title и description – заголовки до 60 символов, описания до 160. Всё, что длиннее, обрезается в выдаче. Используй инструменты вроде Screaming Frog или Netpeak Spider – они покажут превышения сразу.
Убедись, что title уникален на каждой странице. Повторы сбивают поисковые системы и снижают релевантность. Один и тот же заголовок на десятке страниц – гарантия потери позиций.
Description не влияет напрямую на ранжирование, но влияет на кликабельность. Без него поисковик подставит случайный текст. Лучше самому коротко и чётко описать суть страницы с акцентом на выгоды для пользователя.
H1 должен быть только один. Используется как основной заголовок контента. Если на странице несколько H1 – это нарушает иерархию. Проверь структуру через DevTools или тот же Screaming Frog.
Следи за совпадениями H1 и title. Они могут быть похожи, но не обязаны быть идентичны. Лучше, чтобы дополняли друг друга: title – для поисковика, H1 – для человека.
Не пиши шаблонные тайтлы вроде “Главная” или “О компании”. Это теряет смысл и не помогает выделиться. Заголовок должен отражать суть страницы и содержать ключевые фразы – но без переспама.
Пустые мета-теги – критическая недоработка. Даже если страница не продвигается, она всё равно участвует в индексации. Без мета-информации поисковик гадает, о чём она, и чаще всего – мимо.
Совет: выгрузи список URL с мета-данными, отсортируй по дублирующимся и пустым строкам. Это даёт наглядную картину проблем за минуту.