Страниц нет в поиске: 9 причин, почему сайт не индексируется, и что с этим делать

Коротко: страница не появится в поиске, если робот до неё не дошёл, не смог обработать или решил, что её не стоит добавлять в индекс. Причины по частоте: закрытие в robots.txt и noindex, неправильный canonical, контент, который отрисовывается только в браузере, дубли, слабое содержимое и просто молодой сайт. Диагностика начинается с двух отчётов: «Индексирование страниц» в Google Search Console и «Страницы в поиске» в Яндекс.Вебмастере. Отправка на переобход помогает только тогда, когда причина уже устранена.

Разберём по порядку.

Сначала проверьте, в индексе ли страница

Три способа, от быстрого к точному:

1. Оператор site: — введите в поиске site:вашсайт.by/адрес-страницы. Быстро, но результат приблизительный.
2. Google Search Console → Проверка URL (строка поиска сверху). Показывает, есть ли страница в индексе, когда её сканировали, какой канонический адрес выбрал Google и что он видит в отрендеренном HTML.
3. Яндекс.Вебмастер → Индексирование → Проверить статус URL. Отвечает, обходил ли робот страницу, попала ли она в поиск и по какой причине исключена. Ответ приходит не мгновенно: запрос становится в очередь.

Отчёты по сайту целиком: в Search Console это «Индексирование страниц» (раньше он назывался «Покрытие»), в Вебмастере — «Индексирование» → «Страницы в поиске», вкладка «Исключённые». Там же видно историю: когда страницы уходили из поиска и почему.

Дальше — причины.

1. Страница закрыта в robots.txt

Самая грубая и самая частая ошибка, особенно после переноса сайта с тестового домена. Директива Disallow запрещает роботу сканировать страницу.

Важный нюанс: robots.txt запрещает сканирование, но не гарантирует исключение из поиска. Google может показать закрытый адрес в выдаче без описания, если на него ведут ссылки. И наоборот: если страница закрыта в robots.txt, робот не увидит стоящий на ней noindex — и потому не сможет её удалить.

Как проверить: откройте вашсайт.by/robots.txt, найдите директивы Disallow. В Search Console статус будет «Проиндексировано, несмотря на блокировку в файле robots.txt» или «Заблокировано в robots.txt».

2. Метатег noindex или заголовок X-Robots-Tag

<meta name="robots" content="noindex"> в коде страницы или HTTP-заголовок X-Robots-Tag: noindex — прямое указание не добавлять страницу в индекс.

Откуда он берётся чаще всего: остался после разработки, выставлен плагином SEO, включён глобально «на время переноса» и забыт.

Как проверить: посмотрите исходный код страницы (Ctrl+U) и поищите «noindex». Заголовки ответа проверяются в панели разработчика на вкладке Network или командой curl -I адрес. Отчёт в Search Console назовёт это «Исключено по тегу noindex».

3. Canonical указывает на другую страницу

Тег <link rel="canonical"> говорит поисковику, какой адрес считать основным. Если он указывает на другую страницу, поисковик считает текущую дублем и в индекс не берёт.

Типичный пример из практики с Next.js: canonical задан в корневом layout один раз и наследуется всеми страницами. В результате каждая статья блога заявляет, что её канонический адрес — главная, и весь блог выпадает из поиска. То же самое бывает при неверной настройке плагинов в WordPress.

Как проверить: в коде страницы найдите rel="canonical" и убедитесь, что адрес ведёт на неё же. В Search Console сравните строки «Канонический URL, указанный пользователем» и «Канонический URL, выбранный Google». В Вебмастере такие страницы попадают в исключённые со статусом «Дубль».

Массово это удобно проверять Screaming Frog или Netpeak Spider: они показывают canonical для всех страниц сразу.

4. Контент подгружается только в браузере

Если текст, меню или карточки товаров появляются только после выполнения JavaScript, робот может увидеть пустую страницу. Google рендерит JavaScript, но делает это в отдельной, более медленной очереди, а Яндекс с этим справляется хуже.

Как проверить: в Search Console откройте «Проверка URL» → «Проверить страницу на сайте» → «Посмотреть протестированную страницу» → HTML. Если в отрендеренном коде нет основного текста, проблема здесь.

Решение: серверный рендеринг или генерация статики. Для Next.js это серверные компоненты и SSG, для SPA — предрендер важных страниц.

5. Дубли и мусорные страницы

Фильтры каталога, сортировки, UTM-метки, пагинация, один и тот же товар в разных категориях — всё это порождает десятки почти одинаковых адресов. Поисковик выбирает из них один, остальные исключает, а заодно тратит на них краулинговый бюджет, который мог бы уйти на важные страницы.

Что делать: закрыть служебные параметры в robots.txt, поставить корректные canonical на страницы фильтров, следить, чтобы один материал был доступен по одному адресу, настроить редиректы со слешем и без, с www и без.

6. Поисковик решил, что страница недостаточно полезна

Технически всё в порядке, но страница не индексируется. В Search Console это статус «Страница просканирована, но пока не проиндексирована», в Вебмастере — исключение «Недостаточно качественная страница».

Обычно за этим стоит одно из трёх: содержимое почти дублирует другие страницы сайта, страница не отвечает ни на один реальный запрос или текст написан «для поисковика» и не несёт ничего нового.

Важно: повторная отправка такой страницы на переобход ничего не даст. Google прямо пишет, что многократные запросы индексирования не ускоряют процесс. Пока содержимое не изменилось, вердикт будет тем же. Здесь нужно переписывать страницу, объединять её с другой или убирать.

Это особенно касается массово сгенерированных текстов: десятки однотипных страниц «услуга + город», отличающихся только названием города, индексируются плохо.

7. Сервер отвечает ошибками или слишком медленно

Коды 5xx, таймауты, страницы, отдающие 200 OK вместо 404 (так называемая «мягкая 404»), нестабильный хостинг — всё это заставляет робота сокращать число обращений к сайту.

Как проверить: в Вебмастере есть отчёт «Статистика обхода», в Search Console — «Статистика сканирования» в настройках. Там видны коды ответов и динамика обращений робота.

8. На страницу не ведёт ни одна ссылка

Робот находит страницы по ссылкам и по sitemap. Страница, на которую нет ни одной внутренней ссылки, обнаруживается плохо, даже если она есть в карте сайта.

Что делать: проверьте, что страница доступна из меню, из каталога или из статьи. Проверьте сам sitemap: он должен содержать только канонические адреса, отдающие код 200, с актуальными датами lastmod, и быть указан в robots.txt. Один файл вмещает до 50 000 адресов и не более 50 МБ — большие сайты разбивают карту на несколько файлов с индексным sitemap.

9. Сайт или страница просто новые

Для нового сайта попадание в индекс может занять от нескольких дней до пары недель. Это нормально. Прежде чем искать техническую причину, убедитесь, что сайт добавлен и подтверждён в Яндекс.Вебмастере и Google Search Console, а карта сайта отправлена.

Как ускорить индексацию

Когда причина устранена, дайте роботам знать об изменениях:

• Яндекс.Вебмастер → Индексирование → Переобход страниц. Суточная квота зависит от сайта и видна в интерфейсе. Обычно страница переобходится за несколько дней.
• Google Search Console → Проверка URL → Запросить индексирование. По одному адресу за раз, с дневным лимитом.
• IndexNow — протокол мгновенного уведомления об изменениях. Его поддерживают Яндекс и Bing; Google его не использует. Для сайтов с частыми обновлениями это самый быстрый путь.
• Свежие ссылки на страницу — из меню, из других материалов сайта, из соцсетей и каналов.

Чего делать не стоит: покупать «прогоны по базам сайтов» и сервисы массовой индексации сомнительного происхождения. К странице, которую поисковик счёл слабой, это ничего не добавит. Google Indexing API, о котором часто пишут, официально предназначен только для вакансий и трансляций, а не для произвольных страниц.

Порядок диагностики: короткий чек-лист

1. Страница открывается и отдаёт код 200.
2. Не закрыта в robots.txt.
3. Нет noindex в коде и в заголовках ответа.
4. Canonical указывает на неё саму.
5. В отрендеренном HTML есть основной контент.
6. Страница есть в sitemap, и на неё ведут внутренние ссылки.
7. Содержимое уникально и отвечает на конкретный запрос.
8. Сервер отвечает без ошибок.
9. Только после этого — отправка на переобход.

Более широкую проверку сайта — от скорости до текстов — мы разбирали в статье «SEO-аудит сайта за 10 шагов».

Что изменилось за последние годы

Два наблюдения, которые стоит учитывать.

Поисковики стали избирательнее. Раньше в индекс попадало почти всё, что удалось просканировать. Сейчас и Google, и Яндекс регулярно отказывают в индексации страницам, которые не добавляют ничего нового. Массовая генерация текстов превратилась из способа набрать трафик в способ получить сайт, половина которого не в индексе.

Индекс перестал быть конечной целью. Всё больше ответов люди получают прямо в выдаче и в нейросетях. Но попадание в индекс по-прежнему первое условие: страница, которой нет в индексе, не появится ни в обычной выдаче, ни в ответе ИИ-поиска. О том, как работать со вторым этапом, — в статье «Клиент больше не гуглит. Он спрашивает у нейросети».

Частые вопросы

Сколько времени занимает индексация нового сайта? От нескольких дней до пары недель при условии, что сайт добавлен в Вебмастер и Search Console, открыт для роботов и у него есть карта сайта.

Почему Google пишет «Страница просканирована, но пока не проиндексирована»? Робот дошёл до страницы, но не счёл её достаточно ценной для индекса. Повторные запросы индексирования не помогут: нужно улучшать само содержимое или объединять страницу с более полной.

Как закрыть страницу от индексации правильно? Метатегом noindex, оставив страницу открытой для сканирования в robots.txt. Если закрыть её в robots.txt, робот не увидит noindex и может оставить адрес в выдаче.

Помогают ли сервисы принудительной индексации? Для страниц, которые не индексируются из-за качества или технических ошибок, — нет. Сначала устраняется причина, и только потом имеет смысл ускорять переобход штатными инструментами.

Как быстро сообщить поисковику об обновлении страницы? Переобход в Вебмастере, запрос индексирования в Search Console, IndexNow для Яндекса и Bing.

Часть страниц вашего сайта не в поиске? Оставьте заявку — найдём причину и скажем, что исправить. Подробнее об услуге — на странице SEO-продвижения.

Остались вопросы?

Обсудим ваш проект, рассчитаем стоимость и ответим на все вопросы.

Похожие статьи