ПочемусайтнеиндексируетсявЯндексеиGoogle

Сайт не индексируется почти всегда по одной из пяти причин: поисковик о нём не знает, индексация закрыта, сервер отвечает ошибкой, страница признана дублем или малоценной, на сайте есть нарушение. Угадывать не нужно: Яндекс Вебмастер и Google Search Console называют причину для каждой страницы. Новому сайту дайте две недели, это срок из справки Яндекса.

Как проверить, есть ли сайт в поиске

Быстрая проверка: наберите site:ваш-сайт.ru в Яндексе и в Google. Цифра примерная, но видно, есть ли страницы вообще.

Точная проверка в кабинетах:

• Яндекс Вебмастер: «Индексирование → Страницы в поиске», вкладка «Исключённые страницы». Там список адресов с причинами.
• Google Search Console: «Индексирование → Страницы». Конкретный адрес смотрите в «Проверке URL».

Сначала убедитесь, что проблема вообще есть. На одном сайте после запуска SEO-специалист увидел трафик в нулях. Первая причина оказалась бытовой: на новый сайт забыли поставить счётчик. Вторая уже настоящая: старые адреса отдавали 404. Страница может быть в индексе и при этом не показываться по вашему запросу, а это уже вопрос позиций, а не индексации.

Почему сайт не отображается в поиске: порядок проверки

Идите сверху вниз. Каждый следующий шаг имеет смысл, только если прошёл предыдущий.

1. Поисковик знает о сайте. Сайт добавлен в Вебмастер и Search Console, отправлена sitemap, на страницы ведут ссылки.

2. Сервер отвечает 200. Страница с кодом 3XX, 4XX или 5XX в поиск не попадёт. Проверьте инструментом «Проверка ответа сервера» в Вебмастере или командой:

   curl -sI https://site.ru/page/ | grep -iE "^HTTP|x-robots-tag|location"

3. Робота пускают на сайт. Защита от ботов может блокировать робота, а вы из своего браузера этого не увидите. Сравните обычный ответ с ответом на запрос от имени робота:

   curl -sI -A "Mozilla/5.0 (compatible; YandexBot/3.0)" https://site.ru/page/ | head -1

4. Индексация не запрещена. Проверьте robots.txt, метатег robots и заголовок X-Robots-Tag.

5. Canonical ведёт на эту же страницу. Если он указывает на другой адрес, поисковик может убрать эту страницу из выдачи.

6. Нет дублей. Версии с www и без, с http и https, со слэшем и без, с метками в адресе.

7. Страница полезна. На ней есть содержимое, которого нет на других страницах сайта.

8. Нет нарушений. Смотрите раздел «Безопасность и нарушения» в Вебмастере и «Проблемы безопасности» в Search Console. Если там вирус, идите в статью «Сайт взломали».

Отдельная проверка для домена: Яндекс советует убедиться, что он не заблокирован из-за истёкшей регистрации.

Что значат статусы в Вебмастере и Search Console

Названия из справки Яндекса и отчёта Google.

Статус	Что значит	Что делать
Яндекс: страница признана малоценной или маловостребованной	Алгоритм считает, что она вряд ли нужна людям, часто из-за пустоты или дублей	Дополнить или объединить с другой. Само по себе это не санкция
Яндекс: ошибка при загрузке или обработке	Робот получил 3XX, 4XX или 5XX	Вернуть 200 и дождаться нового обхода
Яндекс: запрещено в robots.txt или noindex	Стоит запрет	Убрать запрет
Яндекс: страница не является канонической	В canonical указан другой адрес	Проверить, так ли задумано
Яндекс: адрес сайта признан неглавным	Сайт попал в группу зеркал	Проверить редиректы, при ошибке разгруппировать
Google: обнаружена, не проиндексирована	Адрес известен, но ещё не сканировался	Проверить скорость сервера и внутренние ссылки
Google: просканирована, но пока не проиндексирована	Загружена, в индекс не взята	Улучшить страницу. Повторный запрос не нужен
Google: страница содержит директиву noindex	Запрет в коде или заголовке	Убрать, если страница нужна
Google: страница является копией	Google считает её дублем другой	Указать canonical или сделать содержимое другим

После исправления отправьте адрес на переобход. По справке Яндекса страница может вернуться в течение двух недель.

Чем robots.txt отличается от noindex

robots.txt запрещает роботу заходить на страницу. noindex запрещает показывать её в поиске. Это разные вещи, и из-за этого возникает ловушка: если страница закрыта в robots.txt, робот не прочитает noindex на ней.

Google пишет прямо: такая страница может попасть в выдачу по ссылкам с других сайтов. Яндекс тоже не применяет метатег и заголовок на странице, закрытой в robots.txt. Хотите убрать страницу из поиска, откройте её для робота и поставьте noindex.

И одна строка, из-за которой сайт исчезает целиком. Разница между закрытым и открытым сайтом в одном символе:

# Закрыт весь сайт
User-agent: *
Disallow: /

# Открыт весь сайт: значение пустое
User-agent: *
Disallow:

Метатег выглядит так, ищите его в коде страницы:

<meta name="robots" content="noindex">

X-Robots-Tag: запрет, которого не видно на странице

Запрет можно передать не в коде страницы, а в заголовке ответа сервера. Откроете исходный код, увидите чистую страницу, а поисковик увидит это:

HTTP/1.1 200 OK
X-Robots-Tag: noindex

Такой заголовок может стоять в конфиге сервера, в плагине или настройках CMS. Показать его может только проверка заголовков: команда из второго шага или инструменты кабинетов.

У меня был обратный случай. Для юридической компании я делал плагин, который закрывал нужные страницы от индексации отдельно для Яндекса и Google. Заказчик сам заметил нестыковку: обычная галочка в админке закрывала страницу, и Search Console сразу это показывал, а с моим плагином Google считал страницу открытой. Плагин работал не так, как я думал. В тот же день нашёл ошибку, и плагин стал отдавать запрет и в заголовках, и в тегах. Заказчик проверил и написал, что работает.

Вывод простой: настройку индексации проверяйте инструментом поисковика, а не глазами в админке.

Ещё деталь для тех, кто настраивает запреты по роботам. Если правила противоречат друг другу, Google применяет более строгое, а Яндекс разрешающее.

Где прячется запрет индексации в WordPress, Тильде и Битриксе

Где	Куда смотреть
WordPress	«Настройки → Чтение», галочка «Попросить поисковые системы не индексировать сайт». Затем настройки SEO-плагина
Тильда, весь сайт	«Настройки сайта → SEO», опция «Запретить поисковикам индексировать сайт». Закрытый паролем сайт робот тоже не увидит
Тильда, страница	«Настройки страницы → SEO → Отображение в поисковой выдаче»
Битрикс	«Маркетинг → Поисковая оптимизация → Настройка robots.txt» и настройки шаблона
Любой сайт после тестового сервера	Запреты, которые стояли на копии. Перед запуском их надо снять

Если вы только что переехали на новый домен, проверьте ещё и редиректы: порядок есть в статье про перенос сайта.

Робот не находит страницы: ссылки и JavaScript

Страница может быть открыта для индексации, но до неё никто не дойдёт.

На L’TERRIAS до сентября 2026 витрина каталога не ссылалась на товары обычными ссылками. Адрес лежал в отдельном атрибуте, а переход делал скрипт. Посетитель нажимал и попадал в карточку, а для робота ссылки там не было. Названия модели тоже не было ни в карточке каталога, ни в тексте страницы товара. Вернули обычные ссылки и названия. Подробнее о магазине в кейсе L’TERRIAS.

Проверяется просто: откройте исходный код страницы, не панель разработчика, и найдите адрес товара в теге <a href>. На страницы без внутренних ссылок робот попадает только из sitemap и внешних источников.

Canonical и дубли: почему страница есть, а в поиск не попадает

Дубль это один и тот же текст по разным адресам. Поисковик выбирает один адрес, остальные исключает.

Откуда они берутся:

• Версии с www и без, с http и https. Закрываются 301 редиректом.
• Метки и параметры в адресе. Для Яндекса есть директива Clean-param в robots.txt.
• Копия сайта на втором домене. На одном проекте новый домен уже работал, а редиректов со старого ещё не было. SEO-специалист сразу увидел то же, что увидит поисковик: дубль сайта целиком.
• Несуществующие адреса с кодом 200. На одном из сайтов несуществующая статья открывала список статей и отвечала 200, а не 404. Я заметил это попутно, при другой правке. Такие адреса поисковик может принять за дубли, поэтому отдавать надо 404.
• Архивы и служебные разделы. На L’TERRIAS сами детали были закрыты, а их архивы открыты, и canonical на архивах не было. Закрыл их noindex,follow, добавил canonical, в robots.txt поставил Clean-param.

Для Яндекса canonical это рекомендация, а не приказ: если страницы заметно отличаются, робот может его проигнорировать. Адрес на другом домене или поддомене он не учитывает вовсе, поэтому при переезде canonical редирект не заменит.

Как добавить сайт в Яндекс Вебмастер и Search Console

Яндекс Вебмастер

1. Войдите с Яндекс ID, нажмите «Добавить сайт» и укажите адрес. Адреса с www и без считаются разными сайтами, выбирайте нужный вариант сразу.
2. Подтвердите права: HTML-файл в корне, метатег или DNS-запись.
3. Откройте «Индексирование → Файлы Sitemap» и добавьте карту сайта.
4. Отправьте важные страницы через переобход. Число заявок ограничено суточной квотой, лимит показан в самом инструменте.
5. Если стоит Метрика, включите обход по счётчикам.
6. Для большого сайта есть IndexNow: до 10 000 адресов за раз, причём сообщение получат и другие поисковики.

Google Search Console

1. Добавьте ресурс «Домен» с подтверждением через DNS. Он сразу покрывает все варианты адреса.
2. Отправьте sitemap в разделе «Файлы Sitemap».
3. Для отдельных страниц: «Проверка URL», затем запрос индексирования. Есть квота, а повторные запросы по одному адресу не ускоряют сканирование.

Сколько индексируется новый сайт и что важно молодому домену

Яндекс: сайт, добавленный в Вебмастер, может появиться в поиске в течение двух недель. Если нет, проверьте robots.txt, метатеги, доступность сервера. Google говорит о сроке от нескольких дней до нескольких недель.

Сверяйтесь с календарём. В октябре 2026 у Яндекса был крупный сбой: около 11 октября робот почти перестал обходить сайты, к 13 октября начал возвращаться, а Вебмастер восстанавливался дольше. Заявления о полном восстановлении я не нашёл. Если ваши даты попали на эти недели, сначала посмотрите статистику обхода в Вебмастере.

Индекс не значит позиции. По исследованию Ahrefs 2025 года только 1,74% случайной выборки новых страниц попали в топ-10 Google за год, а в выборке с непустым англоязычным контентом 6,11%. При этом 72,9% страниц в топ-10 старше трёх лет. По Яндексу таких данных я не нашёл. Мой собственный домен новый, и для себя я закладываю 6–12 месяцев до устойчивого потока из поиска. Это ориентир, а не обещание.

Что делаю для молодого домена:

• Домен в .ru, HTTPS, хостинг в России, быстрая мобильная версия. Про скорость отдельная статья: как ускорить сайт.
• Несколько страниц услуг с реальными примерами вместо десятков пустых.
• Внутренние ссылки по цепочке: статья, услуга, кейс.
• Страница автора: фото, имя, опыт, профили.
• Цены, состав работ, сроки, реквизиты, контакты на виду.
• Регион сайта в Вебмастере и Яндекс Бизнес.
• Упоминания на профильных площадках. Покупать ссылки и накручивать поведение не надо.

Когда звать специалиста

Сами вы можете проверить кабинеты, robots.txt, галочки в CMS и отправить sitemap. На простом сайте этого часто хватает.

Разработчик нужен, если запрет стоит на уровне сервера, страницы отвечают ошибками только роботу, контент подгружается скриптами, в кабинетах тысячи дублей или сайт недавно переехал.

Разбор стоит 3 000 ₽: смотрю сервер и код, называю причину и цену исправления, сумма идёт в зачёт работы. Дальше от 2 500 ₽ в час. Подробнее на странице доработки и поддержки. Если нужен первый взгляд, пришлите адрес и что показывает Вебмастер на бесплатный разбор.