ТехSEO почти всегда вспоминают слишком поздно. Обычно после того, как контент написан, ссылки куплены, бюджет на рекламу потрачен, а органика так и не растет. И причина часто не в «плохих ключах», а в том, что поисковик банально не может нормально обойти, понять и проиндексировать сайт.

Ниже разберем частые технические поломки, которые реально режут индексацию. Без мифов. С приоритетами, симптомами и тем, как мы это диагностируем в BlueWhite Agency.

Как понять, что проблема именно в индексации, а не в контенте

Типовые симптомы:

  • Страницы опубликованы, но не появляются в поиске неделями.
  • В Google Search Console (GSC) растет блок Discovered, currently not indexed или Crawled, currently not indexed.
  • В индексе мусор (параметры, дубли), а важные страницы отсутствуют.
  • Резкое падение количества проиндексированных URL после релиза.
  • По логам видно, что Googlebot почти не ходит на ключевые разделы.

Техническая индексация это база. Если база сломана, дальше бессмысленно обсуждать «SEO-тексты» и «внешние ссылки».

1) robots.txt блокирует нужное (и вы об этом не знаете)

Самая частая и самая дорогая ошибка. Потому что она может полностью отключить индексацию раздела, и вы будете месяцами оптимизировать то, что бот даже не видит.

Что ломает индексацию:

  • Disallow: / на проде после разработки.
  • Блокировка /catalog/, /blog/, /services/ «на время», которая осталась навсегда.
  • Блокировка CSS/JS, из-за чего Google рендерит страницу криво и неверно интерпретирует контент.
  • Слишком широкие правила (например, Disallow: /*?), которые режут и канонические URL.

Что проверять:

  • GSC → robots.txt Tester
  • Параллельно вручную: https://site.com/robots.txt
  • Важно: robots может отличаться по поддоменам и протоколам (http/https).

2) meta robots / X-Robots-Tag ставит noindex там, где нужно rank

Частая история: CMS/плагин/шаблон ставит noindex, nofollow на шаблон категории, пагинацию, фильтры, иногда даже на весь сайт при переключении окружения.

Где это обычно прячется:

  • <meta name="robots" content="noindex">
  • HTTP-заголовок X-Robots-Tag: noindex (часто на PDF, на медиа, на whole path через серверные правила)

Как ловим:

  • Проверка заголовков (curl, DevTools)
  • GSC → URL Inspection → Coverage/Indexing → «Indexing allowed?»

3) Каноникал ведет не туда (или конфликтует с редиректами)

rel="canonical" это сигнал, и если он ошибочный, вы сами просите Google игнорировать страницу.

Типовые ошибки:

  • Каноникал на главную со всех страниц (шаблонный баг).
  • Каноникал указывает на URL с параметрами.
  • Каноникал указывает на страницу, которая 301-редиректит (каноникал должен ссылаться на финальный 200 URL).
  • Каноникал на другой язык/регион (особенно на мультиязычных сайтах).

Побочный эффект: вы видите «страница просканирована, но выбрана другая каноническая».

4) Неправильные редиректы: цепочки, петли, массовые 302

Когда миграция, релиз или смена структуры делаются «быстро», редиректы часто превращаются в хаос.

Что убивает индексацию:

  • Цепочки 301 (A → B → C). Бот тратит crawl budget, часть сигналов теряется.
  • Петли редиректов (A → B → A).
  • 302 вместо 301 при постоянном переносе.
  • Массовые редиректы на нерелевантные страницы (soft 404 по сути).

Норма:

  • 1 шаг редиректа, финальная страница отдает 200.
  • Редирект соответствует смыслу (товар → аналог/категория, статья → статья).

5) Soft 404: страница «есть», но поисковик считает ее пустой

Soft 404 это когда сервер возвращает 200, но по факту контента нет или он «не выглядит как нормальная страница».

Классика:

  • Пустые категории.
  • Тонкие страницы товаров без описания, без наличия, без уникальных данных.
  • Страницы «ничего не найдено» с кодом 200.
  • Служебные страницы, которые выглядят как ошибка, но отдают 200.

Диагностика:

  • GSC → Pages → Soft 404
  • Логи + шаблонные проверки выдачи

6) Дубли: параметры, сортировки, фильтры, пагинация

Поисковик любит чистую структуру. А бизнес любит фильтры, сортировки, UTM и параметры. В итоге индекс забивается тысячами дублей, а важные страницы недополучают обход и веса.

Основные источники дублей:

  • ?sort=, ?filter=, ?page=, ?utm=
  • Несколько URL для одного и того же товара: /product и /product/
  • Разные регистры, транслит, хвосты
  • Теги/метки в блогах, которые создают тонны слабых страниц

Что делаем в нормальном ТехSEO:

  • Правила каноникализации
  • Управление параметрами
  • noindex там, где это оправдано
  • Чистая внутренняя перелинковка только на канонические URL
  • Опционально: отдельные indexable страницы под высокочастотные фильтры (но это уже стратегия, не «поставить noindex на все»)

7) Внутренняя перелинковка не ведет бота к важному

Индексация ломается не только запретами. Она ломается тем, что бот не может нормально найти страницы, либо до них слишком далеко.

Типовые проблемы:

  • Важные страницы доступны только через поиск по сайту (не через ссылки).
  • Ссылки спрятаны за JS без SSR, и бот не всегда их вытаскивает.
  • Слишком глубокая вложенность (5–7 кликов от главной).
  • «Сироты» (orphan pages): страницы есть, но на них нет внутренних ссылок.

Простой принцип: если пользователь не может дойти до страницы кликами, бот тоже может ее не «понять» как важную.

8) JS-рендеринг без контроля: бот видит не то, что вы видите

Если сайт на React/Vue/Next/Nuxt, риск индексационных проблем выше. Не потому что «Google не умеет JS», а потому что:

  • рендеринг может быть отложенным,
  • контент грузится после интерактивных событий,
  • API иногда блокирует ботов,
  • шаблоны отдают пустой HTML и требуют рендера.

Что важно:

  • Важный контент и ссылки должны быть доступны в HTML (SSR/пререндер).
  • Title/Description/H1 должны быть на сервере.
  • Стабильные коды ответов и отсутствие «скелетонов», которые выглядят как пустая страница.

9) Sitemap.xml сделан формально и мешает, а не помогает

Sitemap это не «галочка». Это инструмент управления обходом. Если он грязный, вы сами даете ботам мусор.

Частые ошибки sitemap:

  • В sitemap попадают noindex страницы.
  • В sitemap попадают 3xx/4xx/5xx.
  • В sitemap попадают дубли с параметрами.
  • В sitemap нет приоритетных разделов или он не обновляется.
  • Разбитие на десятки файлов без логики, без index-файла.

Норма:

  • В sitemap только канонические, индексируемые, 200 URL.
  • Автообновление по факту публикации.
  • Разделение по типам (страницы, статьи, категории) оправдано, но без фанатизма.

10) Ошибки 5xx и нестабильный сервер: индекс «сыпется» волнами

Если у вас периодически:

  • 502/504 от балансера,
  • таймауты на тяжелых страницах,
  • падения базы,
  • блокировки по WAF,

то бот начинает реже ходить. Crawl rate падает. Новые страницы индексируются медленнее. Иногда вы видите «все было нормально», а потом резкий провал.

Что делаем:

  • Мониторинг доступности и времени ответа
  • Анализ логов бота
  • Оптимизация TTFB, кеширование, CDN там, где это имеет смысл
  • Настройка WAF так, чтобы не резать Googlebot/Bingbot (и чтобы это проверялось, а не «верили на слово»)

11) Неверные hreflang и языковые дубли

Если сайт на нескольких языках, индексация часто ломается из-за:

  • отсутствия hreflang,
  • неправильных reciprocal ссылок,
  • конфликтов каноникал и hreflang,
  • смешивания языков на одной странице (часть RU, часть EN),
  • одинакового контента на разных языковых URL без правильной разметки.

Итог: ранжируется не та версия, трафик уходит «не в тот рынок», страницы конкурируют друг с другом.

12) Структурные данные и мета не ломают индексацию напрямую, но триггерят недоверие

Schema.org не является обязательным для индексации, но ошибки в разметке и мета часто коррелируют с общей «технической небрежностью». А это отражается в качестве рендера, сниппетов и косвенно в поведении.

Проверяем:

  • валидность Schema
  • корректность OpenGraph (для соцсетей)
  • отсутствие дублей title/description на ключевых шаблонах

Чеклист быстрой диагностики (что мы делаем в первые 60–90 минут)

  1. GSC: Pages, Sitemaps, Crawl stats, URL Inspection по ключевым URL
  2. robots.txt + выборочная проверка meta robots и X-Robots-Tag
  3. Каноникал + редиректы на шаблонах (главная, категории, карточки, статьи)
  4. Sitemap: состав, ошибки, доля мусора
  5. Дубли: параметры, слэши, регистр, UTM, пагинация
  6. Внутренняя перелинковка и глубина клика до money pages
  7. JS-рендер: сравнение View Source vs DOM, рендер в GSC
  8. Логи сервера (если доступны): частота обхода, коды, приоритетные разделы

Рекомендуемые изображения для статьи (вставьте в WordPress)

Ниже места, где изображения реально усиливают материал. Подставьте свои скриншоты из вашего проекта. Если нужно, мы в BlueWhite Agency можем подготовить их в рамках аудита.

1) Скрин GSC: отчет Pages с типовыми статусами

2) Скрин robots.txt tester или сам robots.txt с ошибкой Disallow

3) Скрин URL Inspection: выбранная каноническая и причина

4) Схема: как дубли съедают crawl budget (параметры, сортировки, пагинация)

Примечание: если у вас нет этих изображений по указанным URL, замените ссылки на ваши реальные медиафайлы в WordPress или удалите блоки. В идеале ставить настоящие скриншоты из GSC, это повышает доверие и читаемость.

Что делать бизнесу: приоритеты, чтобы не тратить месяцы

Если коротко, порядок такой:

  1. Снять блокировки (robots/noindex), вычистить редиректы и каноникал.
  2. Убрать индексный мусор (дубли, параметры) и привести sitemap в порядок.
  3. Выстроить внутреннюю перелинковку и обеспечить доступность ключевых страниц.
  4. Проверить рендеринг и стабильность сервера.
  5. Только потом масштабировать контент и линкбилдинг.

И да, это напрямую связано с деньгами. Техническая индексация определяет, какие страницы участвуют в ранжировании, как быстро попадают в индекс новые посадочные, и насколько предсказуемо вы можете планировать рост органики как канала.

Если хотите, мы разберем ваш сайт по-взрослому

В BlueWhite Agency мы не делаем SEO «ради позиций». Мы строим управляемую систему привлечения, где органика завязана на аналитику, качество пайплайна и обратную связь от продаж, а не на отчеты про клики.

Если вы подозреваете, что индексация у вас сломана, начните с техаудита. Оставьте заявку через сайт BlueWhite Agency: https://bluewhiteagency.com/ru/
Мы быстро скажем, где именно проблема: robots/noindex, каноникал, дубли, JS, сервер или структура. И что даст максимальный эффект в первую очередь.

Часто задаваемые вопросы

Как понять, что проблема с ростом органического трафика связана именно с технической индексацией сайта?

Типовые симптомы проблем с индексацией включают: страницы опубликованы, но не появляются в поиске неделями; в Google Search Console растёт блок ‘Discovered, currently not indexed’ или ‘Crawled, currently not indexed’; в индексе присутствует мусор (параметры, дубли), а важные страницы отсутствуют; резкое падение количества проиндексированных URL после релиза; по логам видно, что Googlebot почти не посещает ключевые разделы сайта.

Почему важно уделять внимание техническому SEO до создания контента и покупки ссылок?

Техническое SEO — это база для успешной индексации сайта. Если поисковик не может нормально обойти, понять и проиндексировать сайт из-за технических проблем, то даже качественный контент и закупленные ссылки не помогут увеличить органический трафик. Без исправления технических ошибок продвижение будет неэффективным.

Какие ошибки в файле robots.txt чаще всего блокируют индексацию важных разделов сайта?

Самые частые ошибки включают: использование ‘Disallow: /’ на продакшене после разработки; блокировка важных разделов вроде ‘/catalog/’, ‘/blog/’, ‘/services/’ «на время», которая остаётся навсегда; блокировка CSS/JS файлов, из-за чего Google неправильно рендерит страницу; слишком широкие правила вроде ‘Disallow: /*?’, которые режут канонические URL.

Как проверить корректность настроек файла robots.txt и его влияние на индексацию?

Рекомендуется использовать инструмент Google Search Console — ‘robots.txt Tester’ для проверки правил. Также важно вручную просмотреть файл по адресу https://site.com/robots.txt. Следует учитывать, что robots.txt может отличаться на разных поддоменах, поэтому проверять нужно каждый из них отдельно.

Какие последствия могут быть при неправильной настройке robots.txt для SEO сайта?

Неправильная настройка robots.txt может полностью отключить индексацию важных разделов сайта, из-за чего поисковый бот просто не увидит эти страницы. Это приведёт к отсутствию их в поисковой выдаче, снижению органического трафика и потере потенциальных клиентов. Исправление таких ошибок часто занимает много времени и ресурсов.

Как диагностируют технические проблемы с индексацией в BlueWhite Agency?

В BlueWhite Agency анализируют симптомы проблемы (например, данные из Google Search Console и логи посещений Googlebot), проверяют настройки robots.txt и другие технические параметры сайта. Приоритеты выставляются исходя из влияния каждой проблемы на индексацию. Диагностика проводится без мифов и с акцентом на реальные причины снижения видимости сайта.