Как закрыть дубли страниц пагинации WordPress от индексации

На WordPress дубли часто появляются не из-за «плохого SEO», а из-за обычной структуры сайта: архивы, категории, теги, авторы, поиск, пагинация /page/2/ и параметры в URL. Если поисковик начинает индексировать такие страницы как отдельные посадочные, сайт получает размывание релевантности и лишние URL в индексе. При этом закрывать всё подряд нельзя: часть страниц пагинации нужна для обхода и передачи веса внутри разделов.

Ниже — рабочий сценарий: как найти именно те дубли, которые стоит убрать, чем отличается noindex от каноникализации, и как проверить, что после правок сайт не потерял нужные страницы из поиска.

Диагностика: какие дубли реально есть на сайте

Сначала не трогайте настройки наугад. В WordPress дубли обычно видны в трёх местах: в индексе поисковика, в отчётах краулера и в шаблонах темы. Если у вас есть доступ к Google Search Console, откройте отчёт по страницам и посмотрите, не растут ли URL с /page/, ?s=, /tag/ и архивы авторов. В Screaming Frog или аналогичном краулере удобно отфильтровать страницы с одинаковым title, description и H1 — это быстрый способ увидеть, где шаблон повторяется без смысла.

Что искать в первую очередь

• страницы пагинации архивов: /category/news/page/2/;
• внутренний поиск WordPress: /?s=...;
• теги, которые дублируют категории по смыслу;
• архивы авторов на сайтах с одним автором;
• страницы с параметрами сортировки и фильтров, если они есть;
• пустые или почти пустые архивы, которые всё равно доступны по URL.

Если дубли уже в индексе, не спешите ставить глобальный noindex на всё подряд. Сначала решите, что именно должно остаться в поиске: главные архивы, отдельные записи, страницы рубрик. Пагинация почти всегда требует отдельного решения, потому что это не просто «мусор», а часть навигации по контенту.

Что делать с пагинацией: noindex, canonical или закрытие в robots.txt

Для страниц пагинации в WordPress обычно рассматривают три варианта. У каждого есть свои ограничения, и в лоб они не взаимозаменяемы. Закрытие в robots.txt не убирает URL из индекса, если он уже известен поисковику. noindex говорит не индексировать страницу, но позволяет роботам её обходить. rel="canonical" помогает указать основную версию, но для пагинации он не всегда решает задачу, если вы хотите сохранить обход следующих страниц.

Для пагинации архивов чаще всего безопаснее не блокировать её в robots.txt, а управлять индексированием на уровне шаблона или SEO-плагина. Так робот сможет дойти до глубины архива, а сами страницы не будут конкурировать с основными посадочными.

Пошаговое решение через код темы

Если вы не хотите завязываться на плагин, можно добавить noindex для страниц пагинации и внутреннего поиска через wp_head. Это не универсальная панацея, но для типового сайта работает предсказуемо. Код лучше держать в дочерней теме или в собственном мини-плагине, а не в functions.php активной темы без резервной копии.

<?php
add_action( 'wp_head', function () {
    if ( is_paged() || is_search() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1 );

Этот вариант ставит noindex,follow на все страницы пагинации и поиск. Если у вас есть отдельные архивы, которые тоже нужно исключить, добавляйте условия точечно, а не расширяйте правило на весь сайт. Например, архивы автора на блоге с одним редактором обычно не несут самостоятельной ценности, но на многопользовательском ресурсе их лучше оставить.

Если вы хотите закрыть только поиск, а пагинацию оставить индексируемой, разделите условия:

<?php
add_action( 'wp_head', function () {
    if ( is_search() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1 );

Как сделать это через SEO-плагин без правки шаблона

Если на сайте уже стоит SEO-плагин, проще использовать его настройки для архивов, тегов и поиска. Это снижает риск, что обновление темы перетрёт ваши правки. Важно только не дублировать одно и то же правило в плагине и в коде: тогда можно получить конфликт мета-тегов, а поисковик увидит противоречивые сигналы.

На практике удобно проверить, умеет ли ваш плагин отдельно управлять:

• индексацией страниц поиска;
• архивами авторов;
• тегами;
• пагинацией архивов;
• каноническими URL для архивов.

Если нужен более широкий набор технических настроек, в том числе чистка дублей и служебных страниц, можно посмотреть в сторону Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но даже с плагином логику всё равно нужно проверять вручную: не каждый сайт одинаково переносит закрытие архивов.

Проверка результата после внедрения

После правок не ограничивайтесь просмотром исходника главной страницы. Проверьте конкретные URL, которые вы закрывали. Откройте страницу поиска, архив категории и страницу пагинации, затем посмотрите исходный код или ответ сервера. В HTML должен появиться нужный meta robots, а в случае каноникализации — корректный rel="canonical".

Мини-чек-лист проверки

• на странице поиска есть noindex,follow;
• на страницах /page/2/ нет случайного index,follow из SEO-плагина;
• канонический URL не указывает на несуществующую страницу;
• внутренние ссылки на следующие страницы архива остаются рабочими;
• в Search Console нет резкого роста ошибок обхода после изменений;
• страницы, которые должны индексироваться, не получили общий запрет по ошибке.

Для быстрой проверки удобно использовать curl и искать нужный фрагмент в ответе:

curl -s https://example.com/page/2/ | grep -i "robots\|canonical"

curl -s "https://example.com/?s=test" | grep -i "robots\|canonical"

Если вы меняли правила в теме, очистите кеш страницы и объектный кеш, если он есть. Иначе вы будете смотреть на старую версию HTML и решите, что правка не сработала.

Частые ошибки и как их исправить

Самая частая ошибка — закрыть в robots.txt всё, что кажется дублем. Это не удаляет уже известные URL из индекса и иногда мешает поисковику увидеть нужные сигналы. Если задача именно в индексации, используйте noindex или корректный canonical, а не только запрет обхода.

Вторая ошибка — ставить noindex на все архивы без разбора. Так можно случайно убрать из поиска рубрики, которые реально приводят трафик. Особенно это заметно на контентных проектах, где категории являются основными посадочными.

Третья ошибка — дублировать правила в нескольких местах: в теме, в SEO-плагине и в серверных заголовках. В результате одна страница может отдавать конфликтующие инструкции, и отладка превращается в угадайку. Если уже используете плагин, сначала проверьте его настройки, а потом решайте, нужен ли код.

Четвёртая ошибка — забыть про внутренний поиск. На многих сайтах именно /?s= создаёт большой хвост мусорных URL, особенно если пользователи ищут по коротким и повторяющимся запросам. Эти страницы почти всегда стоит закрывать от индексации.

Безопасность и производительность: что учесть перед правкой

Любые изменения в шаблоне лучше делать в дочерней теме или через маленький плагин, а не в файлах основной темы. Тогда обновление не затрёт ваши правки. Перед изменением wp_head проверьте, нет ли уже в теме собственного вывода robots-мета: иногда достаточно изменить существующий фильтр, а не добавлять новый.

Если сайт большой, не пытайтесь решать всё через тяжёлые плагины, которые сканируют контент на лету. Для точечной задачи с дублями достаточно либо настроек SEO-плагина, либо нескольких строк кода. Чем меньше лишней логики на фронтенде, тем проще сопровождать сайт и быстрее находить причину, если что-то сломалось.

И ещё один практический момент: если вы закрываете архивы авторов или теги, убедитесь, что на них не завязаны хлебные крошки, навигация и блоки похожих материалов. Иначе вы не столько уберёте дубли, сколько ухудшите структуру сайта для пользователя и робота.

Когда лучше не закрывать, а переработать структуру

Иногда проблема не в индексации, а в самой архитектуре контента. Если у вас десятки пустых тегов, слабые категории и одинаковые описания архивов, закрытие от индексации только маскирует симптом. В таком случае лучше сначала почистить таксономии, объединить дублирующие рубрики и удалить лишние архивы, а уже потом настраивать noindex.

Если нужен более системный подход к технической чистке WordPress, имеет смысл сначала привести в порядок дубли, служебные страницы и архивы, а потом уже заниматься расширенной SEO-оптимизацией. Это дешевле, чем постоянно лечить последствия неправильной структуры.