Дубли страниц: как найти и убрать

Дубли страниц в блоге появляются незаметно: одна и та же статья открывается по двум или трём адресам, и поиск сам решает, какой из них показывать. Решение не всегда совпадает с тем, что нужно вам, и статья собирает меньше показов, чем могла бы. Разберём, откуда дубли берутся в блоге и как их закрыть.

Что такое дубли страниц

Дубль, это две или больше страниц с почти одинаковым содержанием, доступные по разным адресам. Для читателя разницы нет, он всё равно попадает на нужный текст. Для поисковой системы это выбор: какую страницу взять в индексацию, то есть сохранить в базе и показывать в выдаче, а какую считать копией.

Выбор поиск делает сам: смотрит на внутренние ссылки, на вид адреса, на скорость загрузки. Поэтому в выдаче иногда оказывается адрес с меткой кампании или страница тега.

Полные дубли: одна страница по разным адресам

Содержание совпадает целиком, различается только адрес: сайт открывается и с www, и без него, статья доступна со слешем на конце и без. Такие дубли проще всего найти и убрать.

Частичные дубли: разные страницы с одним текстом

Совпадает не вся страница, а её основной блок. Страница тега выводит полные тексты статей, главная блога показывает первую статью целиком, в архиве по месяцу лежит та же подборка. Поиск видит несколько страниц под один запрос, и ни одна не выглядит для него главной.

Чем дубли мешают блогу

Дубли редко ломают сайт целиком. Они работают медленнее: статьи написаны и опубликованы, а видимость сайта в поиске растёт хуже, чем вы рассчитывали.

• Показы делятся между адресами. Поиск по очереди пробует разные версии страницы, и ни одна не набирает истории показов.
• В выдаче оказывается не та страница. Открывается адрес с параметрами или список статей без полного текста.
• Робот тратит обход на копии. У сайта есть запас на обход: сколько страниц робот успевает посмотреть за заход. Если половина запаса уходит на дубли, новые статьи дольше ждут индексации.
• Сниппет собирается не из той страницы. Сниппетом называют описание страницы в выдаче. С копии он выходит обрезанным: заголовок рубрики вместо заголовка статьи.
• Внутренние ссылки теряют силу. Часть ссылок ведёт на один адрес, часть на другой, и внутренняя перелинковка перестаёт усиливать нужную страницу.

Под фильтры дубли внутри одного сайта не подводят: поиск считает их технической ошибкой. Но пока ошибка живёт, часть работы над статьями уходит в пустоту, и это заметно по посещаемости сайта.

Откуда дубли берутся в блоге

Дубли появляются не от небрежности, а от устройства систем управления сайтом: одну статью они показывают в нескольких списках, и каждый список получает свой адрес. Пять источников закрывают почти все случаи.

Теги и рубрики

Страница тега собирает те же статьи, что и рубрика, а иногда выводит их полными текстами. Когда теги расставляют на ходу, появляются пары вроде «контент маркетинг» и «контент-маркетинг» с одинаковым набором статей. Помогает заранее собранная структура разделов: как её продумать, мы разбирали в статье про рубрики корпоративного блога.

Пагинация

Список статей разбивается на страницы, и вторая, третья, десятая получают адреса вида /blog/page/2. Заголовок, описание и вводный текст наследуются от первой страницы. К ним часто добавляется версия «показать все».

Параметры в адресах

Любой знак вопроса в адресе создаёт для поиска новую страницу. Метки кампаний, сортировка списка, фильтр по автору, адрес предпросмотра: содержание то же, адресов много. Одна рассылка с метками добавляет в индексацию десятки копий статьи.

Технические адреса сайта

Сайт отвечает по четырём адресам сразу: с протоколом http и https, с www и без. Если ни один не склеен с остальными, у каждой статьи появляются три копии. Сюда же относятся адреса с index.php в середине и с заглавными буквами.

Один текст на двух адресах

Версия для печати, страница предпросмотра, перенос статьи в другую рубрику без переадресации. Если статью публиковали дважды, сначала как новость, потом как экспертный материал, в поиске живут обе версии.

Как найти дубли страниц сайта

Поиск дублей начинается не с программ, а с панелей вебмастера: поисковые системы уже показывают, какие страницы считают копиями.

Яндекс Вебмастер

Раздел «Индексирование», подраздел «Страницы в поиске», вкладка «Исключённые». В списке причин есть статус «Дубль»: Яндекс называет страницу копией и показывает адрес, который выбрал основным. В «Статистике обхода» видно, какие адреса робот посещал чаще. Как проверить, попали ли статьи в поиск, мы описывали в материале про индексацию сайта.

Google Search Console

Отчёт «Страницы» и список причин, по которым страница не попала в индексацию. Нужны две: «Страница является копией, Google выбрал другую каноническую страницу» и та же причина с пометкой «canonical не указан». Первая говорит, что ваше указание разошлось с решением поиска, вторая, что указания нет совсем.

Поиск по оператору site

Самая быстрая проверка без доступов. Наберите в строке поиска site:вашдомен.ru и кусок заголовка статьи в кавычках. Пришло несколько адресов с одним заголовком, значит дубли уже в выдаче.

Проход по сайту программой

Краулером называют программу, которая ходит по ссылкам сайта как поисковый робот и выгружает таблицу адресов. Сортируете выгрузку по заголовку: совпадающие пары и есть кандидаты в дубли.

Таблица решений

Найденные адреса сведите в таблицу: адрес, основная страница, решение, дата правки. Иначе часть адресов закроют, часть забудут. Формат такой таблицы не отличается от шаблона контент-плана, который вы и так ведёте.

Как убрать дубли: пять инструментов

У каждого инструмента своя задача, и ошибки чаще возникают от того, что берут не тот: закрывают в robots.txt то, что нужно переадресовать, или ставят переадресацию там, где достаточно указать основной адрес.

Указание основного адреса, rel=canonical

В коде страницы прописывается ссылка на адрес, который вы считаете основным. Поиск получает подсказку: показывать эту страницу, остальные версии считать её копиями. Инструмент подходит, когда оба адреса остаются доступными для читателя. Настройку и типичные ошибки мы разбирали в материале про rel canonical.

Переадресация 301

Старый адрес навсегда отправляет читателя и робота на новый. Подходит, когда вторая страница больше не нужна: сменился адрес статьи, склеиваются версии с www и без. Через несколько обходов старый адрес уходит из выдачи, а история показов переносится на новый.

Запрет индексации, noindex

Страница остаётся доступной для читателя, но поиск её не показывает. Подходит для служебных страниц: предпросмотр, результаты поиска по сайту, теги для навигации. Вместе с noindex оставляйте follow, чтобы робот переходил по ссылкам с такой страницы.

robots.txt и Clean-param

robots.txt запрещает роботу заходить на адрес. Для дублей это инструмент второго ряда: если страница уже в выдаче, запрет обхода её оттуда не уберёт, робот перестанет видеть ваши указания. А директива Clean-param для Яндекса решает задачу с параметрами точно: вы перечисляете метки, которые не меняют содержание, и Яндекс склеивает такие адреса с основным.

Настройки системы управления сайтом

Половина дублей закрывается галочками в административной панели, без правок кода. В WordPress за это отвечают настройки постоянных ссылок и SEO-плагин, который сам ставит указание основного адреса и закрывает архивы: подробнее в разборе про блог на WordPress. На Tilda адреса публикаций задаются в настройках потока, об этом есть материал про Тильда Потоки.

Какой инструмент брать под конкретный тип дубля

Теги, рубрики и архивы: что оставить в поиске

Закрывать все служебные списки подряд, значит терять страницы, которые могли бы приводить людей. Решение принимается по одному признаку: есть ли у страницы смысл для читателя из поиска.

Когда страницу списка стоит оставить

Рубрика или тег остаются в поиске, если у них есть свой запрос и свой текст. Рубрика «Продвижение интернет-магазина» отвечает на понятный вопрос: ей можно написать вводный абзац и выстроить порядок статей. Такая страница работает как обзор темы. Как подбирать темы под разделы, видно в контент-плане для блога на месяц.

Когда страницу списка закрывают

Страницы для навигации внутри сайта в поиске не работают: архивы по датам, списки по автору, теги с двумя статьями, результаты внутреннего поиска. Им ставят noindex, follow и оставляют в меню для читателей. Правило простое: не можете придумать запрос, по которому страницу стоило бы показать, закрывайте.

Пагинация и параметры в адресах

Здесь ошибаются в обе стороны: либо закрывают лишнее, либо не делают ничего.

Пагинация: вторая и следующие страницы

Поисковые системы считают страницы списка самостоятельными: через них робот доходит до старых статей. Поэтому каждая страница указывает основным свой адрес, а не первую. Чтобы страницы не выглядели одинаковыми, в заголовок и описание добавляют номер.

Параметры: метки, сортировка, фильтры

С параметрами порядок обратный: основным для них остаётся адрес статьи без знака вопроса. Тогда метки перестают плодить копии, и ссылку из рассылки можно ставить спокойно. Для Яндекса список таких параметров перечисляется в Clean-param. Через пару недель посмотрите в Вебмастере, исчезли ли адреса с метками из исключённых страниц.

Частые ошибки, из-за которых дубли остаются

Эти ошибки мы видим на сайтах чаще остальных, и половина появляется уже после того, как дублями занялись.

• Основным адресом указана главная блога. Все статьи ссылаются на /blog, и поиск убирает из выдачи сами статьи. Разбор механики есть в статье про ошибки в rel canonical.
• noindex и указание основного адреса вместе. Указания противоречат друг другу, и поиск выбирает сам.
• Страницу закрыли в robots.txt, когда она уже была в выдаче. Робот не заходит на адрес и не видит noindex, страница остаётся в поиске без описания.
• Поставили переадресацию 302 вместо 301. Временная переадресация оставляет в индексации старый адрес, склейка не происходит.
• Цепочка переадресаций из трёх звеньев. Робот идёт по ней и теряет часть пути.
• Ссылки внутри статей ведут на закрытые адреса. После склейки пройдите по перелинковке и поправьте ссылки на актуальные адреса.

Чек-лист проверки блога

Порядок действий закрывает основную часть дублей за один заход. Проверку стоит повторять раз в квартал и после переноса сайта или смены системы управления.

1. Откройте сайт с www и без, с http и https. Должны остаться одна версия и переадресация 301 на неё.
2. Проверьте адрес статьи со слешем и без. Открылись оба варианта, значит нужна переадресация.
3. В Яндекс Вебмастере выпишите исключённые страницы со статусом «Дубль».
4. В Google Search Console найдите в отчёте о страницах причины со словом «копия».
5. Наберите в поиске site:вашдомен.ru и заголовок свежей статьи. В выдаче должен быть один адрес.
6. Добавьте к ссылке на статью метку кампании. Основным должен остаться адрес без параметров.
7. Проверьте вторую страницу списка: свой заголовок с номером, основным указан свой адрес.
8. Пройдите по тегам и архивам: оставьте те, под которые есть запрос, остальные закройте через noindex, follow.
9. Убедитесь, что в карте сайта перечислены только основные адреса.
10. Проверьте ссылки внутри статей: они должны вести на актуальные адреса напрямую.

Сколько стоит КОНТЕНТЗАВОД

Дубли проще не разводить, чем потом разбирать. В сервисе каждая статья выходит одной страницей на домене клиента, с указанным основным адресом и записью в карте сайта, а раздел статей встраивает команда сервиса.

Тарифов три: «Базовый», ориентир 30 000 ₽ в месяц, «Профессиональный», ориентир 50 000 ₽ в месяц, и «Индивидуальный», который считается по результатам аудита. Цены без НДС, состав пакетов и актуальные суммы смотрите в разделе Тарифы КОНТЕНТЗАВОДА. Для сравнения с другими вариантами наполнения блога пригодятся разборы про стоимость контента для сайта и стоимость SEO-продвижения.

Итог: что делать с дублями

Работа с дублями состоит из четырёх шагов, и порядок важнее инструментов: узнать, что поиск считает копией, выбрать основные адреса, закрыть лишнее и проверить результат.

Четыре шага работы с дублями и где смотреть результат

Оптимальный порядок для блога, который ведётся постоянно: один раз разобрать накопившиеся копии по чек-листу выше, а дальше проверять каждую новую статью после публикации. Тогда статья с первого дня работает одним адресом и собирает показы на себя.

Если дубли закрыты, а показов по статьям мало, посмотрите план продвижения сайта в Яндексе на первые три месяца и материал про органический трафик. О наполнении раздела мы писали в статье про блог компании на сайте, отдельно разобрано, как сайт попадает в ответы нейросетей.