Дубли страниц — тихий пожиратель позиций: один и тот же контент доступен по нескольким адресам, и поисковик не знает, какой считать главным. Вес распыляется, бюджет обхода тратится на клоны, а в выдачу попадает не лучшая копия. Аудит дублей находит все копии и склеивает их без потерь. Разбираем источники дублей и механику склейки.
Чем опасны дубли: распыление и обход
Когда один текст живёт на пяти адресах, ссылки и поведенческие сигналы делятся между ними: каждая копия слабее оригинала. Плюс робот обходит клоны вместо новых страниц — краулинг уходит в песок. В итоге позиции ниже, чем могли бы быть, а новые материалы индексируются медленнее. Дубли — это налог, который сайт платит ежедневно, не замечая.
Откуда берутся дубли: главные источники
Первый источник — параметры: сортировка, фильтры, UTM-метки и идентификаторы сессий порождают клоны на масштабе. Второй — зеркала: www против без-www, http против https. Третий — пагинация и постраничные копии категорий. Четвёртый — технические копии: версии для печати, заглавные и строчные буквы в адресе, слэш в конце. Аудит начинает с инвентаризации: выгрузите все адреса из карты сайта, вебмастерских панелей и краулера — и посмотрите, сколько из них ведёт на одинаковый контент.
Canonical: указание главного адреса
Тег canonical говорит поисковику, какой адрес считать оригиналом. Правило: на каждой странице каноникал ведёт на неё саму или на осознанно выбранный главный вариант. Аудит проверяет массово: нет ли страниц, где каноникал указывает на чужой адрес по ошибке шаблона; совпадает ли каноникал с реальным главным адресом; проставлен ли он на пагинации и страницах с параметрами. Ошибка в шаблоне каноникала — катастрофа на массе страниц, поэтому проверять нужно каждый тип шаблона.
Параметры URL: закрыть или канонизировать
Для страниц с параметрами два решения: каноникал на базовый адрес или закрытие параметров от индексации. Комбинация надёжнее: робот видит каноникал сразу, а панель вебмастеров позволяет подсказать правила обработки параметров. Отдельно проверьте сортировки и фильтры: они должны отдавать каноникал на базовую категорию, если не задуманы как отдельные посадочные.
Пагинация и бесконечный скролл
Страницы пагинации — легальные дубли части контента. Аудит смотрит: каноникалы страниц пагинации ведут на себя, а не на первую страницу; контент второй и далее страниц индексируется, если полезен, или закрывается, если только дублирует. Бесконечный скролл требует отдельных адресов для глубоких списков, иначе весь контент после первого экрана невидим для робота.
Зеркала домена: www, протоколы, регистр
Четыре варианта адреса — www и без, http и https — должны сходиться в один: редиректы со всех зеркал на главный вариант плюс каноникал с главного. Аудит проверяет цепочки: редирект должен быть один, а не каскад из трёх шагов. Регистр пути: адрес в верхнем регистре обязан отдавать редирект на строчный, иначе это ещё одно семейство клонов.
Склейка: редирект или canonical
Правило выбора: если копия не нужна людям — редирект 301 на главный адрес; если копия имеет смысл для пользователя, но не для индекса — каноникал и закрытие от индексации. Редирект передаёт вес быстрее и жёстче, каноникал — мягкая рекомендация. Аудит фиксирует для каждого семейства дублей своё решение и проверяет результат через отчёты индексации: число проиндексированных клонов должно упасть до нуля.
Процедура аудита дублей
Шаг первый: выгрузка всех адресов из трёх источников. Шаг второй: группировка по одинаковому контенту — по тайтлам, текстам, хешам. Шаг третий: для каждой группы — выбор главного адреса и способа склейки. Шаг четвёртый: внедрение и контроль через отчёты индексации. Такая процедура на среднем сайте занимает пару дней и закрывает проблему на годы вперёд при регулярном контроле.
Дубли картинок и вложенных файлов
Помимо страниц, дублируются медиа и файлы: одна картинка, загруженная по нескольким адресам, тоже распыляет вес. Аудит проверяет медиабиблиотеку на одинаковые файлы и канонизацию адресов в атрибутах изображений.
Частые ошибки склейки
Первая — каноникал на главную со всех страниц: так склеивается весь сайт в одну страницу. Вторая — каноникал на адрес с параметрами вместо чистого. Третья — редиректы с циклами, которые робот видит как ошибку. Четвёртая — забыть про карты сайта: после склейки в карте должны остаться только главные адреса, иначе робот продолжит обходить клоны по карте.
Мини-кейс: склейка дала треть показов
Каталог запчастей имел четыре семейства адресов на каждый товар: параметры сортировки, www, http и регистр. Индекс раздувался до ста тысяч страниц при тридцати тысячах товара. Аудит склеил всё редиректами и каноникалами, вычистил карту сайта. Через два месяца индекс схлопнулся до нужных тридцати тысяч, а показы выросли на треть: вес сконцентрировался на главных адресах. Кейс показывает: склейка — самый дешёвый способ усилить сайт без единой новой ссылки.
Итог: аудит дублей — это инвентаризация адресов, каноникалы на каждом шаблоне, редиректы для зеркал и контроль индекса после склейки. Один главный адрес на контент — и вес работает целиком, а не по кускам. Возвращайтесь к проверке дублей после каждой крупной техники — и клоны больше не вернутся.