Автоматизация SEO-аудита: скрипты и парсеры для массовой проверки страниц

На большом сайте аудит руками невозможен: тысячи страниц, метатеги, статусы, редиректы, разметка. Здесь вступают скрипты и парсеры: то, что специалист делал бы неделями, автоматизация прогоняет за вечер и выдаёт таблицу проблем с адресами. Разбираем, что автоматизируется, как устроен пайплайн и где проходит граница автоматизации.

Что стоит автоматизировать в первую очередь

Три кита массового аудита: метатеги (пустые, дубли, длина), статусы и редиректы (битые страницы, цепочки переадресаций), каноникалы и индексация (куда указывает канонический тег, не закрыта ли страница от робота). Эти проверки формальны, одинаковы для всех страниц и дают таблицы с конкретными адресами — идеальная пища для скриптов.

Парсинг страниц: метатеги, заголовки, разметка

Скрипт обходит список адресов, скачивает страницы и извлекает заголовки, метатеги, каноникалы, данные разметки и заголовки страниц. Результат — таблица со всеми страницами и полями, по которой фильтрами находятся пустые тайтлы, дубли, переспам и отсутствие разметки. На сайтах с рендером скриптов нужен браузерный режим обхода — он медленнее, но видит то же, что и пользователь.

Проверка статусов и редиректов массово

Обход списка адресов с фиксацией кода ответа показывает битые страницы, редиректы и их цепочки. Скрипт строит карту: откуда и куда ведёт каждая переадресация, сколько шагов в цепочке, где битое звено. На сайтах с переездами такая карта находит хвосты старых адресов, которые продолжают отдавать редиректы через три колена, — и это прямой кандидат на чистку.

Каноникалы и индексация: сверка ожиданий

Автоматизация сверяет канонический тег каждой страницы с её собственным адресом и роботс-файл — с реальными правилами. Находятся страницы с каноникалом на другой адрес, закрытые от индексации по ошибке, страницы с параметрами без каноникала. Каждая такая находка — сохранённые страницы индекса и чистый краулинг.

Пайплайн: от обхода до таблицы проблем

Схема проста: список адресов из карты сайта и вебмастерских панелей, обход и извлечение данных, нормализация в таблицу, фильтры по типам проблем, выгрузка с приоритетами. Хороший пайплайн перезапускается одной командой и отдаёт свежий срез в любой момент — аудит превращается из события в регулярный мониторинг.

Регулярные проверки вместо разовых героизм

Автоматизация раскрывается в ритме: еженедельный прогон находит новые битые ссылки и дубли до того, как они накопятся. Уведомления о росте ошибок, сравнение срезов между собой, история изменений — скрипт делает аудит системой, а не авралом раз в полгода. На крупных сайтах это экономит недели работы специалиста ежемесячно.

Готовые рецепты массовых проверок

Рецепт первый: выгрузка адресов из карты сайта плюс проверка каждого на код ответа — таблица битых страниц и редиректов за один прогон. Рецепт второй: парсинг заголовков и метатегов по всем адресам с поиском пустых значений и дублей. Рецепт третий: сверка каноникалов с реальными адресами страниц. Три рецепта покрывают половину классического технического аудита и пишутся за вечер.

Правила приличия для своих парсеров

Свой скрипт обходит сайт быстрее и агрессивнее краулера — и может положить сервер или попасть под защиту. Правила: задержка между запросами, обход в часы низкой нагрузки, уважение к роботс-файлу, контроль глубины и параллельности. Парсер аудита должен быть незаметнее робота, а не наоборот: цель — диагностика, а не нагрузка.

Документируйте пайплайн: скрипты живут дольше памяти

Автоматизация ценна повторяемостью, а повторяемость — документацией: где лежит список адресов, как запускается обход, как читать итоговую таблицу. Пара строк комментария превращает скрипт одного специалиста в инструмент всей команды. Через полгода без документации пайплайн превращается в чёрный ящик, который страшно запускать.

Границы автоматизации: что руками не заменить

Скрипт не оценит качество контента, не поймёт интент и не примет решение о приоритетах: автоматизация собирает факты, выводы делает человек. Не автоматизируются и творческие части аудита — анализ конкурентов, стратегия контента, чтение поведенческих. Правило: автоматизируем сбор и сверку, руками — интерпретацию и решения.

Мини-кейс: скрипт нашёл то, что пропускали краулеры

Крупный каталог жаловался на медленный рост трафика; платные краулеры показывали умеренные проблемы. Самописный скрипт, обходящий адреса из карты сайта, нашёл закономерность, которую не показывали точечные проверки: у трети карточек каноникал указывал на вариант адреса с параметром, и поиск индексировал клоны. Массовая правка шаблона вернула каноникалы на чистые адреса, и через два месяца каталог прибавил треть показов. Кейс показывает: автоматизация ценна тем, что смотрит сразу на весь сайт целиком.

Начните с малого: один скрипт, одна таблица проблем, один еженедельный прогон — и через месяц рутина аудита будет занимать часы вместо дней.

Итог: автоматизация аудита — это пайплайн из обхода страниц, извлечения данных и таблиц проблем, запущенный по расписанию. Скрипты берут на себя рутину, человеку остаются смысл и решения — в этом и есть правильное разделение труда.