Технический аудит сайта через Screaming Frog: пошаговая инструкция

• Технический аудит сайта через Screaming Frog — это процесс, который позволяет за полчаса получить срез данных, на анализ которых вручную ушли бы дни. В этой статье мы разберем пошаговый алгоритм действий: от настройки краулера до интерпретации критических ошибок, с конкретными цифрами, примерами фильтров и метрик, на которые стоит обращать внимание в первую очередь. Screaming Frog SEO Spider — это десктопный краулер, который имитирует поведение поискового робота. В бесплатной версии он ограничен 500 URL-адресами, чего достаточно для небольших сайтов, но для полноценного технического аудита интернет-магазина или корпоративного портала потребуется лицензия (около 259 евро в год). Инструмент незаменим для выявления проблем с индексацией, дублей, битых ссылок, ошибок сервера и неэффективной внутренней перелинковки. Ниже мы рассмотрим, как правильно выстроить процесс, чтобы на выходе получить не просто список ошибок, а четкий план действий для разработчиков и SEO-специалистов.

  Подготовка к краулингу: стартовые настройки и конфигурация

  Прежде чем запустить обход, важно настроить инструмент под конкретные задачи. Нельзя просто ввести домен и нажать Start — вы получите шум, в котором утонут действительно важные данные.

  Задаем стартовый URL и исключаем мусор

  Введите главное зеркало сайта (например, `https://site.com/`). Если у вас есть поддомены, которые не должны участвовать в индексации (например, `old.site.com` или `m.site.com`), добавьте их в список исключений (Configuration > Exclude). Также убедитесь, что в настройках указана правильная версия протокола (HTTP или HTTPS) — иначе аудит соберет дубли, которые поисковик склеивает. Важный шаг — подгрузка данных из Google Analytics и Search Console. Это позволит в таблицах видеть метрики (трафик, позиции, клики) для каждого URL. В Screaming Frog это делается через модуль (Configuration > API Access > Google Search Console или Google Analytics). Авторизуйтесь через OAuth, и инструмент подтянет данные по существующим страницам. Без этого вы будете чистить ошибки вслепую, рискуя удалить страницы, которые приносят 30% органического трафика. Для авторизованных разделов (личный кабинет, закрытые страницы) настройте режим логина: Configuration > User-Agent and Authentication. Укажите куки или логин/пароль, иначе краулер просто покажет 302-редирект на страницу входа, и вы не увидите реальную структуру.

  Настройка User-Agent и скорости обхода

  По умолчанию инструмент представляется как `Screaming Frog SEO Spider`. Для более точной симуляции поведения Googlebot выберите соответствующего пользовательского агента в выпадающем списке (Configuration > User-Agent). Однако будьте осторожны: сайт может отдавать разную верстку поисковому роботу и обычному пользователю — так называемый кloaking. Для чистоты эксперимента лучше использовать стандартный агент, а для проверки адаптивности — отдельный краулинг с User-Agent Googlebot. Скорость обхода регулируется в Configuration > Speed. Если сайт небольшой (до 5000 URL), можно оставить значение по умолчанию. Для крупных порталов или сайтов, которые боятся высокой нагрузки (организации с шаред-хостингом), лучше ограничить количество потоков до 2–3, чтобы не убить сервер и не получить ложные ошибки таймаута.

  Процесс обхода: что происходит во время краулинга

  После нажатия кнопки Start Screaming Frog начинает сканирование по принципу BFS (breadth-first search). Он собирает URL из sitemap.xml, ссылок на главной, а затем идет вглубь по переходам. В процессе обхода фиксируются следующие данные:
  • Код ответа сервера (200, 301, 404, 500 и т.д.)
  • Заголовок страницы (Title)
  • Мета-описание (Meta Description)
  • Заголовки H1–H6
  • Количество ссылок на странице (исходящих и входящих)
  • Наличие атрибутов rel=canonical и noindex
  • Размер HTML-кода
  • Время загрузки каждой страницы
  Отдельно стоит отметить панель «Response Codes» в нижней части окна. Она показывает прогресс обхода в реальном времени: сколько URL уже обработано, сколько страниц вернуло ошибки. Если вы видите, что количество ошибок 404 резко растет, а процесс еще далек от завершения, это повод остановить краулинг и проверить, не попадает ли бот в пагинацию или бесконечные фильтры.

  Анализ основных групп URL: от статусов до дублей

  Когда краулинг завершен (внизу появится надпись Crawl Completed), перед вами — таблица со всеми найденными адресами. Начинать анализ необходимо с фильтра по кодам ответа.

  Разбор кодов ответа: 4xx и 5xx

  Первое, на что следует обратить внимание — это строки с кодами 404 и 410. Screaming Frog соберет все битые ссылки, которые ведут на несуществующие страницы. Это не всегда проблема: если на страницу нет входящих ссылок с других ресурсов, то битая ссылка не оказывает критического влияния на ранжирование. Однако если на такой URL ссылаются внутренние страницы сайта, это сигнал для поисковых систем о низком качестве ресурса. Экспортируйте список по кнопке «Export» и отсортируйте по колонке «Inlinks» (входящие ссылки). Ваша задача — найти URL с 404, на которые ссылаются более трех страниц сайта. Для каждого такого адреса необходимо настроить 301-редирект на релевантный раздел. Если страницы удалена навсегда и аналога нет, оставьте код 410, который прямо говорит роботу, что контент удален осознанно. Ошибки 5xx (500, 502, 503) — это проблемы на стороне сервера. Если их количество превышает 1% от общего числа страниц, это может говорить о нестабильности хостинга, ошибках синтаксиса в PHP или проблемах с базой данных. В Screaming Frog обратите внимание на время ответа сервера: если средний TTFB (Time to First Byte) превышает 2 секунды, это весомый аргумент для перевода сайта на более быстрый хостинг или включения кеширования на уровне сервера.

  Поиск дублей и проблем с тегом Canonical

  Далее переходим во вкладку «Duplicates». Screaming Frog автоматически находит страницы с одинаковым Title, Meta Description или очень похожим контентом. Для полноценной проверки уникальности используется вкладка «Content» — там вы увидите процент совпадения текста с другими URL. Самый частый сценарий — это дубли при использовании фильтров в интернет-магазинах. Например, URL вида `site.com/catalog?color=black` и `site.com/catalog?color=white` могут генерировать сотни страниц со слегка измененным заголовком. В такой ситуации необходимо настроить параметры в «Configuration > Spider > Crawl Priority» и задать правила для параметров, которые не нужно обходить. Обратите внимание на конфликты canonical. Screaming Frog показывает ошибку, если на странице определена одна страница в rel=canonical, но фактически страница открывается по другому адресу. Например, если canonial ссылается на себя, но URL содержит UTM-метки — это классическая ошибка индексации при маркетинговых акциях.

  Проверка заголовков, H1 и мета-тегов

  Технический аудит сайта через Screaming Frog не будет полным без проверки мета-тегов. Во вкладке «Page Titles» вы увидите:
  • Отсутствие Title (пустая ячейка)
  • Слишком длинные Title (более 60 символов)
  • Дубликаты Title
  • Низкую длину (менее 30 символов)
  Здесь же посмотрите на наличие бренда в заголовке. Исследования показывают, что добавление бренда в конец Title увеличивает CTR в поиске на 3–5%, но если вы пишете заголовок длиной 65 символов и вставляете туда бренд, то теряете важные ключевые слова. Поэтому в Screaming Frog используйте фильтр «Length > 60» и анализируйте, насколько целевые фразы остались в видимой части. Для H1 включаете отдельный таб. Частая ошибка — наличие нескольких H1 на странице или отсутствие тега вовсе. Исключение — главная страница, где может быть два блока с H1 в разных смысловых модулях, но для внутренних страниц лучше придерживаться правила: один H1 на страницу. Проверьте, что H1 соответствует Title. Если они сильно различаются (например, в Title — «Купить ноутбук в Москве», а в H1 — «Наш каталог техники»), подумайте о переписывании заголовка. Поисковые системы любят совпадение H1 и Title по смыслу, и хотя это косвенный фактор, в совокупности с другими параметрами он влияет на релевантность.

  Внутренняя перелинковка и глубина вложенности

  В контексте технического аудита нельзя игнорировать вкладку «Inlinks». Это наглядная таблица по каждой странице: сколько входящих ссылок с других страниц, какие именно якоря используются. Screaming Frog позволяет экспортировать эту таблицу и через инструмент «Link Analysis» построить граф связей. Ключевая метрика здесь — глубина вложенности. Она измеряется количеством кликов от главной страницы до конкретного URL. Если важная статья или товар находится на глубине 5-го клика, поисковый робот будет тратить краулинговый бюджет на более доступные страницы, и данная статья может долго не индексироваться. В идеале значимые страницы должны быть доступны за 2–3 клика. Проверить это можно в колонке «Depth» в основной таблице Screaming Frog. Отсортируйте страницы по возрастанию глубины и посмотрите, какие разделы ушли слишком глубоко. Используйте хлебные крошки, перелинковку «похожие товары» или добавьте ссылки из «серого» меню, чтобы уменьшить вложенность. Подробнее о том, как улучшить структуру сайта и взаимодействие с разработчиками, читайте в нашей статье о взаимодействии SEO и разработчиков.

  XML-карта и файл robots.txt

  Screaming Frog подскажет, какие URL находятся в XML sitemap, а какие нет. Если карта сайта имеет ссылки на страницы, которые возвращают 302 редирект, это ошибка: они должны вести на финальный 200. Аналогично, если карта ссылается на страницы, закрытые в robots.txt с директивой noindex, поисковые системы просто проигнорируют эти URL, и они потеряют все внутренние ссылки. В Screaming Frog добавьте URL вашего sitemap.xml в список стартовых адресов (в режиме «List» вместо «URL»). Инструмент покажет статусы всех URL из карты. Проверьте соответствие: каждый URL из карты должен быть доступен для обхода, иметь код 200 и не быть закрыт в robots.txt.

  Контент и скорость: что еще может показать технический аудит через Screaming Frog

  С помощью вкладки «Page Speed» вы можете интегрировать данные из Google PageSpeed Insights API. Для этого надо вставить ключ API в настройки. Инструмент сделает запрос по каждому URL и выведет показатели LCP (Largest Contentful Paint), CLS (Cumulative Layout Shift) и FID (First Input Delay). Однако не запускайте это для всего сайта сразу: API имеет дневные лимиты. Лучше выбрать топ-10 страниц по органическому трафику и проверить именно их скорость. Не забывайте про тяжелые ресурсы: Screaming Frog в колонке «Size» показывает объем всей HTML-страницы. Если страница весит более 500 КБ без учета скриптов и изображений — это сигнал разработчику о необходимости почистить HTML-код от избыточных тегов.

  Типичные ошибки при интерпретации данных и как их избежать

  Начинающие SEO-специалисты часто делают ошибку, считая, что любой 404 — это проблема. Однако если на сайте есть старые страницы с фильтрами, которые не имеют входящих ссылок, их возврат 404 — это нормально. Точно так же нельзя удалять страницы только потому, что у них нет уникального H1, если они ранжируются по длинному хвосту. Вторая распространенная ошибка — пренебрежение настройкой exclusions. Если вы не исключили пагинацию (страницы типа `?page=2`), то получите нереалистичную картину с тысячами дублей. Правильная конфигурация Screaming Frog снижает уровень шума на 70%. И наконец, технический аудит сайта через Screaming Frog не заменяет анализа качества контента. Инструмент показывает, что страница существует и доступна, но не говорит о том, насколько она полезна пользователю. Для комплексной оценки рекомендуем также провести SEO-аудит сайта, который включает и контентные факторы.

  Практические выводы: как превратить данные аудита в задачи для разработки

  После завершения краулинга экспортируйте данные в формате CSV или Excel. Разбейте их на группы:
  1. Критические ошибки — 500 коды, страницы с ошибками рендеринга JavaScript, конфликты canonical. Это задачи на разработку с приоритетом «выполнить сегодня».
  2. Проблемы контента — слишком длинные Title, отсутствие H1, большое количество ссылок на странице. Это задачи для контент-менеджера на ближайшую неделю.
  3. Оптимизация архитектуры — уменьшение глубины вложенности, настройка 301-редиректов, чистка битых ссылок.
  Регулярность аудита должна составлять один раз в месяц для сайтов с постоянно добавляющимся контентом, и раз в квартал — для статичных корпоративных порталов. Screaming Frog — это инструмент, который помогает находить проблемы, но исправлять их вы должны начинать в течение 48 часов после аудита, пока данные остаются актуальными и не появились новые ошибки, перекрывающие старые. Если вы хотите глубже разобраться в вопросах технической оптимизации, обратите внимание на нашу статью о разработке технических сайтов под ключ — там мы рассказываем, как заложить правильную архитектуру с самого начала. Для более детального понимания процесса технического аудита рекомендуем ознакомиться с официальным руководством по Screaming Frog.