Базовые настройки для полного парсинга сайта в Screaming Frog SEO Spider

В этом материале разберем базовые настройки для полного парсинга сайта через Screaming Frog Seo Spider

Если нет желания вникать в тонкости, то в конце поста можно скачать готовый конфигурационный файл с указанными настройками, который нужно загрузить в программу.

Базовые настройки сбора данных

Для перехода в данный раздел настроек нам нужно

  1. перейти по пути «Configuration» -> «Spider»Переходим по пути Configuration - Spider

  2. Откроется диалоговое окно «Spider Configuration» на вкладке «Basic»

    Часть пунктов в ней уже активна по умолчанию. Настройки Spider Configuration по умолчаниюРазберем, что нужно включить и почему:

    • Check External Links

      Позволит понять количество и качество внешних ссылок со страниц сайта

    • Check Links Outside of Start Folder

      Парсер проверит всевозможные ссылки от начальной страницы парсинга

    • Follow Internal «nofollow»

      Использование nofollow для внутренних ссылок является ошибкой и важно спарсить страницы, на которые ведут данные ссылки наравне с другими страницами

    • Follow External «nofollow»

      Нужно понимать количество и качество внешних ссылок с использованием атрибута nofollow

    • Crawl All Subdomains

      Будет полезно выяснить наличие внутренних ссылок на тестовые или другие ненужные поддомены

    • Crawl Outside of Start Folder

      Парсер пройдет по всевозможным ссылкам от начальной точки парсинга

    • Crawl Canonicals

      Важно для понимания корректности указанных каноничных страниц

    • Crawl Next/Prev

      Поможет выявить ошибочные ссылки в элементах rel next и rel prev

Остальные пункты, соответственно, не обязательны. В итоге базовые настройки выглядят следующим образом:
Окно Spider Configuration после базовых настроек

Настройка скорости парсинга

Делается следующим образом:

    1. Переходим по пути «Configuration» -> «Speed» Переходим Configuration - Speed

    2. В открывшемся окне «Spider Speed Configuration» ставим скорость в 1 URI/s, как на скриншоте ниже: Рекомендуемые настройки скорости парсинга в Screaming Frog SEO Spider

Почему нужно ставить такую маленькую скорость и как грамотно сделать ее более быстро можно посмотреть в этом материале.

Собственно, это все базовые настройки – остается запустить полный парсинг!

Бонус — конфигурационный файл с настройками

Конфигурационный файл с настройками, рассмотренными выше, можно скачать по этой ссылке. Как его загрузить в программу смотрите здесь.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *