Как игнорировать содержимое robots.txt при парсинге в Screaming Frog SEO Spider

Нужно спарсить сайт, закрытый от индексации? Поменяйте одну настройку!

По умолчанию Screaming Frog учитывает инструкции файла robots.txt и если, например, стоит задача спарсить тестовый сайт, закрытый от индексации в robots.txt, то ничего не выйдет:

Парсинг сайта, закрытого от индексации в robots.txt через Screaming Frog SEO Spider

В таких случаях необходимо установить настройку, которая игнорирует содержание robots.txt

  • Переходим по следующему пути:

    «Configuration» -> «robots.txt» -> «Settings»

    Переходим по пути «Configuration», «robots.txt», «Settings»

  • После перехода мы видим окно «Robots Settings»

    Окно Robots Settings

    В нем нам нужно поставить галочку около «Ignore robots.txt», которая отключает учет файла robots.txt при парсинге

    Галочка Ignore robots.txt

Теперь мы можем без проблем спарсить сайт, который закрыт от индексации в robots.txt

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *