Перевірка robots.txt

Отримати та розібрати правила robots.txt для веб-сайту