Проверка robots.txt

Получение и анализ правил robots.txt для веб-сайта