Проверка на Robots.txt

Извличане и анализиране на правила за robots.txt за уебсайт