Robots.txt тексерушісі

Веб-сайтқа арналған robots.txt ережелерін алу және талдау