مدقق ملف Robots.txt

جلب وتحليل قواعد ملف robots.txt لموقع ويب