Robots.txt Checker

قوانین robots.txt را برای یک وب سایت واکشی و تجزیه کنید