Robots.txt તપાસનાર

વેબસાઇટ માટે robots.txt નિયમો મેળવો અને પાર્સ કરો