Έλεγχος Robots.txt

Λήψη και ανάλυση κανόνων robots.txt για έναν ιστότοπο