Kontroler pliku robots.txt

Pobieraj i analizuj reguły pliku robots.txt dla witryny internetowej