Preverjevalnik robots.txt

Pridobi in razčleni pravila robots.txt za spletno mesto