Robots.txt pārbaudītājs

Ienesiet un parsējiet vietnes robots.txt kārtulas