Robots.txt-controle

Ophalen en parseren van robots.txt-regels voor een website