בודק Robots.txt

אחזר ונתח כללי robots.txt עבור אתר אינטרנט