Robots.txt சரிபார்ப்பு

இணையதளத்திற்கான robots.txt விதிகளைப் பெற்று அலசவும்