Robots.txt စစ်ဆေးခြင်း။

ဝဘ်ဆိုက်တစ်ခုအတွက် robots.txt စည်းမျဉ်းများကို ရယူပြီး ခွဲခြမ်းစိတ်ဖြာပါ။