Robots.txt tekshiruvi

Veb-sayt uchun robots.txt qoidalarini oling va tahlil qiling