ما هو robots.txt؟
robots.txt هو ملف نصي التي يمكن استخدامها لتقييد الوصول إلى شبكة الإنترنت الروبوتات إلى موقع الويب الخاص بك فقط في السبل التي من الموافقة لكم.
هذا ملف robots.txt لبنات جوجل Imagebot من كامل الموقع على الإنترنت :
وكيل المستخدم : Googlebot الصورة نكر : /
لمزيد من المعلومات حول robots.txt ، قراءة معيارا لاستبعاد الروبوت.
راجع النحو من robots.txt الخاص بك
على شبكة الإنترنت العديد من الأدوات المتاحة التي سوف استرجاع ملف robots.txt من موقع الويب الخاص بك والتحقق من ذلك لتركيب الأخطاء.
سيئة الروبوتات
بعض الروبوتات سوف استخدام الإنترنت حتى كميات كبيرة من عرض النطاق الترددي ونظام الموارد ، بينما كان في طريق عودته لا يكاد يذكر لصالح صاحب الموقع.
لراحتك ، ونحافظ على قائمة من بعض هذه الروبوتات السيئة في شكل robots.txt.
 |
المرجعية ما هو robots.txt؟
