عندما تجد يوتيوبر يضع لك هذا الملف لـِ robots.txt فاعلم أنه قد نسخ ولصق لك والملف هو
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://keep1one.blogspot.com/sitemap.xml
لربما تتسائل لماذا؟ هل مثلاً هذا الملف مضر؟ الجواب كلا
إذا لماذا تقول من يقترح لك هذا الملف لا يعرف شيئاً؟
الجواب ببساطة لأن هذا الملف بعينه هو الملف الافتراضي من قبل غوغل موجود في جذور موقعك فلو أنشئت موقعاً جديداً ولم تقم بوضع ملف robots.txt في إعدادات بلوجر وجعلته فارغاً غير مفعل كما في الصورة
فهناك ملف افتراضي في جذور موقعك وهذا الملف هو نفسه الملف الذي يقول لك اليوتيوبرية بأن تضعه في إعدادات بلوجر وبالتالي فأنت لو لم تضع ملفهم فلم تخسر شيئاً لأنه موجود بالفعل
كيف تعلم ما هو الملف الافتراضي من غوغل والذي هو في جذور النظام؟
الجواب عندما تنشئ موقعاً جديداً بعدها مباشرة فقط اذهب وضع بعد رابط موقعك / وبعدها robots.txt يعني هكذا على سبيل المثال هذا موقع أنشئته جديداً أدخل إليه وشاهد الملف الافتراضي
https://testitachi.blogspot.com/robots.txt
ولهذا فأيضاً من يقول لا تضع ملف robots.txt أفضل فهو مخطأ لأنه في الواقع حتى لو لم تضع ملف robots.txt فهناك واحد موجود بشكل افتراضي في جذور موقعك
وقد شرحت ما في هذه المقالة في فيديو على اليوتيوب بتفاصيل أكثر
هذا والله تعالى أعلم