هل ملف robots.txt الخاص بقناة رؤيا للمعلوميات صحيح أم خاطئ؟

السلام عليكم جاءتني شكاوي كثيرة من ملف robots.txt الخاص بقناة الأخ رؤيا للمعلوميات ولهذا أحببت أن أشارك بمنشور طبعًا وقد شرحت عن ملف robots.txt في هذه المقالة فراجعها ستستفيد منها جداً وملف قناة رؤيا للمعلوماتية كالتالي

User-agent: *

Disallow: /

Allow: /

Sitemap: https://keep1one.blogspot.com/sitemap.xml

هذا الملف صحيح لا غبار عليه أي أن المقالات ستتأرشف لكن التعليمات الخاصة به لا معنى لها كيف ذلك؟

لا شك أن التعليمة
Disallow: /
تعني حظر غوغل بشكل كامل من أرشفة الموقع لكن هنا في ملفه لن يحظر الأرشفة فالسؤال لماذا؟ لأن هناك الأمر
Allow: /

فهذا الأمر / :Allow يلغي الأمر / :Disallow وبالتالي فكأن التعليمة / :Disallow غير موجودة أساساً فيبقى الأمر بالسماح لغوغل بالأرشفة لكن لو كانت التعليمات هكذا

User-agent: *

Disallow: /

Sitemap: https://keep1one.blogspot.com/sitemap.xml

هنا لا يوجد Allow وبالتالي سيتم حظر موقعك من الأرشفة وصراحة أول مرة أرى هكذا ملف فيه أمرين متناقضين واحداً يمنع والآخر يسمح والظاهر أن صاحب قناة رؤيا أخذه من موقعٍ ما وذلك الموقع لا يدري ما يقول وملفه هذا سيؤرشف كل شيء الصفحات مثل اتصل بنا وغيرها والأقسام أي التصنيفات والمقالات وغيرهم والملف الافتراضي من غوغل أفضل منه نعم لأنك عندما لا تضع ملف robots.txt فغوغل يضع لك واحداً افتراضياً وملف غوغل يمنع من أرشفة الأقسام لأن ظهور الأقسام في محرك غوغل غير محبب ويسمح بأرشفة الصفحات والمقالات وهو كالتالي

User-agent: *

Disallow: /search
هذه التعليمة مسؤولة عن منع أرشفة الأقسام

Allow: /

Sitemap: https://keep1one.blogspot.com/sitemap.xml

وربما تتسائل هنا هل / :Allow سيلغي الأمر Disallow: /search؟ الجواب كلا إنما يلغي فقط الأمر

Disallow: /

لكن عوام الناس لا يدرون في هذه الأشياء فأي خطأ منهم ربما يؤدي إلى منع أرشفة مواقعهم ولهذا فإذا رأيتم مثل هذه التعليمة / :Disallow فاحذفوها من ملف الـ robots.txt أما لو وجدتم مثل هذه التعليمات

Disallow: /search
هذه التعليمة مسؤولة عن منع أرشفة الأقسام
Disallow: /p
هذه التعليمة مسؤولة عن منع أرشفة الصفحات

فهذه التعليمات لا تحذفوها

ملحوظة مهمة: الأمر 
Disallow: 
يعني السماح لغوغل بأرشفة موقعك يعني تقريبًا مثل الأمر Allow على عكس الأمر
Disallow: /
فهذا الأمر يعني منع غوغل من أرشفة موقعك والفرق بينهما السلاش / فانتبه أن تخلط بينهما

هذا والله تعالى أعلم

مواضيع ذات صلة

إرسال تعليق