هل ملف robots.txt الخاص بقناة رؤيا للمعلوميات صحيح أم خاطئ؟
السلام عليكم جاءتني شكاوي كثيرة من ملف robots.txt الخاص بقناة الأخ رؤيا للمعلوميات ولهذا أحببت أن أشارك بمنشور طبعًا وقد شرحت عن ملف robots.txt في هذه المقالة فراجعها ستستفيد منها جداً وملف قناة رؤيا للمعلوماتية كالتالي
User-agent: *
Disallow: /
Allow: /
Sitemap: https://keep1one.blogspot.com/sitemap.xml
هذا الملف صحيح لا غبار عليه أي أن المقالات ستتأرشف لكن التعليمات الخاصة به لا معنى لها كيف ذلك؟
فهذا الأمر / :Allow يلغي الأمر / :Disallow وبالتالي فكأن التعليمة / :Disallow غير موجودة أساساً فيبقى الأمر بالسماح لغوغل بالأرشفة لكن لو كانت التعليمات هكذا
User-agent: *
Disallow: /
Sitemap: https://keep1one.blogspot.com/sitemap.xml
هنا لا يوجد Allow وبالتالي سيتم حظر موقعك من الأرشفة وصراحة أول مرة أرى هكذا ملف فيه أمرين متناقضين واحداً يمنع والآخر يسمح والظاهر أن صاحب قناة رؤيا أخذه من موقعٍ ما وذلك الموقع لا يدري ما يقول وملفه هذا سيؤرشف كل شيء الصفحات مثل اتصل بنا وغيرها والأقسام أي التصنيفات والمقالات وغيرهم والملف الافتراضي من غوغل أفضل منه نعم لأنك عندما لا تضع ملف robots.txt فغوغل يضع لك واحداً افتراضياً وملف غوغل يمنع من أرشفة الأقسام لأن ظهور الأقسام في محرك غوغل غير محبب ويسمح بأرشفة الصفحات والمقالات وهو كالتالي
User-agent: *
Allow: /
Sitemap: https://keep1one.blogspot.com/sitemap.xml
وربما تتسائل هنا هل / :Allow سيلغي الأمر Disallow: /search؟ الجواب كلا إنما يلغي فقط الأمر
Disallow: /
لكن عوام الناس لا يدرون في هذه الأشياء فأي خطأ منهم ربما يؤدي إلى منع أرشفة مواقعهم ولهذا فإذا رأيتم مثل هذه التعليمة / :Disallow فاحذفوها من ملف الـ robots.txt أما لو وجدتم مثل هذه التعليمات
فهذه التعليمات لا تحذفوها
هذا والله تعالى أعلم