ما هو ملف robots.txt و كيف يمكنك إنشاءه وكيفيه اضافته؟
ما هو ملف robots.txt؟
يحدد ملف robots.txt الصفحات أو الملفات التي يمكن أن تطلبها برامج زحف محركات البحث للزحف من موقعك وأيها لا يمكنه طلب الزحف. غالبًا ما تُستخدم هذه المعلومات لتجنب التحميل الزائد على موقع الويب الخاص بك بطلبات الزحف وهي ليست آلية لإخفاء صفحة ويب من نتائج بحث Google. إذا كنت تريد إخفاء صفحة ، فيجب عليك استخدام أوامر noindex أو حماية صفحتك بكلمة مرور.
تعرف على قيود طريقة حظر ملف robots.txt
قبل إنشاء ملف robots.txt أو تعديله ، تعرف على حدود طريقة حظر عناوين URL هذه. في بعض الأحيان ، قد تحتاج إلى استخدام آليات أخرى لضمان عدم العثور على عناوين URL الخاصة بموقعك على الويب.
قد لا تتوافق توجيهات Robots.txt مع جميع محركات البحث
لا يمكن للإرشادات الواردة في ملف robots.txt فرض سلوك معين على الزاحف لموقعك على الويب لأن الزاحف هو الذي يتخذ القرار بشأن اتباع هذه التعليمات أم لا. نظرًا لأن Googlebot وبرامج زحف الويب الأخرى حسنة السمعة تتبع الإرشادات الواردة في ملف robots.txt ، فقد لا تلتزم برامج الزحف الأخرى. وبالتالي ، إذا كنت ترغب في حماية المعلومات من برامج زحف الويب ، نوصيك باستخدام طرق حظر أخرى مثل حماية كلمة المرور للملفات الخاصة على الخادم.
تفسر برامج الزحف المختلفة البنية بطرق مختلفة
لاحظ أن برامج زحف الويب حسنة السمعة تتبع الإرشادات الواردة في ملف robots.txt ، لذلك قد يفسر كل زاحف التوجيهات بشكل مختلف. يجب أن تعرف الهيكل الصحيح للتعامل مع برامج زحف الويب المختلفة ، حيث قد لا تتمكن بعض هذه البرامج من فهم إرشادات محددة.
ستستمر فهرسة الصفحة المحظورة باستخدام ملف robot.txt إذا تمت إضافة رابط لها على مواقع ويب أخرى
على الرغم من أن Google لا تقوم بالزحف إلى المحتوى الذي تم حظره بواسطة ملف robots.txt أو فهرسته ، فقد نعثر على عنوان URL يتعذر الوصول إليه ونفهرسه إذا تمت إضافة روابط إليه في مكان آخر على الويب. نتيجة لذلك ، يمكن أن يظل عنوان URL وربما المعلومات الأخرى المتاحة بشكل عام ، مثل النص الأساسي في روابط الصفحة ، في نتائج بحث Google. لمنع ظهور عنوان URL بشكل صحيح في نتائج بحث Google ، يجب حماية الملفات الموجودة على الخادم بكلمة مرور أو استخدام علامة noindex الوصفية أو عنوان الاستجابة (أو إزالة الصفحة تمامًا).
كيف يتم ارسال ملف robots.txt
- تقوم بالدخول الى موقعك على بلوجر بعدد التسجيل من خلال حساب ال جميل الخاص بك
- تقوم بالذهاب من خلال القائمه الجانبيه الى الاعدادات
- ثم قم بالنزول الى اسفل حتى برامج الزحف والفهرسة ومن خلالها تقوم بتفعيل كل الخيارات
- تقوم بفتح اداه تفعيل محتوى ملف robots.txt مخصص حيث يظهر لك اسفلها ملف robots.txt مخصّص
- تقوم بفتحها واضافه الملف التالى بها
- ايضا تقوم بتفعيل تفعيل علامات رؤوس مخصصة لبرامج الروبوت وهكذا قد تم تفعيل ملف robots
والى هنا انتها شرحنا واذا وجدت اى مشكله تواصل معانا من خلال قناه التلجرام او من خلال التطبيق الخاص بنا على جوجل بلاى