المحتويات 14 قسمًا
- ما هو robots.txt؟
- ما هو الزاحف (البوت) وما علاقته بـ robots.txt؟
- أين يوجد ملف robots.txt وكيف يُنشأ؟
- ماذا تعني أسطر robots.txt؟
- ما الفرق بين robots.txt وnoindex؟
- ما الذي يجب حظره عبر robots.txt في متجر التجارة الإلكترونية؟
- ما الذي يجب ألا يُحظر أبدًا عبر robots.txt؟
- كيف يبدو ملف robots.txt نموذجي لمتجر التجارة الإلكترونية؟
- ما أكثر الأخطاء شيوعًا في robots.txt؟
- كيف تُدار زواحف الذكاء الاصطناعي عبر robots.txt؟
- كيف يُختبر robots.txt ويُراقَب؟
- كيف يعمل robots.txt مع تحسين محركات البحث التقني معًا؟
- إدارة الروبوتات والزحف مع Faprika
- الأسئلة الشائعة
واجهة المتجر مفتوحة للجميع، لكن المستودع وخلف الصندوق وغرفة الإدارة لا يدخلها الجميع. ويوجد في موقعك ترتيب مشابه: صفحات المنتجات والفئات مفتوحة للزوار ومحركات البحث، بينما السلة وخطوات الدفع ومنطقة الإدارة وعدد لا نهائي من عناوين التصفية ليست أماكن ينبغي أن يراها الجميع. وهناك ملف نصي صغير يشرح هذه الحدود للروبوتات الآلية لمحركات البحث (الزواحف، أي البوتات): إنه robots.txt.
في هذا الدليل نجيب ببساطة عن سؤال ما هو robots.txt: ما هذا الملف، وأين يوجد، وكيف تُكتب أسطر User-agent وDisallow وAllow وSitemap، وما الفرق بينه وبين noindex، وما الذي ينبغي حظره وما الذي يجب ألا يُحظر أبدًا في موقع التجارة الإلكترونية، وكيف تُدار زواحف الذكاء الاصطناعي، وما الأخطاء الشائعة وطرق الاختبار. وفي النهاية ستجد إدارة الروبوتات مع Faprika وقسم أسئلة شائعة من ستة أسئلة.
ما هو robots.txt؟
robots.txt ملف نصي بسيط يوجد في الدليل الجذر لموقعك ويخبر زواحف محركات البحث بالعناوين التي يمكنها دخولها وتلك التي يجب ألا تدخلها. وهذا الإجراء، المعروف أيضًا باسم “بروتوكول استبعاد الروبوتات”، قاعدة مشتركة مستخدمة منذ السنوات الأولى للإنترنت.
الملف طلب وليس أمرًا. تلتزم أغلبية محركات البحث بهذا الطلب، لكن الملف نفسه لا يُجبر أحدًا. وقد لا تقرأ البوتات الخبيثة الملف أصلًا، ولذلك لا يُعد robots.txt إجراءً أمنيًا. فالمنطقة التي يجب أن تبقى سرية تحتاج إلى كلمة مرور وصلاحيات وإعدادات خادم، أما robots.txt فهو مجرد اتفاق مع الزواحف الأمينة.
الملف نص بسيط بامتداد .txt، ولا يحتاج إلى برنامج خاص. يمكن كتابته بمفكرة، لكن يجب أن يكون اسمه ومكانه دقيقين: اسم الملف robots.txt بأحرف صغيرة وموقعه هو الدليل الجذر للموقع. وأبسط صورة له هي التالية:
User-agent: *
Disallow:
Sitemap: https://magazaadresiniz/sitemap.xml
يعني هذا الملف المكوّن من سطرين: “يمكن لجميع الزواحف دخول كل شيء، وعنوان خريطتي هو هذا”. والسطر Disallow الفارغ لا يحظر أي شيء.
ما هو الزاحف (البوت) وما علاقته بـ robots.txt؟
الزاحف أو البوت أو العنكبوت برنامج يزور صفحات الويب تلقائيًا ويقرأ محتواها ويكتشف صفحات جديدة باتباع الروابط. وتكتشف محركات البحث موقعك بواسطة هذه البرامج وتضيفه إلى فهارسها.
عندما يصل الزاحف إلى موقع ما، ينظر أولًا في ملف robots.txt الموجود في الدليل الجذر. فإذا وجد قاعدة تخصه طبّقها ثم بدأ التجول. وإذا لم يوجد الملف (أعاد 404) افترض أنه مسموح له بدخول كل مكان. ولكل زاحف اسم خاص به يمكنك مخاطبته في الملف، ويسمى هذا الاسم “user-agent”.
الوقت والموارد التي يخصصها الزاحف لموقع ما محدودة، ويسمى ذلك في القطاع ميزانية الزحف. وفي موقع التجارة الإلكترونية الكبير قد تنتج تركيبات التصفية ومعلمات الفرز وصفحات البحث الداخلي مئات الآلاف من العناوين؛ وإذا أنفق الزاحف وقته عليها فقد تتأخر معرفة منتجاتك الجديدة وفئاتك المهمة. وrobots.txt هو أول وأرخص وسيلة لتوجيه هذا المورد إلى الصفحات القيّمة.
يلخص الرسم التدفق: يصل الزاحف إلى الموقع، ويطلب ملف robots.txt، ويقرأ القواعد، ويزحف إلى العناوين المسموح بها، ولا يدخل العناوين المحظورة. والترتيب نفسه نصيًا هو: الملف أولًا، ثم القاعدة، ثم الزحف.
أين يوجد ملف robots.txt وكيف يُنشأ؟
يجب أن يوجد robots.txt في الدليل الجذر لكل نطاق (ولكل نطاق فرعي) على العنوان /robots.txt. ولا تبحث الزواحف عن ملف موجود في مجلد آخر.
وللأمر نتائج عملية:
- جذر واحد، ملف واحد. يسري العنوان
magazaadresiniz/robots.txtعلى النطاق الرئيسي لمتجرك. وإذا كان لديك نطاق فرعي (مثلًا للمدونة) فيجب أن يكون له robots.txt خاص به؛ فالملف الموجود في النطاق الرئيسي لا يُلزم النطاق الفرعي. - البروتوكول ونسخة النطاق مهمان. فـ http وhttps، والعنوان مع www وبدونه، عناوين مختلفة من الناحية التقنية. وإذا كان هناك تحويل إلى نسخة واحدة فيجب أن تكون القاعدة في ملف تلك النسخة.
- يُكتب اسم الملف بأحرف صغيرة. والصيغ مثل
Robots.txtأوrobots.TXTغير موثوقة. - يجب أن يكون الملف نصًا بسيطًا. لا HTML ولا صورة ولا مستندًا منسقًا؛ نص عادي، ويفضّل بترميز UTF-8.
- يجب أن يُفتح الملف برمز الحالة 200. فإذا أعطى الملف خطأً لا يعرف الزاحف ما يفعل، مما يجعل سلوك الزحف غير متوقع.
هناك طريقتان لإنشائه: كتابة الملف يدويًا ووضعه في الدليل الجذر، أو استخدام إعداد الروبوتات الذي توفره منصة التجارة الإلكترونية لديك. وفي المنصات الجاهزة يُدار الملف غالبًا من لوحة التحكم، وفي هذه الحالة لا حاجة إلى رفعه يدويًا. وفي الأقسام التالية سنبني محتوى الملف خطوة بخطوة.
ماذا تعني أسطر robots.txt؟
يتكون robots.txt من أربعة أسطر أساسية: User-agent يحدد لمن تعود القاعدة، وDisallow ما الذي يُحظر، وAllow الاستثناء داخل الحظر، وSitemap عنوان خريطة الموقع. وتُكتب الأسطر في مجموعات، وتبدأ كل مجموعة بسطر User-agent.
| السطر | ماذا تخبرنا؟ | مثال |
|---|---|---|
| User-agent | أي زاحف تخصه القاعدة؛ والنجمة (*) تعني الجميع | User-agent: * |
| Disallow | المسار الذي لا يُراد دخوله | Disallow: /sepet |
| Allow | المسار المسموح به داخل منطقة محظورة | Allow: /sepet/bilgi |
| Sitemap | العنوان الكامل لخريطة الموقع | Sitemap: https://magazaadresiniz/sitemap.xml |
1. User-agent
يحدد User-agent لمن تعود القاعدة. وتشمل النجمة (*) جميع الزواحف. وإذا أردت كتابة قاعدة مستقلة لزاحف معيّن فاكتب اسمه؛ وينظر ذلك الزاحف في مجموعته الخاصة وفي مجموعة النجمة معًا، لكنه إذا وُجدت له مجموعة خاصة فإنه يطبّقها وحدها في الغالب. ولذلك قد تحتاج عند فتح مجموعة مستقلة لزاحف معيّن إلى كتابة القواعد العامة فيها أيضًا.
2. Disallow
يحدد Disallow المسار المحظور. ويبدأ المسار بشرطة مائلة ويشمل كل العناوين التي تبدأ به. فإذا كتبت Disallow: /sepet حُظر كل عنوان يبدأ بـ /sepet (مثل /sepet/odeme). وترك السطر فارغًا يعني “لا تحظر أي شيء”.
3. Allow
يُستخدم Allow لفتح استثناء صغير داخل حظر واسع. فمثلًا يمكنك حظر مجلد والسماح بمجلد فرعي واحد بداخله. وإذا شملت عدة قواعد العنوان نفسه فعادةً يغلب المسار الأكثر تحديدًا (الأطول).
4. Sitemap
يعطي سطر Sitemap العنوان الكامل لخريطة موقعك. ويمكن أن يوجد في أي موضع من الملف ولا يرتبط بأي مجموعة User-agent. ويتعرف الزاحف على عنوان خريطتك أثناء قراءته لـ robots.txt. وتجد طريقة إعداد خريطة الموقع في دليل ما هي خريطة الموقع.
5. الأحرف البديلة وعلامة نهاية السطر
تعني النجمة (*) داخل المسار “أي تسلسل من الأحرف”، وتعني علامة الدولار ($) أن العنوان ينتهي هنا تمامًا. وكلاهما مدعوم من الزواحف الكبرى، لكن دعم كل زاحف قد لا يكون متطابقًا؛ فتحقق من القواعد الحرجة أولًا باختبار صغير.
User-agent: *
Disallow: /*?sirala=
Disallow: /*.pdf$
تحظر القاعدة الأولى كل عنوان يحتوي على ?sirala=، وتغلق الثانية العناوين التي تنتهي تمامًا بـ .pdf. وانتبه إلى حساسية حالة الأحرف: فالمسارات غالبًا حساسة لحالة الأحرف، أما أسماء التوجيهات (User-agent وDisallow) فلا.
يمكن أيضًا كتابة أسطر تعليق في الملف: فتتجاهل الزواحف الأسطر التي تبدأ بـ #. ومن العادات الجيدة ترك ملاحظات قصيرة لتتذكر بعد أشهر سبب وضعك لهذه القاعدة.
ما الفرق بين robots.txt وnoindex؟
يمنع robots.txt الزاحف من دخول عنوان ما، أما noindex فيطلب ألا تظهر الصفحة في نتائج البحث. وقد تظل الصفحة المحظورة عبر robots.txt تظهر في الفهرس بعنوانها إذا كانت تتلقى روابط من مواقع أخرى؛ لأن الزاحف لا يدخل الصفحة فلا يرى محتواها ولا تعليمة noindex.
هذا هو أكثر سوء فهم شيوعًا: robots.txt لا يزيل الصفحة من الفهرس. فإذا أردت أن تختفي صفحة من نتائج البحث فيجب أن يتمكن الزاحف من دخولها وقراءة توجيه noindex؛ وهذا يعني ألا تحظر تلك الصفحة في robots.txt.
| الميزة | Robots.txt | Noindex |
|---|---|---|
| أين يُحدَّد؟ | في ملف robots.txt الموجود في الدليل الجذر | في وسم meta للصفحة أو في ترويسة استجابة الخادم |
| ما الذي يديره؟ | الزحف (هل يدخل الزاحف الصفحة؟) | الفهرسة (هل تظهر الصفحة في النتائج؟) |
| هل تظهر الصفحة في النتائج؟ | إذا وُجدت روابط من مواقع أخرى فقد تظهر كعنوان | لا تظهر، إذا تمكن الزاحف من قراءة التعليمة |
| هل يدخل الزاحف الصفحة؟ | لا يدخل | يدخل ويقرأ التعليمة |
| الاستخدام المعتاد | حماية موارد الزحف وإغلاق مساحات العناوين اللانهائية | الصفحات التي لا يُراد ظهورها في النتائج |
| هل يمكن استخدامهما معًا؟ | يتعارض مع noindex في الصفحة نفسها | لا تحظر الصفحة نفسها عبر robots.txt |
وإطار القرار هو التالي: أغلق عبر robots.txt المناطق التي تهدر موارد الزحف ولا ينبغي أن تظهر في النتائج أبدًا (مثل تركيبات التصفية اللانهائية). واستخدم noindex عندما يجب ألا تظهر الصفحة في النتائج لكن يجب أن يتمكن الزاحف من قراءتها. وإذا كان للمحتوى نفسه عدة عناوين فأبلغ بالعنوان الأصلي عبر وسم canonical؛ ولمعرفة تفاصيل هذا الفرق يمكنك الاطلاع على مقال ما هو وسم canonical.
ما الذي يجب حظره عبر robots.txt في موقع التجارة الإلكترونية؟
في موقع التجارة الإلكترونية يُحظر عادةً عبر robots.txt السلة وخطوات الدفع وصفحات حساب العميل ونتائج البحث الداخلي والعناوين ذات معلمات التصفية والفرز ومناطق الإدارة. والقاسم المشترك أن هذه العناوين ليس لها ما يقابلها في نتائج البحث وتهدر موارد الزحف.
1. السلة وخطوات الدفع
صفحات السلة والدفع شخصية؛ فهي تعرض محتوى مختلفًا لكل زائر ولا معنى لظهورها في نتائج البحث. ودخول الزاحف إلى هذه العناوين غير ضروري. أما أمان صفحات الدفع بإجراءات مثل شهادة SSL فموضوع آخر؛ فـ robots.txt لا يحمي هذه الصفحات، بل يطلب فقط إبعاد الزاحف عنها.
2. حساب العميل وصفحات تسجيل الدخول
تُغلق صفحات تسجيل دخول الأعضاء وطلباتي ودفتر العناوين وإعادة تعيين كلمة المرور للسبب نفسه. فهذه الصفحات لا تحتوي على محتوى قابل للبحث؛ كما أنها تحمل معلومات خاصة بالمستخدم الذي سجّل دخوله، فلا معنى لانشغال الزاحف بها.
3. نتائج البحث الداخلي في الموقع
كل استعلام يكتبه العميل في مربع البحث ينتج عنوانًا جديدًا. وعدد هذه العناوين غير محدود وليس لها قيمة محتوى دائمة. وإغلاق هذه المنطقة عبر robots.txt يمنع الزاحف من التجول في مستودع لا نهائي من العناوين.
4. معلمات التصفية والفرز
تضيف خيارات اللون والمقاس ونطاق السعر والفرز معلمات إلى العنوان. وقد ينتج عن اجتماع بضعة مرشحات مئات الآلاف من العناوين. ولأن معظمها يعرض المنتجات نفسها بترتيب مختلف فليست لها قيمة بحثية مستقلة. وبدلًا من إغلاقها جميعًا، حدّد أي صفحات التصفية هي فعلًا صفحات دخول يبحث عنها الناس؛ وأبقِ صفحة التصفية المطلوبة في البحث (مثل تركيبة محددة من اللون والفئة) مفتوحة للزحف. ولمعرفة جانب المستخدم في تصميم المرشحات راجع دليل تحسين تصفية المنتجات وشريط البحث.
5. مناطق الإدارة والصفحات المؤقتة
لا ينبغي أن تظهر لوحة الإدارة وصفحات الاختبار والمعاينة والنسخ الاحتياطية وملفات الاستخدام الداخلي في نتائج البحث. تذكير: ملف robots.txt متاح للجميع؛ ويمكن للجميع رؤية المسارات التي تحظرها أيضًا. ولذلك فإن كتابة اسم منطقة سرية حقًا في robots.txt يعني الإعلان عنها. وللسرية لا بد من ضبط صلاحيات الوصول.
6. التقاويم اللانهائية وعناوين الجلسات والتتبع
العناوين التي تحمل رقم جلسة أو تُضاف إليها معلمة تتبع الحملات تنتج نسخًا من الصفحة. ومن الأصح غالبًا إدارتها بوسم canonical بدلًا من robots.txt؛ فإذا حظرتها لن يتمكن الزاحف من دخول الصفحة وقراءة العنوان الأصلي.
| الحقل | هل يُحظر عبر robots.txt؟ | لماذا؟ |
|---|---|---|
| السلة والدفع | نعم | شخصي وليس له قيمة بحثية |
| حساب العميل وتسجيل الدخول | نعم | محتوى شخصي، والزحف غير ضروري |
| نتائج البحث الداخلي | نعم | عناوين لانهائية بلا قيمة دائمة |
| مرشحات وفرز عشوائية | غالبًا نعم | المنتجات نفسها، وعناوين كثيرة |
| صفحة تصفية خاصة يُبحث عنها | لا | قد تكون صفحة دخول حقيقية |
| مناطق الإدارة والاختبار | نعم، مع ضبط صلاحيات الوصول أيضًا | يجب ألا تكون في الفهرس |
| عناوين بمعلمات تتبع | غالبًا لا، والأفضل باستخدام canonical | يجب أن يتمكن الزاحف من قراءة العنوان الأصلي |
ما الذي يجب ألا يُحظر أبدًا عبر robots.txt؟
يجب ألا تُحظر عبر robots.txt صفحات المنتجات وصفحات الفئات ومقالات المدونة وملفات الأنماط (CSS) والسكربتات (JavaScript) التي تشكّل مظهر الصفحات. فعند حظرها إما ألا يرى محرك البحث الصفحة إطلاقًا أو يراها معطوبة.
- صفحات المنتجات والفئات. هي الصفحات التي تدرّ الإيرادات في متجرك؛ وحظرها يعني خسارة مباشرة في الظهور.
- المدونة والصفحات المعلوماتية. وهي مصدر مهم لحركة البحث.
- ملفات CSS وJavaScript. تريد محركات البحث عرض الصفحة كما يراها الزائر. إذا حُجبت ملفات الأنماط والنصوص البرمجية فقد تبدو الصفحة معطوبة أو فارغة، كما يتأثر تقييم التوافق مع الجوال وتجربة الصفحة.
- الصور. حجب زحف صور المنتجات يلغي الظهور في البحث بالصور.
- خريطة الموقع. يجب ألا تُحجب الخريطة نفسها ولا العناوين الواردة فيها.
- العناوين القديمة المعاد توجيهها. يجب أن يتمكن الزاحف من دخول العنوان القديم ليرى إعادة التوجيه 301. إذا حجبتم العنوان القديم فلن تنقل إعادة التوجيه القيمة؛ تفاصيل هذا الموضوع في مقال ما هي إعادة التوجيه 301.
- الصفحات التي تحتوي على بيانات منظمة. لا تُقرأ علامات النتائج المميزة مثل المنتج والتقييمات إلا إذا كانت الصفحة قابلة للزحف؛ للتفاصيل راجعوا دليل ما هي البيانات المنظمة.
كيف يبدو مثال على ملف robots.txt لمتجر التجارة الإلكترونية؟
الملف التالي مثال مبسّط لموقع تجارة إلكترونية متوسط الحجم: يحجب السلة والحساب والبحث والعناوين ذات المعاملات، ويحدد موقع خريطة الموقع. تختلف المسارات من متجر إلى آخر؛ لذا طوّعوه ليناسب المسارات الفعلية لموقعكم.
# Tüm tarayıcılar için genel kurallar
User-agent: *
Disallow: /sepet
Disallow: /odeme
Disallow: /hesabim
Disallow: /giris
Disallow: /arama
Disallow: /*?sirala=
Disallow: /*?oturum=
Sitemap: https://magazaadresiniz/sitemap.xml
منطق الملف كما يلي: سطر التعليق الأول يوضح غرض الملف؛ وUser-agent: * يحدد جميع الزواحف؛ والأسطر التالية تحجب المناطق الشخصية والبحث الداخلي والعناوين ذات معاملات الترتيب والجلسة؛ والسطر الأخير يشير إلى موقع خريطة الموقع. لا يحجب أي سطر ملفات CSS وJavaScript ولا عناوين المنتجات والفئات.
مثال على فتح استثناء باستخدام Allow
يُستخدم Allow عندما تريدون حجب مجلد مع السماح بمسار فرعي واحد داخله:
User-agent: *
Disallow: /hesabim
Allow: /hesabim/yardim
في هذا المثال منطقة الحساب محجوبة؛ ولا يمكن زحف سوى صفحة المساعدة العامة. ولأن هذه الاستثناءات تعقّد القواعد فلا تستخدموها إلا عند الحاجة الفعلية.
ثمن الخطأ: فرق سطر واحد
القاعدتان متشابهتان جدًا، لكن نتيجتيهما متعاكستان تمامًا:
Disallow: # hiçbir şeyi engellemez
Disallow: / # tüm siteyi engeller
القاعدة الأولى بلا شرطة مائلة وتتيح زحف الموقع كله. أما في الثانية فشرطة مائلة واحدة تحجب الموقع بأكمله عن الزواحف. هذا الفرق هو موضوع القسم التالي.
ما أكثر الأخطاء شيوعًا في robots.txt؟
تنشأ معظم أخطاء robots.txt من تفاصيل كتابية صغيرة، لكن عواقبها كبيرة. ولأن ملف القواعد يؤثر في الموقع كله من مكان واحد، يجب إجراء كل تغيير بعناية. وفيما يلي أكثرها شيوعًا.
- حجب الموقع بالكامل عن طريق الخطأ. السطر
Disallow: /يغلق الموقع كله. وكثيرًا ما توضع هذه القاعدة لموقع الاختبار قبل النشر ثم تُنسى عند النقل إلى الموقع الحي، فيبدأ المتجر في الاختفاء من نتائج البحث. يجب أن تكون ضمن قائمة التحقق قبل النشر وبعده. - حجب ملفات CSS وJavaScript. هذه العادة التي كانت شائعة في الماضي تؤدي اليوم إلى ظهور الصفحة معطوبة وإلى مشكلات في تقييم تجربة الصفحة.
- الاعتقاد بأن robots.txt أداة لإزالة الصفحات من الفهرس. قد تبقى الصفحة المحجوبة في الفهرس بعنوانها. ولإزالتها من النتائج يُستخدم noindex.
- ترك صفحة محجوبة في خريطة الموقع. حجب عنوان موجود في الخريطة عبر robots.txt يعني أن تقولوا للزاحف «تعال» و«لا تدخل» في آن واحد. والإشارات المتناقضة تُضعف الثقة في الاثنتين.
- وضع الملف في مكان خاطئ. لا يُقرأ الملف الذي ليس في المجلد الجذر أو المحفوظ باسم مختلف أو الذي يعطي خطأ؛ وتضيع كل القواعد.
- كتابة المسارات التي يجب أن تبقى مخفية. الملف متاح للجميع؛ وكتابة مسار لوحة الإدارة تعني الإعلان عنه.
- أخطاء الكتابة والتنسيق. نقطتان رأسيتان ناقصتان أو اسم توجيه مكتوب خطأً أو مسار لا يبدأ بشرطة مائلة تبطل القاعدة. بعض الزواحف يتجاوز السطر الخاطئ، وبعضها قد يتجاهل المجموعة كلها.
- استخدام رموز بدل واسعة جدًا. قد تشمل قاعدة بعلامة نجمة عناوين المنتجات أو الفئات دون أن تنتبهوا. اختبروا كل قاعدة تحتوي على رمز بدل على العناوين التي تؤثر فيها.
- نسخ ملف موقع الاختبار إلى الموقع الحي أو العكس. قد يؤدي نقل ملف الموقع الحي إلى بيئة الاختبار إلى فتح الزحف دون داعٍ؛ أما انتقال ملف الاختبار إلى الموقع الحي فقد يغلق الموقع.
- عدم التحقق بعد التغيير. بعد تحديث الملف قد تبقى النسخة القديمة فترة في ذاكرة محرك البحث؛ لا تعتبروا العمل منتهيًا قبل التأكد من سريان التغيير.
كيف تُدار زواحف الذكاء الاصطناعي عبر robots.txt؟
تعرّف زواحف الذكاء الاصطناعي بنفسها، مثل محركات البحث، باسم user-agent، وتذكر أغلبها أنها تلتزم بقواعد robots.txt. وبهذا يمكنكم أن تقرروا بشكل منفصل أي زاحف ذكاء اصطناعي يُسمح له بدخول موقعكم.
هناك هدفان مختلفان، والقرار يعتمد على نموذج عملكم:
- إذا أردتم الظهور. إذا كنتم تريدون أن يذكر مساعدو الذكاء الاصطناعي منتجاتكم وأدلتكم وعلامتكم التجارية فعليكم السماح لزواحفها بالدخول. في هذه الحالة لا تحجبوها؛ فالأهم أن يكون محتواكم واضحًا ومنظمًا وقابلًا للاقتباس.
- إذا أردتم الحد من استخدام المحتوى. إذا كنتم لا تريدون أن يدخل زاحف ذكاء اصطناعي معيّن إلى موقعكم فاكتبوا مجموعة منفصلة لاسم user-agent الخاص به.
# Belirli bir yapay zekâ tarayıcısını tüm siteden uzak tutma
User-agent: ornek-yapay-zeka-botu
Disallow: /
# Diğer tarayıcılar için genel kurallar
User-agent: *
Disallow: /sepet
Disallow: /odeme
الاسم الوارد في المثال تمثيلي؛ وعليكم معرفة أسماء الزواحف الفعلية من الوثائق التي تنشرها كل خدمة ذكاء اصطناعي. ولأن اسم الزواحف وسلوكها قد يتغيران مع الوقت فراجعوا هذه القواعد بين حين وآخر. وتذكروا: robots.txt مجرد طلب، وقد لا تلتزم به كل زواحف الذكاء الاصطناعي؛ أما المحتوى الذي يجب حمايته فعلًا فلا بد له من ضبط للوصول.
كيف يُختبر robots.txt ويُراقَب؟
لاختبار robots.txt يجب فتح الملف في المتصفح ورؤية محتواه، والتأكد من أن العناوين المهمة غير محجوبة، ومتابعة تقارير robots في أداة إدارة محرك البحث. ويجب تكرار الاختبار قبل نشر الملف وبعد كل تغيير.
- افتحوا الملف. اكتبوا
magazaadresiniz/robots.txtفي المتصفح. يجب أن يظهر نص عادي وألا تعطي الصفحة خطأ. - اقرؤوا القواعد. تأكدوا من أن أي قاعدة لا تحجب عن غير قصد الموقع كله أو منطقة المنتجات والفئات.
- اختبروا عناوين نموذجية. اختاروا عنوان صفحة منتج وصفحة فئة ومقال مدونة وملف أنماط وملف نص برمجي؛ وتأكدوا من أن أيًا منها غير محجوب. وبالطريقة نفسها تأكدوا من أن عناوين السلة والبحث محجوبة.
- اطلعوا على التقارير في أداة إدارة محرك البحث. تعرض هذه الأدوات حالة ملف robots وآخر وقت قراءة له والعناوين المحجوبة. وإذا ظهر تحذير «محجوب بواسطة robots.txt» لصفحة مهمة فراجعوا القاعدة فورًا.
- قارنوا مع الخريطة. تأكدوا من أن أيًا من العناوين الموجودة في خريطة الموقع غير محجوب بواسطة robots.txt.
- راقبوا بعد التغيير. قد لا تظهر آثار تغييرات القواعد فورًا؛ تابعوا إحصاءات الزحف وحالة الفهرس لعدة أسابيع.
البنود الثمانية في الرسم موجودة أيضًا أدناه على شكل قائمة لتكون في متناول أيديكم أثناء المراجعة التفصيلية:
| # | البند | ماذا يحدث إذا كان خاطئًا؟ |
|---|---|---|
| 1 | الملف في المجلد الجذر واسمه robots.txt | لا تجد الزواحف الملف أبدًا |
| 2 | الملف يفتح برمز 200 وهو نص عادي | يصبح سلوك الزحف غير متوقع |
| 3 | لا يوجد سطر يحجب الموقع كله | يختفي المتجر من نتائج البحث |
| 4 | ملفات CSS وJavaScript والصور متاحة | تبدو الصفحة معطوبة أو فارغة |
| 5 | السلة والحساب والبحث محجوبة | يُهدر مورد الزحف |
| 6 | سطر Sitemap يشير إلى العنوان الصحيح | يصعب اكتشاف الخريطة |
| 7 | العناوين المحجوبة ليست في الخريطة ولا في noindex | تنشأ إشارات متناقضة |
| 8 | التحقق بعد كل نشر وتغيير | قد يمرّ الخطأ أسابيع دون ملاحظة |
قد يستغرق ظهور النتيجة بعد التصحيحات بعض الوقت: فقبل أن يعيد محرك البحث قراءة الملف وتقييم الصفحات قد تبقى الحالة السابقة في النتائج. والانتظار ومتابعة التقارير جزء طبيعي من هذه العملية.
نوصي بقراءةلماذا تُعد سرعة الموقع مهمة في التجارة الإلكترونية؟كيف يعمل robots.txt مع السيو التقني معًا؟
robots.txt هو طبقة الزحف في السيو التقني؛ ويكتسب معناه عندما يعمل مع خريطة الموقع وcanonical وnoindex وإعادة التوجيه. والقاعدة المنفردة لا تعطي نتيجة إذا تعارضت مع الإشارات المحيطة بها.
| الأداة | السؤال الذي تجيب عنه | العلاقة مع robots.txt |
|---|---|---|
| Robots.txt | هل يُسمح بدخول هذا العنوان؟ | يدير الزحف |
| خريطة الموقع | ما الصفحات التي أريد أن تُزحف؟ | يجب ألا تكون عناوين الخريطة محجوبة |
| Canonical | ما هو العنوان الأصلي لهذا المحتوى؟ | الصفحة المحجوبة لا يمكن أن تُقرأ فيها canonical |
| Noindex | هل يجب أن تظهر هذه الصفحة في النتائج؟ | يجب أن يتمكن الزاحف من دخول الصفحة |
| إعادة توجيه 301 | أين أصبح هذا العنوان الآن؟ | يجب ألا يكون العنوان القديم محجوبًا |
الترتيب العملي كما يلي: قرروا أولًا أي الصفحات تريدون زحفها وفهرستها، ثم عبّروا عن هذا القرار بالأداة المناسبة. يُستخدم robots.txt في الغالب لـ«المساحة اللانهائية عديمة القيمة»؛ أما قرار «ألا تظهر هذه الصفحة في النتائج» فالأنسب له noindex، وقرار «هذا المحتوى ليس هنا بل هناك» فالأنسب له إعادة التوجيه وcanonical. ولضبط هذه الإعدادات معًا على مستوى المتجر ستجدون دليل كيف تُضبط إعدادات السيو لـالتجارة الإلكترونية، وكيفية تقوية صفحات الفئات في مقال السيو لصفحات الفئات. ويشرح مقال الصفحات القانونية لموقع التجارة الإلكترونية كيفية تنظيم الصفحات القانونية والمؤسسية للمتجر.
إدارة robots والزحف مع Faprika
في بنية التجارة الإلكترونية من Faprika تُعد إعدادات محركات البحث مثل robots وخريطة الموقع جزءًا من إدارة السيو للمتجر. وفي مقارنة ميزات الباقات يوضح سطر «Canonical / إدارة وسوم H / Robots / Sitemap» منطقة الإدارة هذه؛ أما لنقل العناوين وإدارة العناوين القديمة فيوجد سطر «لوحة 301 / 302 / 410 / إدارة سجلات العناوين».
كما تتضمن مقارنة الباقات ميزات مثل «التحديث التلقائي الجماعي لمعلومات السيو/الميتا» للعناوين والأوصاف و«تقارير السيو» لمتابعة أداء المتجر في البحث. وقد تختلف أدوات إدارة السيو التي تشملها كل باقة؛ وللاطلاع على النطاق الحالي راجعوا صفحة باقات التجارة الإلكترونية. ولمعرفة ما يقابل أي تغيير في ملف robots داخل متجركم ونطاقه، فإن أضمن طريق هو استشارة فريق Faprika: فتحددون معًا المناطق التي تُدار من اللوحة.
التفكير في الإعداد العام للسيو مع دليل كيف تُضبط إعدادات السيو لـالتجارة الإلكترونية، وفي نقل العناوين مع دليل إعادة التوجيه 301، وفي قرارات الخريطة والعنوان الواحد مع مقالي خريطة الموقع ووسم canonical، يجعل متجركم يرسل رسالة متسقة إلى محركات البحث.
الأسئلة الشائعة
ما هو robots.txt؟
ملف robots.txt هو ملف نصي عادي يوجد في الدليل الجذر للموقع ويُعلم زواحف محركات البحث بالعناوين التي يمكنها دخولها وتلك التي ينبغي ألا تدخلها. وهو ليس أمرًا بل طلب؛ وتلتزم به معظم الزواحف الأمينة. إنه يدير الزحف ولا يُخرج الصفحات من الفهرس.
أين يوجد ملف robots.txt؟
يوجد في الدليل الجذر لكل اسم نطاق، على العنوان /robots.txt. ويجب أن يكون لكل نطاق فرعي ملفه الخاص. يُسمّى الملف بأحرف صغيرة، ويجب أن يكون نصًا عاديًا وأن يفتح برمز الحالة 200. ويمكنك رؤية محتواه بكتابة magazaadresiniz/robots.txt في المتصفح.
هل robots.txt وnoindex الشيء نفسه؟
لا. يمنع robots.txt الزاحف من دخول عنوان ما، أما noindex فيطلب ألا تظهر الصفحة في نتائج البحث. والصفحة المحظورة بـ robots.txt قد تظهر في الفهرس بعنوانها إذا كانت تتلقى روابط من مواقع أخرى. ولإخراج الصفحة من النتائج يجب أن يتمكن الزاحف من دخولها وقراءة noindex؛ ولذلك ينبغي ألا تحظر الصفحة نفسها بـ robots.txt.
ما الذي يجب حجبه عبر robots.txt في التجارة الإلكترونية؟
تُحظر عادةً خطوات السلة والدفع، وحساب العميل وصفحات تسجيل الدخول، ونتائج البحث داخل الموقع، والعناوين ذات معلمات التصفية والفرز العشوائية، ومناطق الإدارة والاختبار. أما صفحات المنتجات والفئات والمدونة وملفات CSS وJavaScript والصور فلا ينبغي حظرها.
ماذا يفعل Disallow: / في robots.txt؟
يغلق الموقع بالكامل أمام الزواحف. ويُستخدم غالبًا في موقع الاختبار قبل النشر؛ وإذا انتقل بالنسيان إلى الموقع الفعلي بدأ المتجر يختفي من نتائج البحث. ويمنع فحص ملف robots.txt بعد كل نشر وتغيير هذا الخطأ.
هل يمكنني حظر زواحف الذكاء الاصطناعي بـ robots.txt؟
نعم، فمعظم زواحف الذكاء الاصطناعي تعرّف بنفسها باسم user-agent الخاص بها وتذكر أنها تلتزم بقواعد robots.txt. ويمكنك كتابة مجموعة مستقلة لزاحف معيّن وإغلاق الموقع كله أو أجزاء منه أمامه. لكن robots.txt مجرد طلب ولا يمكن ضمان التزام الجميع به. وإذا كنت تريد الظهور في مساعدي الذكاء الاصطناعي ففكّر قبل الحظر الشامل.
