المحتويات 10 أقسام
- ما هي ميزانية الزحف (Crawl Budget)؟
- كيف تزحف روبوتات محركات البحث الموقع؟
- لمن تُعدّ ميزانية الزحف مهمة؟
- ما الذي يستهلك ميزانية الزحف في التجارة الإلكترونية؟
- كيف تكتشف مشكلة في ميزانية الزحف؟
- كيف تُحسَّن ميزانية الزحف؟
- ما الأخطاء الشائعة في تحسين ميزانية الزحف؟
- قائمة التحقق من ميزانية الزحف
- إدارة الزحف مع Faprika
- الأسئلة الشائعة
تخيّل أنك أضفت بالأمس مجموعة جديدة إلى متجرك ونشرت مئات المنتجات. تمرّ الأيام وما زال معظم هذه المنتجات لا يظهر في نتائج البحث. في كثير من الأحيان لا يكون السبب جودة المحتوى ولا المنافسة؛ بل إن روبوت محرك البحث يقضي وقته بين تركيبات الفلاتر وخيارات الترتيب والعناوين القديمة دون أن يصل إلى منتجاتك. هذا هو موضوع هذا الدليل: ما هي ميزانية الزحف، ومتى تتحول إلى مشكلة حقيقية، وكيف تُدار في موقع التجارة الإلكترونية.
نشرح في الدليل أولًا كيف تتجول الروبوتات في الموقع، ومكوّني ميزانية الزحف، ولمن تُعدّ مهمة. بعد ذلك ستجد المصادر الستة التي تستنزف الميزانية في التجارة الإلكترونية، وطرق الاكتشاف عبر سجلات الخادم وتقارير الزحف، وأدوات الحل (robots.txt وcanonical وإعادة التوجيه وخريطة الموقع والروابط الداخلية والسرعة)، والأخطاء الشائعة، وقائمة تحقق. كما ستجد داخل النص إجابة متوازنة عن سؤال «هل يعنيني هذا الموضوع في موقعي الصغير؟».
ما هي ميزانية الزحف (Crawl Budget)؟
ميزانية الزحف هي عدد الصفحات التي يستطيع روبوت محرك البحث زيارتها في موقع ما خلال فترة زمنية معينة ويرغب في زيارتها. وتتكوّن من عنصرين: وتيرة الزحف التي يتحمّلها خادمك (حدّ سرعة الزحف)، ومدى رغبة الروبوت في زحف موقعك (الطلب على الزحف).
لكي تتمكن محركات البحث من رؤية الصفحات، عليها أولًا أن تجدها ثم تنزّلها وتفحصها. تُسمّى البرمجيات التي تقوم بهذه المهمة روبوتات الزحف أو العناكب. يبدأ الروبوت من عناوين معروفة، ويكتشف عناوين جديدة باتباع الروابط في الصفحة، ثم يرتّب ما وجده في طابور. ولأنه من المستحيل التجول في كل مواقع العالم بسرعة غير محدودة، فلكل موقع «وقت مخصَّص» إن صح التعبير. ويُسمّى هذا الوقت المخصَّص ميزانية الزحف.
لا تُعرض الميزانية كرقم ثابت ولا يمكن معرفتها بدقة من الخارج؛ فهي تختلف من موقع إلى آخر ومن وقت إلى آخر. لذلك لا نذكر في هذا المقال أرقامًا أو حدودًا. المهم هو فهم كيفية عمل الميزانية وما الذي يستنزفها.
حدّ سرعة الزحف
حدّ سرعة الزحف هو وتيرة الطلبات التي يستطيع الروبوت إجراءها دون إرهاق خادمك. فإذا كان الخادم يستجيب بسرعة واستقرار، استطاع الروبوت التجول بأريحية أكبر؛ وإذا لاحظ بطئًا أو انتهاء مهلة أو أخطاء في الخادم خفّض وتيرته. أي أن سرعة موقعك لا تؤثر في تجربة الزائر فحسب، بل في عدد الصفحات التي يستطيع الروبوت رؤيتها أيضًا. وللاطلاع على جانب الزائر، راجع مقالي لماذا تُعدّ سرعة الموقع مهمة في التجارة الإلكترونية وما هو Core Web Vitals.
طلب الزحف
الطلب على الزحف هو مدى رغبة الروبوت في زحف موقعك. وتحدده عوامل مثل مدى أهمية الصفحات في نظره، وعدد مرات تغيّرها، ومدى «قِدَم» العناوين المعروفة. فالصفحات التي تُحدَّث كثيرًا وتتلقى روابط كثيرة قد تُزار أكثر، أما التي لم تتغير منذ سنوات ولا يربط إليها أحد فقد تتراجع إلى الخلفية. وإذا تضخّم عدد العناوين في موقعك، توزّع الطلب بين الصفحات المهمة.
نوصي بقراءةما هو Robots.txt؟ الاستخدام الصحيح لموقع التجارة الإلكترونيةكيف تزحف روبوتات محركات البحث الموقع؟
يعثر الروبوت أولًا على عنوان، ثم يطلب الصفحة، ويحلّل محتواها، ويضيف الروابط الموجودة فيها إلى الطابور كعناوين جديدة. وتغذّي هذه الدورة مصادر كثيرة، مثل خريطة الموقع والروابط الداخلية والروابط الخارجية.
- الاكتشاف. يتعرّف الروبوت على العناوين من خريطة الموقع والروابط الداخلية في الصفحات والروابط القادمة من مواقع أخرى.
- التحقق من الأذونات. قبل الذهاب إلى الصفحة يطّلع على قواعد ملف robots.txt، ولا يدخل العناوين المحظورة.
- الطلب. يطلب الصفحة من الخادم، فيرد الخادم برمز حالة مثل 200 أو 301 أو 404 أو 5xx.
- الفحص. يحلّل محتوى الصفحة وعنوانها ووسم canonical والبيانات المنظَّمة والروابط فيها.
- الترتيب. يضع العناوين الجديدة التي يجدها في طابور الزحف، ويقرر أيها يعود إليه ومتى وفق أولوياته الخاصة.
هناك نقطة ينبغي الانتباه إليها: الزحف والفهرسة ليسا الشيء نفسه. فقد يزحف الروبوت صفحة ولا تعجبه، أو يعدّها نسخة من عنوان آخر فلا يفهرسها. الزحف شرط مسبق للفهرسة، لكن ليست كل صفحة مزحوفة تظهر في الفهرس. ومن المفيد تذكّر الموضوعات التي تناولناها منفصلةً بشأن مشكلات الفهرسة: فمقالا ما هو المحتوى المكرر وما هو وسم canonical يكمّلان العلاقة بين هذين المفهومين.
لمن تُعدّ ميزانية الزحف مهمة؟
تكون ميزانية الزحف أكثر أهمية للمواقع الكبيرة التي تولّد عددًا كبيرًا من العناوين وللمواقع التي يتغير محتواها باستمرار. أما في موقع صغير ومنظَّم فلا تكون عادةً مشكلة في حد ذاتها.
ينبغي تجنّب المبالغة في هذا الموضوع. ففي متجر يضم بضع مئات من الصفحات وبنية عناوين نظيفة، لا يُعدّ تجوّل الروبوت في جميع الصفحات مشكلة في الغالب؛ وفي موقع كهذا يكون من الأجدى تخصيص الوقت لجودة المحتوى وصفحات المنتجات والروابط الداخلية بدلًا من «تحسين ميزانية الزحف». في المقابل، ينبغي أخذ الموضوع بجدية في الحالات التالية:
- المتاجر التي تضم عددًا كبيرًا من المنتجات والفئات،
- المواقع التي تترك صفحات الفلاتر والترتيب ونتائج البحث مفتوحة كعناوين،
- المتاجر التي يتغير مخزونها وأسعارها كثيرًا أو التي تضيف عددًا كبيرًا من المنتجات وتحذفها باستمرار،
- المواقع التي تمرّ بـعملية نقل أو تغيير عناوين أو إعادة هيكلة،
- المواقع التي تستغرق فهرسة صفحاتها المنشورة حديثًا وقتًا طويلًا.
| الحالة | هل تُعدّ ميزانية الزحف مشكلة؟ | ماذا ينبغي فعله أولًا؟ |
|---|---|---|
| صفحات قليلة وعناوين نظيفة | عادةً لا | ركّز على المحتوى والروابط الداخلية |
| منتجات كثيرة والفلاتر تولّد عناوين | يمكن | أدِر عناوين الفلاتر والترتيب |
| عناوين مكررة كثيرة | يمكن | نظّم canonical وإعادة التوجيه |
| الصفحات الجديدة تتأخر في الفهرسة | قد تكون كذلك؛ وقد توجد أسباب أخرى | راجع أولًا جودة الصفحات والروابط |
| بعد النقل أو تغيير العناوين | قد تشتدّ بشكل مؤقت | حافظ على نظافة إعادة التوجيه وخريطة الموقع |
ما الذي يستهلك ميزانية الزحف في التجارة الإلكترونية؟
في التجارة الإلكترونية، أكثر المصادر استنزافًا للميزانية هي عناوين الفلاتر والترتيب، والصفحات المكررة، وسلاسل إعادة التوجيه، وصفحات الخطأ، والترقيم اللانهائي للصفحات، وبطء استجابة الخادم. القاسم المشترك بينها أنها تجعل الروبوت يضيع وقته في عناوين قليلة القيمة.
| المصدر | لماذا تستنزف الميزانية؟ | اتجاه الحل العام |
|---|---|---|
| عناوين التصفية والترتيب | كل تركيبة هي عنوان جديد؛ فتُزحف المنتجات نفسها مرارًا بترتيب مختلف | robots.txt وcanonical ومراجعة الروابط الداخلية |
| الصفحات المكررة | وجود المحتوى نفسه في عدة عناوين يُجبر الروبوت على قراءة الشيء نفسه مرة أخرى | canonical وإعادة توجيه 301 والدمج |
| سلاسل إعادة التوجيه | كل حلقة هي طلب منفصل؛ فيستهلك الروبوت عدة طلبات حتى يصل إلى الوجهة | إعادة توجيه واحدة مباشرة إلى الوجهة |
| صفحات الخطأ | يحاول الروبوت مرارًا زيارة عناوين 404 التي ما زالت تتلقى روابط | صحّح الروابط واستخدم 301 حيثما يلزم |
| ترقيم صفحات لا نهائي | الصفحات التي لا تنتهي أو الروابط الشبيهة بالتقويم تُدخل الروبوت في مسار لا نهاية له | قيّد الترقيم وأنشئ سلسلة روابط واضحة |
| استجابة بطيئة | عندما يتأخر الخادم في الاستجابة يخفّض الروبوت وتيرته | تحسين السرعة والخادم |
1. عناوين الفلاتر والترتيب
في صفحة الفئة، تُضاف خيارات اللون والمقاس ونطاق السعر والترتيب غالبًا إلى العنوان كمعاملات. وكل تركيبة تصبح عنوانًا مستقلًا، ويتضاعف عدد التركيبات بسرعة كلما زادت الخيارات. فمثلًا، حتى فئة فيها بضعة فلاتر وبضعة خيارات ترتيب فقط قد تولّد عددًا كبيرًا من العناوين إذا استُخدمت كلها معًا. وبينما يزور الروبوت هذه العناوين واحدًا تلو الآخر، يقلّ الوقت المخصَّص للوصول إلى صفحات المنتجات الفعلية.
الهدف هنا ليس منع الزائر من استخدام الفلاتر، بل منع الروبوت من الخروج لاستكشاف كل تركيبة. أما صفحات الفلاتر التي لها طلب بحثي حقيقي (مثل لون ونوع منتج يبحث عنهما الناس بالاسم) فيمكن التعامل معها كصفحة مستقلة؛ ويمكن وسم الباقي بـ canonical يشير إلى الفئة الأصلية أو إغلاقه أمام الزحف عبر robots.txt. ولتجربة الفلترة والبحث يفيدك أيضًا دليل تحسين فلترة المنتجات وشريط البحث في التجارة الإلكترونية.
2. الصفحات المكررة
النسخة التي تحتوي على www والتي لا تحتوي عليها من الصفحة نفسها، والشكل بشرطة مائلة في النهاية وبدونها، والروابط ذات معاملات التتبع، أو العناوين المنفصلة لمتغيّرات المنتج، كلها صفحات مستقلة في نظر الروبوت. فيزورها جميعًا، ويرى أن المحتوى واحد، ومع ذلك يعود إليها في الزيارة التالية. وكلما زادت العناوين المكررة زادت الميزانية الضائعة. شرحنا الأسباب وخيارات الحل بالتفصيل في مقال ما هو المحتوى المكرر.
3. سلاسل إعادة التوجيه
إذا كان عنوان يعيد التوجيه إلى عنوان آخر، وهذا إلى ثالث، فهذه سلسلة. وتتراكم مثل هذه السلاسل مع الوقت نتيجة عمليات النقل وتعديلات العناوين المتكررة في الموقع: من العنوان القديم A إلى B، ومن B إلى C. يجري الروبوت طلبًا منفصلًا لكل حلقة حتى يصل إلى الوجهة؛ وفي السلاسل الطويلة قد يتوقف عند نقطة ما. والحل هو إعادة توجيه كل عنوان قديم مباشرة إلى الوجهة النهائية في خطوة واحدة. ولفهم منطق إعادة التوجيه، يُعدّ مقال ما هي إعادة التوجيه 301 نقطة بداية جيدة.
نوصي بقراءةما هي إعادة التوجيه 301؟ دليل الاستخدام الصحيح في التجارة الإلكترونية4. صفحات الخطأ (404) وصفحات soft 404
إذا بقيت عناوين المنتجات المحذوفة في الروابط الداخلية أو في خريطة الموقع أو في روابط من مواقع أخرى، يواصل الروبوت الذهاب إليها ويتلقى 404 في كل مرة. عدد قليل من أخطاء 404 أمر طبيعي؛ المشكلة أن يستمر موقعك نفسه في الربط إلى عناوين تُرجع 404. وهناك أيضًا ما يُسمّى «soft 404»: تُرجع الصفحة رمز الحالة 200، لكن محتواها يقول «المنتج غير موجود». وقد يظنّ الروبوت هذه الصفحات صفحات حقيقية فيواصل زحفها. ولإعداد صفحة الخطأ بشكل صحيح، راجع دليل ما هي صفحة 404.
5. الترقيم اللانهائي للصفحات ومساحات الروابط اللانهائية
الترقيم جزء طبيعي من قوائم المنتجات؛ لكن إذا كان رقم الصفحة يمكن أن يزداد بلا حدود، أو كانت الصفحات الفارغة نفسها تُفتح كعناوين، فإن الروبوت يسير في طريق لا نهاية له. وتظهر المشكلة نفسها في الروابط الشبيهة بالتقويم التي يمكن التقدّم والتراجع فيها إلى ما لا نهاية، وفي صفحات نتائج البحث التي تولّد عنوانًا جديدًا مع كل نقرة. وتُشرح تفاصيل إعداد الترقيم بشكل صحيح في مقال سيو الترقيم.
6. بطء استجابة الخادم
عندما يستجيب الخادم ببطء، يخفّض الروبوت وتيرة زحفه كي لا يضر بالخادم، فيتصفّح عددًا أقل من الصفحات في الوقت نفسه. وفي فترات الحملات المكثفة، يؤدي إجهاد الخادم أو استخدام قوالب صفحات ثقيلة دون داعٍ إلى إبطاء الزائر والروبوت معًا.
كيف يتم اكتشاف مشكلة ميزانية الزحف؟
لاكتشاف مشكلة ميزانية الزحف، عليك أن تنظر إلى العناوين التي يزورها الروبوت فعليًا في موقعك. وهناك مصدران أساسيان: سجلات الخادم وإحصاءات الزحف التي يوفرها محرك البحث.
سجلات الخادم (ملفات السجل)
سجلات الخادم هي ملفات يُدوَّن فيها كل طلب يصل إلى الموقع سطرًا بسطر. ويتضمن كل سطر عادةً الوقت واسم العميل (بما في ذلك اسم الروبوت) والعنوان المطلوب ورمز الحالة الذي أعاده الخادم. وهي أدق بيانات تُظهر كيف يوزّع الروبوت زياراته على العناوين، لأنها لا تقوم على التخمين بل تعرض الطلبات الفعلية.
عند مراجعة السجلات، ابحث عن إجابات للأسئلة التالية:
- ما الأقسام (الفئة، المنتج، الفلتر، البحث، المدونة) التي يزورها الروبوت أكثر من غيرها؟
- ما حجم حصة العناوين ذات المعاملات (الترتيب، الفلتر، التتبع) مقارنةً بصفحاتك الأساسية؟
- هل تُعاد استجابات 301 أو 404 أو 5xx بكثرة؟ وفي أي عناوين؟
- هل تتأخر زيارة صفحاتك الجديدة المهمة كثيرًا أو لا تُزار إطلاقًا؟
- هل يشير اسم الروبوت إلى روبوت حقيقي لمحرك بحث أم إلى عميل ينتحل صفته؟
يختلف الوصول إلى ملفات السجل بحسب نوع الاستضافة؛ ففي البنية التحتية الجاهزة للمتاجر قد لا يتوفر لك وصول مباشر إلى هذه الملفات. وفي هذه الحالة ينبغي طلبها من مزوّد البنية التحتية أو من فريقك التقني.
إحصاءات الزحف من محرك البحث
تتضمن الأدوات التي تقدمها محركات البحث لأصحاب المواقع عادةً قسمًا باسم «إحصاءات الزحف» أو ما يشابهه. ستجد فيه معلومات موجزة عن تغيّر طلبات الروبوت إلى موقعك مع الوقت، ورموز الحالة التي تُعاد، وأنواع الملفات التي يتم زحفها، وسرعة استجابة الخادم. وهي ليست مفصّلة مثل سجلات الخادم، لكنها بداية سهلة لمتابعة الاتجاه العام. وقد يكون الانخفاض المفاجئ في عدد الطلبات أو تراجع سرعة الاستجابة أو ارتفاع معدل الأخطاء من علامات مشكلة في الميزانية.
فحوصات يدوية سريعة
- أحصِ العناوين ذات المعاملات. اختر فلترًا وترتيبًا في صفحة الفئة ثم انظر إلى شريط العنوان؛ فإذا أُضيفت الاختيارات إلى العنوان، فإن كل تركيبة تُعد عنوانًا مستقلًا.
- افحص خريطة الموقع. إذا كانت فيها عناوين تعيد التوجيه أو تعيد 404 أو عناوين مكررة، فأنت تستدعي الروبوت إلى المكان الخطأ. وللتفاصيل راجع دليل ما هي خريطة الموقع.
- راجع الروابط الداخلية. هل تؤدي الروابط في القائمة والتذييل وصفحات المنتجات إلى عناوين تعيد التوجيه أو عناوين مكررة؟
- جرّب سلاسل إعادة التوجيه. افتح عنوانًا قديمًا وانظر في كم خطوة يصل إلى الوجهة.
- كرّر قياس السرعة. دوّن الصفحات التي تكون فيها استجابة الخادم بطيئة.
كيف تتم تهيئة ميزانية الزحف؟
طريقة تهيئة ميزانية الزحف هي توجيه وقت الروبوت إلى الصفحات القيّمة وتقليل العناوين عديمة القيمة. ولذلك يُستخدم robots.txt وcanonical وإعادة التوجيه وخريطة الموقع والروابط الداخلية وسرعة الخادم معًا.
| الأداة | ماذا يفعل؟ | متى يُختار؟ |
|---|---|---|
| robots.txt | يمنع الروبوت من دخول أنماط معينة من العناوين | عناوين الفلاتر والبحث التي لا ينبغي زحفها إطلاقًا |
| وسم canonical | يبيّن أن العنوان المكرر يشير إلى العنوان الأصلي | العناوين التي يجب أن تبقى متاحة للزائر، مع ظهور الصفحة الأصلية في نتائج البحث |
| إعادة توجيه 301 | ينقل العنوان القديم إلى العنوان الجديد بشكل دائم | العناوين المحذوفة أو المدمجة بشكل دائم ونسخ العناوين |
| خريطة الموقع | يُعلم الروبوتات بالعناوين المهمة | العناوين الأصلية التي تريد فهرستها فقط |
| رابط داخلي | يقود الروبوت والزائر إلى الصفحات المهمة | اكتشاف الصفحات الجديدة والقيّمة |
| تحسين السرعة | يقلل زمن استجابة الخادم وحجم تحميل الصفحة | الحالات التي يخفّض فيها الروبوت وتيرته بسبب بطء الخادم |
إغلاق العناوين غير الضرورية باستخدام robots.txt
robots.txt ملف يخبر الروبوتات بأنماط العناوين التي لا ينبغي لها دخولها. وهو مفيد لعناوين الفلاتر والترتيب والبحث الداخلي التي لا ينبغي زحفها إطلاقًا. وهذا مثال على قاعدة (العناوين للتوضيح فقط ويجب تكييفها وفق بنية عناوين موقعك):
User-agent: *
Disallow: /*?sirala=
Disallow: /*?filtre=
Disallow: /arama
ثمة تنبيه مهم هنا: لا يزحف الروبوت العنوان المحظور بـ robots.txt، لكن هذا لا يعني أن العنوان لن يظهر في الفهرس إطلاقًا، لأنه إذا كانت تصله روابط من أماكن أخرى فقد يظل العنوان معروفًا. وعلاوة على ذلك، فإن عدم قدرة الروبوت على قراءة الصفحة المحظورة يمنعه أيضًا من رؤية علامة canonical أو noindex فيها. ولذلك فإن وضع حظر robots.txt وعلامة canonical على العنوان نفسه لا معنى له في معظم الأحيان. ويُشرح بالتفصيل أي أداة تُختار في أي حالة في مقال ما هو robots.txt.
الإشارة إلى العنوان الأصلي باستخدام canonical
إذا كان لا بد من أن تبقى صفحة الفلتر أو الترتيب متاحة للزائر، فإن الصفحة تشير إلى عنوان الفئة الأصلي بواسطة علامة canonical:
<link rel="canonical" href="https://magazaadresiniz/kategori/ayakkabi">
لا توقف علامة canonical زحف الروبوت بشكل مباشر؛ فهي مجرد إشارة قوية تبيّن أي عنوان هو الأصل. ويظل الروبوت يزور الصفحة. وبالتالي فإن canonical مفيدة جدًا للفهرسة ودمج الإشارات، لكنها وحدها لا تنقذ ميزانية الزحف؛ وإذا كانت مشكلة الميزانية كبيرة فينبغي النظر فيها مع robots.txt وتبسيط الروابط الداخلية. وللتفاصيل راجع مقال ما هي علامة canonical.
تبسيط إعادة التوجيه
ابحث عن السلاسل ووجّه كل عنوان قديم مباشرةً إلى الوجهة النهائية. ولا تترك في الروابط الداخلية للموقع عناوين تعيد التوجيه؛ بل حدّث الرابط ليشير مباشرةً إلى عنوان الوجهة. وبذلك يوفّر الروبوت والزائر معًا خطوة واحدة. وللاطلاع على ملاحظات مفيدة في تنظيم العناوين وإعادة الهيكلة، يمكنك الرجوع إلى مقال كيف ينبغي أن يكون هيكل عناوين URL.
الحفاظ على نظافة خريطة الموقع
خريطة الموقع هي القائمة التي تقول بها للروبوتات «هذه هي العناوين المهمة». فإذا كانت فيها صفحات تعيد التوجيه أو تعيد 404 أو تحمل علامة noindex أو يشير canonical فيها إلى عنوان آخر، فإن الروبوت يُستدعى إلى المكان الخطأ. وتحتوي خريطة الموقع الجيدة على العناوين الأصلية التي تريد فهرستها فقط والتي تعيد استجابة 200. وعند إضافة صفحات جديدة ينبغي أن تدخل إلى الخريطة، وعند حذف صفحات ينبغي أن تخرج منها. وتفاصيل هذا الموضوع في دليل ما هي خريطة الموقع.
نوصي بقراءةما هي خريطة الموقع (Sitemap)؟ الإعداد الصحيح لموقع التجارة الإلكترونيةتوجيه الروبوت إلى الصفحات الصحيحة عبر الروابط الداخلية
يتصفح الروبوت موقعك باتباع الروابط. فإذا أعطيت صفحة ما روابط داخلية كثيرة بدت أكثر أهمية وزادت احتمالية عودة الروبوت إليها؛ أما الصفحة التي لا تتلقى روابط من أي مكان فيصعب العثور عليها. ابتداءً من الصفحة الرئيسية والقائمة، احرص على أن يمكن الوصول إلى صفحات الفئات والمنتجات المهمة بأقصر طريق. وقلّل الروابط الداخلية المؤدية إلى عناوين مكررة أو عديمة القيمة: فمثلًا لا يلزم أن تكون جميع روابط الفلاتر روابط عادية يستطيع الروبوت اتباعها. وللاطلاع على تفاصيل بناء الروابط الداخلية، ستفيدك مقالتا ما هو الرابط الداخلي وتحسين محركات البحث لصفحة الفئة.
التحقق من ترقيم الصفحات والصفحات الفارغة
ينبغي أن تُظهر كل صفحة ترقيم عنوانها الخاص، وأن تكون هناك سلسلة روابط واضحة بين الصفحات. وإن وُجدت عناوين صفحات فارغة تُفتح رغم انتهاء المنتجات فتأكد من أنها تعيد 404 أو من أنها لا تُنشأ أصلًا. إن تقسيم منتجات الفئات بهيكل معقول يريح الزائر والروبوت معًا.
تحسين سرعة الخادم واستقراره
عندما يتلقى الروبوت استجابات بطيئة يخفّض وتيرته؛ أما الخادم السريع والمستقر فيتيح تصفح عدد أكبر من الصفحات في الوقت نفسه. ويفيد إبقاء الصور خفيفة وتقليل السكربتات غير الضرورية والاستفادة من التخزين المؤقت تجربةَ الزائر والزحف معًا. ولتحسين السرعة يمكنك الرجوع إلى دليل سرعة الموقع في التجارة الإلكترونية.
ما الأخطاء الشائعة في تهيئة ميزانية الزحف؟
أكثر الأخطاء شيوعًا هو محاولة معالجة كل العناوين المكررة بالطريقة نفسها، والتدخل دون داعٍ في موقع لا يعاني من مشكلة في الميزانية. والأخطاء التالية أمثلة كثيرة الحدوث في التطبيق.
- حظر صفحات مهمة بالخطأ باستخدام robots.txt. قد تعمل القاعدة على نطاق أوسع من المتوقع فتحظر صفحات المنتجات أو الفئات أيضًا. اختبر العناوين المهمة بعد كل تغيير.
- الظن بأن canonical ستحل الميزانية وحدها. لا توقف canonical الزحف؛ فهي تشير إلى العنوان الأصلي فقط.
- وضع noindex على الصفحات مع إبقاء الروابط إليها. تظل الصفحات ذات noindex تُزحف؛ ووصول الروبوت إليها يستهلك من الميزانية.
- ترك سلاسل إعادة التوجيه. إن إضافة حلقة جديدة عند كل نقل بدلًا من ربط العنوان القديم بالوجهة النهائية يطيل السلسلة.
- وضع كل شيء في خريطة الموقع. إذا بقيت العناوين المكررة والتي تعيد التوجيه وذات noindex في الخريطة فإنها تفقد مصداقيتها.
- التدخل المفرط في موقع لا يعاني من مشكلة. إن كتابة قواعد robots.txt معقدة في موقع صغير يزيد خطر حظر صفحات مفيدة عن طريق الخطأ.
- اتخاذ القرار دون قياس. إن القول «الميزانية لا تكفي» دون النظر إلى السجلات قد يخفي السبب الحقيقي (جودة المحتوى أو نقص الروابط).
- عدم المتابعة بعد تطبيق الحل. لمعرفة كيف انعكس التغيير على سلوك الروبوت، عُد إلى القياس نفسه بعد بضعة أسابيع.
قائمة التحقق من ميزانية الزحف
القائمة التالية هي النسخة النصية لنقاط المخطط؛ ويمكنكم مراجعة متجركم بهذا الترتيب.
- عناوين الفلاتر والترتيب مُدارة: غير الضروري منها مغلق أمام الزحف أو يشير إلى العنوان الأصلي.
- العناوين المكررة موسومة بـ canonical؛ ونسخ العنوان (www وhttp والشرطة المائلة الأخيرة) تُوجَّه إلى نسخة واحدة.
- إعادة التوجيه تذهب مباشرةً إلى الوجهة في خطوة واحدة؛ والروابط الداخلية لا تستخدم عناوين تعيد التوجيه.
- العناوين التي تتلقى روابط لا تعيد 404؛ والصفحات المحذوفة تُوجَّه إلى المكان المناسب.
- لا توجد في خريطة الموقع إلا العناوين الأصلية التي تعيد استجابة 200.
- الترقيم محدود وروابطه واضحة؛ والصفحات الفارغة لا تُفتح كعناوين.
- استجابة الخادم سريعة ومستقرة؛ ولا يتعثر في فترات الازدحام.
- يمكن الوصول بأقصر طريق إلى صفحات الفئات والمنتجات المهمة من القائمة والروابط الداخلية.
- تُراجَع سجلات الخادم أو إحصاءات الزحف على فترات منتظمة.
إدارة الزحف مع Faprika
في Faprika تقع عدة أدوات إدارة تؤثر في ميزانية الزحف ضمن إعدادات تحسين محركات البحث. ووفقًا لدرس إعدادات تحسين محركات البحث في مركز المساعدة، يوجد في قسم SEO ضمن التهيئة ثم الإعدادات ثم الإعدادات العامة خيار عنوان canonical؛ ويساعد هذا الإعداد على تحديد عناوين الصفحات المفردة. ويتناول الدرس نفسه فحص اسم النطاق والوصول المتسق إلى نسختي العنوان مع www وبدونها؛ وإن توحيد نسخ العنوان في نسخة واحدة يقلل زيارة الروبوت للصفحة نفسها عبر عدة عناوين.
يتضمن بند «Canonical / إدارة وسوم H / Robots / Sitemap» في مقارنة ميزات الباقات إدارة canonical ووسوم العناوين وrobots وخريطة الموقع؛ ويتضمن بند «لوحة 301 / 302 / 410 / إدارة سجلات URL» إدارة إعادة التوجيه وسجلات العناوين. كما أن بندي «التحديث التلقائي الجماعي لمعلومات SEO/الوصف» و«تقارير SEO» من بين الأدوات التي تسهّل هذه الأعمال. وقد يختلف ما تتضمنه كل باقة من هذه الأدوات بحسب الباقة؛ وللاطلاع على النطاق الحالي يمكنك زيارة صفحة باقات التجارة الإلكترونية.
يُشرح تحرير معلومات SEO للمنتجات والفئات على مستوى كل منتج في درس إدارة الكتالوج. ويقلل الحفاظ على انتظام إعدادات الكتالوج والوسائط من مصادفة الروبوت عناوين غير ضرورية أو معطوبة. ولتخطيط الأدوات معًا بحسب بنية متجرك بدلًا من إعدادها واحدة تلو الأخرى، يمكنك الرجوع إلى دليل كيف تُضبط إعدادات SEO للتجارة الإلكترونية، ولشرح الصفحات لمحرك البحث إلى مقال ما هي البيانات المنظَّمة. وإذا كان لديك متجر متعدد اللغات فإن مقال ما هي علامة hreflang مكمّل له لربط نسخ اللغات ببعضها.
الأسئلة الشائعة
ما هي ميزانية الزحف؟
ميزانية الزحف هي عدد الصفحات التي يستطيع روبوت محرك البحث زيارتها في موقع ما خلال فترة زمنية معينة ويرغب في زيارتها. وتتحدد بالجمع بين وتيرة الزحف التي يتحمّلها خادمك (حدّ سرعة الزحف) ومدى رغبة الروبوت في زحف موقعك (الطلب على الزحف).
هل يمكن أن تكون ميزانية الزحف مشكلة لموقع تجارة إلكترونية صغير؟
عادةً لا. ففي موقع يضم عددًا قليلًا من الصفحات وبنية عناوين نظيفة، يستطيع الروبوت زيارة جميع الصفحات. وتصبح المسألة جدّية في المتاجر الكبيرة التي تولّد عددًا كبيرًا من عناوين المنتجات والفلاتر والترتيب، أو التي تضيف المحتوى وتحذفه باستمرار.
ما الذي يستهلك ميزانية الزحف أكثر من غيره؟
في التجارة الإلكترونية أكثر الأسباب شيوعًا هي عناوين الفلاتر والترتيب والصفحات المكررة وسلاسل إعادة التوجيه والعناوين المعطوبة والترقيم اللانهائي وبطء استجابة الخادم. والقاسم المشترك بينها هو أن الروبوت يقضي وقته في عناوين قليلة القيمة.
كيف يمكن اكتشاف مشكلة في ميزانية الزحف؟
أدقّ طريقة هي مراجعة سجلات الخادم لمعرفة العناوين التي يزورها الروبوت. إضافةً إلى ذلك، تعرض إحصاءات الزحف التي يوفرها محرك البحث اتجاه طلبات الروبوت ورموز الحالة وسرعة الاستجابة. قد يكون تأخر فهرسة الصفحات الجديدة مؤشرًا، لكنه لا يكفي وحده كدليل.
هل تحمي وسم canonical ميزانية الزحف؟
وحده لا. فـ canonical إشارة قوية تدل على العنوان الأصلي وتفيد كثيرًا في الفهرسة ودمج الإشارات، لكن الروبوت قد يظل يزور الصفحة التي تحمل canonical. أما العناوين التي لا ينبغي زحفها إطلاقًا فيناسبها robots.txt، والعناوين المنقولة نقلًا دائمًا يناسبها إعادة توجيه 301.
هل تختفي من الفهرس صفحة أحجبها عبر robots.txt؟
ليس دائمًا. فـ robots.txt يمنع الروبوت من زحف الصفحة، لكن إذا كان العنوان يتلقى روابط من أماكن أخرى فقد يظل معروفًا. وإذا أردت ألا تظهر الصفحة في الفهرس، فقد يلزم الجمع بين السماح بالزحف وإشارة مثل noindex؛ فاختر الأداة المناسبة بحسب هدف الصفحة.
