من 34 مليون URL إلى 300 ألف: حالة REI

التنقل بالمرشحات (faceted navigation) مصدر معروف لهدر الزحف في المواقع الكبيرة، وصفحات فئات التجزئة أسرع مكان يتفاقم فيه الضرر: كل لون ومقاس وشريحة سعر وترتيب يمكن للمتسوق أن يجمعها قد يولّد عنوان URL قابلًا للزحف.

وضع فريق SEO التقني في REI رقمًا لهذا الضرر في قمة Crawl2Convert لعملاء Botify في أكتوبر 2019. وملخص Botify للحديث هو مصدر كل ما يلي.

ماذا وجدت REI وماذا فعلت؟#

قال Ryan Ricketts، مدير SEO التقني في REI، للقمة إن موقع فريقه يضم نحو 34 مليون عنوان URL مفتوح للزحف. ولا تفصّل Botify هذا الرقم: تقول إن البوتات تهدر ميزانية الزحف على صفحات غير ضرورية ومكررة وصفحات التنقل بالمرشحات، وتذكر أن فريق Ryan قلّل العناوين الناتجة عنه.

وتتضاعف تركيبات المرشحات والترتيب في صفحات الفئات: عدد قليل من المرشحات، لكل منها عدد قليل من القيم، ينتج عدد عناوين لا علاقة له بعدد المنتجات المختلفة التي يستطيع المتسوق بلوغها.

كان رد الفريق إغلاق هذه الفجوة بقوة: من 34 مليون عنوان قابل للزحف إلى 300 ألف.

ولا تعدّد Botify الآلية بدقة: وسوم canonical أو قواعد disallow في robots.txt أو noindex على التركيبات قليلة القيمة، وهي الأدوات التي صُمم محلل معاملات التنقل بالمرشحات لدينا لتمييز بعضها من بعض.

وما يقوله الملخص أن الفريق أعاد بعد ذلك عناوين مهمة تدريجيًا.

ما الذي لا يقوله المصدر؟#

هذه حكاية ميزانية زحف لا حكاية زيارات، ويجدر الدقة في هذه الفجوة. يقول ملخص Botify إن التنظيف أفاد ميزانية الزحف كثيرًا، وهو ادعاء نوعي لا يربطه بنسبة أو عدد صفحات مفهرسة أو رقم زيارات عضوية.

ولا تظهر في المصدر بيانات ترتيب ولا إيرادات ولا مدة لمرحلة إعادة العناوين. فاعتبر عدد العناوين، من 34 مليونًا إلى 300 ألف، الرقم الوحيد الصلب الذي تسنده الحكاية، وكل ما عداه وصف اتجاهي لا نتيجة مقاسة.

لماذا يهمنا هذا؟#

رقم REI مقياس مفيد لحجم سطح الزحف الذي قد يبلغه موقع تجزئة قبل أن يتدخل أحد: 34 مليون عنوان خُفّضت إلى 300 ألف.

وخطة REI ذات الخطوتين، اقطع بقوة أولًا ثم أعد العناوين المهمة تدريجيًا، ترتيب يستحق النظر قبل لمس أي مرشح في صفحة فئة حية. ولا يذكر الملخص كيف اختارت REI ما عاد، فاستخدم بيانات طلب البحث عندك لتقرر ما يستحق العودة عنوانًا قابلًا للزحف.