الروابط وميزانية الزحف: حالة Botify

تُناقَش ميزانية الزحف عادة نظريًا: لدى Googlebot وقت وطلبات محدودة، فاستخدمها بحكمة. وتضع حالة نشرتها Botify لموقع كبير على نمط المبوّبات أرقامًا حقيقية لما يحدث حين يكون الربط الداخلي هو ما يمنع هذه الميزانية من الوصول إلى معظم الصفحات.

ما الذي كان معطلًا؟#

كان في الموقع، وهو سوق أمريكية لبيع المركبات عبر الإنترنت، نحو 10 ملايين صفحة عند بدء المشروع. وتذكر أرقام Botify أن 9.9 مليون منها، أي 99%، لم تزحف إليها Google قط.

والسبب الذي تحدده Botify ليس عقوبة خوارزمية ولا حظرًا تقنيًا، بل بنيوي: في أكثر من 1.3 مليون صفحة قابلة للفهرسة رابط داخلي واحد بالضبط يشير إليها.

و2% فقط من عناوين URL التي زحفت إليها Google كانت داخل هيكل التنقل الفعلي للموقع. وذهب معظم ميزانية الزحف القليلة إلى عناوين خارج الصفحات المهمة، بينما بقيت صفحات إعلانات المركبات التي يفترض أن تجلب الزيارات العضوية بعيدة عمليًا عن مسار الزحف المعتاد.

وزادت إعلانات المركبات المنتهية المشكلة من جهة أخرى، فولّدت عمليات إعادة توجيه خفّضت حصة الصفحات القابلة للفهرسة، وأضافت عناوين URL قليلة القيمة إلى ما تلاقيه Google حين تزحف.

ماذا تغيّر وماذا تحرّك؟#

أوصت Botify بثلاث فئات من التغييرات نفّذها الموقع. الأولى تحديثات robots.txt لحظر صيغ الفرز والتصفية غير الحرجة. والثانية الربط الداخلي، بإضافة روابط من الصفحة الرئيسية إلى فئات المركبات وإعادة بناء مسار التنقل على مسار العميل الحقيقي: الصانع ثم الطراز ثم المدينة.

والثالثة خريطة موقع نُظّفت وأُخرجت منها الإعلانات المنتهية.

وخلال ستة أسابيع، بحسب Botify، انخفضت عناوين URL المعروفة إلى النصف تقريبًا، وارتفع متوسط الروابط الواردة لكل صفحة 15%، وزاد الزحف إلى الصفحات المهمة 19 ضعفًا عمّا كان، بعد التغييرات الثلاثة معًا. وبعد ثلاثة أشهر تذكر Botify أن الزيارات العضوية من البحث تضاعفت.

لماذا يهمك هذا؟#

حجم القفزة، أي زيادة الزحف 19 ضعفًا، دالة لمدى سوء نقطة البداية: موقع بـ 10 ملايين صفحة لم تزحف Google إلى 99% منها لديه مجال للتحسن أكبر بكثير من موقع عادي يحصل على تغطية زحف كافية.

وما ينتقل خارج هذا المشروع هو الآلية التي تسميها Botify لا المضاعِف. فصفحات برابط داخلي واحد، وميزانية زحف تذهب إلى عناوين URL خارج هيكل الموقع الفعلي، حالتان ملموستان قابلتان للتدقيق، لا كلامًا عامًّا عن ميزانية الزحف.

وأي موقع يحمل أحد النمطين على نطاق واسع لديه سبب محدد يمكن فحصه لنقص الزحف إلى صفحاته المهمة، أيًّا كان المضاعِف الذي سيعطيه إصلاحه.