هل يوفر noindex ميزانية الزحف؟

يُلجأ إلى noindex كثيرًا علاجًا لميزانية الزحف: يوسم المرء الصفحات قليلة القيمة أو المرشحات أو تركيبات المعاملات الرقيقة بـ noindex، ويظن أن Google ستكف عن إهدار الطلبات عليها. وتقول وثائق Google نفسها إن هذا يفعل عكس ما يتوقعه أصحاب المواقع.

هل يظل noindex يكلف زحفًا؟#

نعم. يتناول دليل مالكي المواقع الكبيرة لإدارة ميزانية الزحف هذا النمط مباشرة لا عرضًا.

وتوجيهه ألا يُستخدم noindex لإدارة ميزانية الزحف، وسببه أن Google تطلب الصفحة أولًا، ولا تسقطها من الفهرس إلا بعد أن تتلقى الاستجابة وتقرأ وسم noindex. فالزحف قد حدث قبل أن يسري الأمر.

وتقول الوثائق صراحة إن هذا يضيّع وقت الزحف ولا يوفره، وهذا عكس ما يدفع أصحاب المواقع إلى وضع noindex على أقسام كبيرة.

وهذه خاصية بنيوية في طريقة عمل الوسم لا تحفظًا يخص بعض الحالات. فوسم meta الخاص بـ noindex يقع داخل HTML الصفحة، وعنوان HTTP الخاص به يقع في عناوين الاستجابة. وفي الحالتين على برنامج الزحف أن يجلب الاستجابة كاملة قبل أن يظهر أي من الموضعين له.

ولا سبيل لـ Googlebot إلى معرفة أن صفحة تحمل noindex دون أن يطلبها. فتبقى كل صفحة noindex في مشكلة ميزانية الزحف مكلفة الزحف كما كانت قبل الوسم، بلا نهاية، لأن Google تعيد طلبها لتتأكد أن الوسم ما زال قائمًا.

وترسم الوثائق نفسها حدًا موازيًا حول robots.txt لسبب مختلف. فهي تنصح كذلك بعدم استخدامه لإعادة توجيه ميزانية الزحف مؤقتًا إلى صفحات أخرى، وتخصصه للعناوين التي لا يجب زحفها أصلًا.

والتحذيران ليسا تحذيرًا واحدًا. يفشل noindex في ميزانية الزحف لأن الزحف يحدث على أي حال. ولا يُنصح بـ robots.txt لإعادة التوزيع المؤقت لأنه حظر دائم لا مفتاح تشغيل وإيقاف.

ما البديل وما كلفته؟#

يوثّق مدخل Google إلى robots.txt الآلية التي تمنع الزحف فعلًا: نمط عناوين URL محظور فيه لا يطلبه برنامج زحف Google في الحالة المعتادة، وهذه النتيجة المختلفة آليًا التي لا يحققها noindex.

وهذه الأداة التي يشير إليها إرشاد ميزانية الزحف لأقسام كبيرة من عناوين URL قليلة القيمة، ومنها النسخ المرتبة بشكل مختلف من الصفحة نفسها وصفحات infinite scroll المكررة في أمثلتها المذكورة، لأنها تلغي الطلب بدل أن تتركه يحدث ثم تتجاهل نتيجته.

وتحمل هذه الآلية كلفة موثقة خاصة بها، في الاتجاه المعاكس لمشكلة noindex. فصفحة مفهرسة قبل أن يبدأ robots.txt بحظرها قد تبقى في نتائج البحث بلا وصف، لأن Google لم تعد تزحف إلى هذا العنوان لتلاحظ أي شيء عنه، ومن ذلك وسم noindex أضيف بعد الحظر أو محتوى لم يعد موجودًا.

وتوضح وثائق robots.txt الحل: استخدم noindex، أو حظرًا آخر تستطيع Google قراءته، حين يكون الهدف إزالة صفحة من الفهرس. ولا تلجأ إلى robots.txt إلا بعد أن تتم الإزالة، أو للعناوين التي لم تُفهرس أصلًا.

والتسلسل أهم من أي من الآليتين وحدها. فالصفحة التي يجب أن تخرج من الفهرس عليها أن تبقى قابلة للزحف مدة كافية ليُقرأ noindex ويُنفَّذ. وحظرها في robots.txt أولًا يقطع هذا الطريق نهائيًا.

وقد تبقى صفحة محذوفة أو قديمة في النتائج بلا وصف ما دام الحظر قائمًا، لأن Google لا تملك وسيلة لإعادة فحصها. فالأداتان تحلان مشكلتين مختلفتين في نقطتين مختلفتين من عمر الصفحة، لا علاجين متنافسين لمشكلة واحدة.

لماذا يهمنا هذا؟#

العلاج الذي يُلجأ إليه أكثر لميزانية الزحف هو الذي تقول وثائق Google نفسها إنه لا يفيد لهذا الغرض. والأداة التي تفيد لها خطر يشبه النجاح من الخارج: صفحة لم تعد تظهر على أنها مزحوفة حديثًا، وتبقى هادئة في الفهرس بلا وصف، ولا يلاحظ أحد لأن شيئًا لا يبدو معطلًا.

وللصواب في هذا التسلسل على موقع كبير ثلاث خطوات. أضف noindex إلى الصفحات التي يجب أن تغادر الفهرس وهي قابلة للزحف، وانتظر تأكيد الإزالة، ثم انقل نمط عناوين URL إلى robots.txt إن كان الهدف إيقاف الزحف نهائيًا.

وعكس هذا الترتيب، أو استخدام robots.txt اختصارًا يتجاوز noindex، ينتج حالة العالق إلى أجل غير مسمى التي تحذّر منها وثائق Google، في صفحات كان المقصود فقط أن تختفي.