noindex عن طريق الخطأ: تعافي Brafton

نشر Jeff Baker، مدير استراتيجية التسويق الرقمي في Brafton، روايته الشخصية على مدونة Moz عن خطأ يخشاه كل مختص بـ SEO: نشر تحديث وسم noindex على كل صفحة في brafton.com. نلخّص هنا أرقامه، وكل رقم أدناه من مقاله.

ما سبب noindex الشامل؟#

دفعت دورة برمجية نُشرت مساء الخميس 1 أغسطس 2019 وسم noindex في robots meta إلى كل صفحة عن طريق الخطأ. لاحظ Baker انخفاض الترتيب يوم الأحد 4 أغسطس، أي بعد نحو ثلاثة أيام.

وأشار Search Console إلى رسالة noindex في علامة robots meta، فتراجع المطوّر عن التحديث. وحذف Baker خريطة الموقع القديمة وأنشأ أخرى جديدة ورفعها، وطلب الفهرسة يدويًا لمعظم صفحات المنتجات الأساسية.

كيف شخّص المشكلة؟#

تسلسله ترتيب مفيد للفرز. اختفت الترتيبات من أداة تتبع الترتيب، وأظهر Google Analytics انخفاضًا مطابقًا في الزيارات، فالبيانات حقيقية. ثم تحقق هل يوافق التاريخ تحديثًا مؤكدًا للخوارزمية، فلم يوافق.

واختفاء كامل لا تذبذب دلّه على سبب تقني، وأكد بحث في Google عن الصفحات المفقودة أنها خرجت من الفهرس.

ولم يفد Search Console كثيرًا في تقدير الضرر. يقول Baker إنه أبلغ عن 249 صفحة متأثرة على الأكثر من أكثر من 8,000 صفحة مفهرسة، ويصف ذلك بأنه مستحيل، لأن ظهور الموقع في البحث بقي أقل بالثلث بعد أسبوع من الحادثة.

وكان على Google أن تزحف إلى كل صفحة خلال ثلاثة أيام لترى الوسم في كل مكان، فعدد الصفحات المحذوفة من الفهرس فعلًا يبقى مجهولًا.

كم خسر الموقع من الزيارات؟#

قاس Baker من 2 أغسطس. بعد الأسبوع الأول ذهب نحو 33.2% من زيارات البحث، ويسميه ذروة الضرر. وتذكر عناوين أسابيعه انخفاضًا قدره 23% عند أسبوعين، و13% عند ثلاثة، و9% عند أربعة، ثم 10.4% عند خمسة.

غير أن فقرة الأسبوعين نفسها تقول إن الموقع ما زال أقل بـ 8%، فهذا الرقم متناقض في المصدر. وعند ستة أسابيع كانت الزيارات أعلى من خط الأساس بـ 5.3%.

ويقدّر أن الحادثة أزالت نحو 12% من كل الزيارات العضوية إجمالًا، وانخفضت التحويلات التجارية بالنسبة نفسها، مع أن معدلات التحويل ارتفعت.

ما الذي أبطأ الفهرسة؟#

لم تسرّع إعادة إرسال خرائط الموقع وطلبات الفهرسة مجموعة عنيدة من نحو 150 صفحة، أبلغت أداة فحص عنوان URL أنها قابلة للفهرسة لكنها لم يُزحف إليها.

وفي صفحة منتج عالية القيمة جرّب فحصها وطلب فهرستها 15 مرة، ونشرها من جديد بتواريخ ومحتوى محدّثين، فبقيت خارج الفهرس حتى 1 أكتوبر. وأعادت ميزة التحقق في Search Console، التي بدأت في 26 أغسطس، الزحف إلى نحو 10 صفحات أسبوعيًا بحسب تجربته.

ويضيف أن تعافي الستة أسابيع كان مجاملًا جزئيًا، فبعض المحتوى تفوق في أدائه وأخفى صفحات ما زالت مفقودة.

وهذا يوافق ما توثقه Google عن noindex. يقول دليلها لـ noindex إن Googlebot يجب أن يزحف إلى الصفحة ليرى القاعدة، وإن عودته إليها قد تستغرق أشهرًا بحسب أهميتها، وإن أداة فحص عنوان URL وتقرير فهرسة الصفحات مكانا التحقق مما استخلصته Google.

ماذا نأخذ من الحالة؟#

خلاصة Baker أن الصفحات استعادت ظهورها كاملًا حين عادت، فكانت عقبة التعافي في إعادة الفهرسة لا في الترتيب.

عاد ظهور البحث إلى خط الأساس بعد ستة أسابيع، وأُعيدت فهرسة كل الصفحات بعد نحو ثمانية إلى تسعة. والدرس العملي هو الوقاية: افحص توجيهات robots في المخرجات المعروضة لكل إصدار، لأن العودة إلى الفهرس بطيئة وساعتها بيد Google.

والفحص قبل الإصدار صغير. قارن وسم meta robots في عدد قليل من القوالب الأساسية بما تقصده، مستعينًا بـمنشئ وسم meta robots مرجعًا، وتأكد أن عنوان X-Robots-Tag لم يتسلل، بـأداة التحقق من عنوان X-Robots-Tag، فـ Google تلتزم بالعنوان كما تلتزم بالوسم.

وإن فكرت في noindex وسيلةً للتحكم في ميزانية الزحف، فـهذا لا يعمل أيضًا.