خرائط الموقع وبرامج الزحف بالذكاء الاصطناعي

خصص John Mueller وMartin Splitt من Google حلقة 1 أكتوبر 2026 من Search Off the Record، بعنوان Do sitemaps still matter?، لسؤالين عن خرائط الموقع.

ونقلت Search Engine Journal ما قاله Mueller في مقال لـ Matt G. Southern وفي مقال لـ Roger Montti.

ولم نسمع الحلقة نفسها. صفحتها على YouTube تؤكد العنوان وتاريخ الرفع في 1 أكتوبر، وكل ما يلي منسوب إلى هذين الكاتبين.

هل تجد برامج الزحف خريطتك؟#

قال Mueller بحسب Southern إن برامج زحف تدريب الذكاء الاصطناعي لا تملك عادة لوحة أو إعدادًا لإرسال ملف الخريطة. ولمن يريد وصول محتواه إلى هذه الأنظمة اقترح إبقاء الاسم العام sitemap.xml أو الاعتماد على خلاصات RSS، لأن الصفحات تربطها عادة في وسم head.

وقال إنه رأى في سجلات خادمه برنامج زحف للذكاء الاصطناعي يصل إلى ملف خريطته، وكذلك إلى ملفات RSS. ولم يسمّ هذه البرامج، وقال إنه لا يعرف هل توثق الشركات ذلك ولا ماذا تفعل بالملفات.

ويضيف Southern أن بروتوكول خرائط الموقع يجعل سطر Sitemap في robots.txt مستقلًا عن سطر user-agent، فلا يرتبط بقواعد برنامج زحف واحد. وتفحص أداة التعارض بين الخريطة وrobots.txt الاثنين معًا.

ماذا عن الخريطة الخاصة؟#

قال Mueller إن من يريد خريطة خاصة يمنحها اسم ملف غير مألوف، ولا يذكرها في robots.txt، ويرسلها إلى Google مباشرة. والثمن بحسب Southern أن الأنظمة الأخرى لا تستطيع العثور عليها، وأن Bing على الأرجح يحتاج إلى إرسال مستقل.

هل يغني llms.txt عنها؟#

سُئل Mueller هل يحل llms.txt محل خريطة XML. شبّه ملف Markdown بخريطة HTML، وقال إن أنظمة Google لا تستطيع استخدامه خريطةً لأنه يفتقر إلى الصيغة الصارمة.

وينقل Southern أنه يرى الأمل أكبر من الواقع، وأن شيئًا من هذا لا يحدث حاليًا، وأنه لا يعتمد عليه. وتجد وضع الصيغة في مسودة W3C لملف llms.txt.

لماذا يظهر Couldn’t fetch؟#

سأل Splitt عن ملف XML صالح وعام ومربوط من robots.txt، ومع ذلك تقول Search Console أحيانًا إنها لم تستطع جلبه. وبحسب Montti أقرّ Splitt بأن هذا يصيب كثيرين رغم صلاحية ملفاتهم. وذكر Mueller سببين:

• حمل الخادم: قد تكون أنظمة Google مشغولة بزحف آخر فلا تجلب الخريطة، وتعرض Search Console ذلك أيضًا بحالة Couldn’t fetch.
• الطلب على الزحف (crawl demand): إن رأت الأنظمة أنها لا تحتاج إلى زحف الكثير من الموقع فقد تتجاوز الخريطة. وقال Mueller إن هذا الطلب يقوم في الغالب على جودة الموقع كما تراها Google، فليس الأمر تقنيًا بحتًا.

ويقرأ Montti في كلام Mueller نقطة ثالثة: قد لا تحتاج Google إلى الخريطة أصلًا، وستستخدمها إن تحسنت جودة الموقع كثيرًا.

ورأي Montti أن الرسالة لا تطابق السبب الفعلي وتربك المستخدمين، وأن Google تعرف ذلك ولم تغيّرها. وهذا رأيه لا رأي Google.

ما الذي تستبعده أولًا؟#

تذكر صفحة مساعدة تقرير الخرائط من Google انخفاض الطلب على الزحف بين أسباب فشل الجلب، وتقول إن الطلب يزيد كلما ارتفعت جودة محتوى الموقع. وتذكر أيضًا حجب robots.txt وإجراءً يدويًا لم يُحل وعنوان URL خاطئًا يعيد 404.

وهذه فحوص تستطيع تنفيذها: تأكد أن الملف يُقرأ بـأداة التحقق من خريطة XML، ثم ابحث في سجلات الخادم عن طلبات فاشلة وقت الجلب. وإن بدا كل شيء سليمًا، فالتقارير ترجّح الطلب والجودة لا الملف نفسه.