أداة مجانية

فحص عنوان X-Robots-Tag والتحقق منه

تحقق من قواعد X-Robots-Tag وبادئات وكيل المستخدم وقيم max-snippet والمعاينة والتواريخ والتعارضات. مجاني ويعمل في متصفحك.

تعمل بالكامل في متصفحك. لا يُرفع ما تُدخله، ولا يُسجَّل، ولا يُحفظ.

أسطر عنوان X-Robots-Tag، عنوان واحد في كل سطر

يُفحص النص في متصفحك وفق قائمة القواعد التي توثّقها Google. ولا يُرسل أي شيء تكتبه إلى أي مكان.

أهم النقاط

توثّق Google أن X-Robots-Tag يقبل قواعد علامة meta للروبوتات نفسها، مع اسم اختياري لوكيل المستخدم قبلها، كما في X-Robots-Tag: googlebot: nofollow.
تقول Google إن اسم العنوان واسم وكيل المستخدم وقيم القواعد لا تتأثر بحجم الأحرف، وإن العناوين المتعددة والقواعد المفصولة بفواصل تعمل كلها.
عند تعارض قواعد robots، تقول Google إن القاعدة الأكثر تقييدًا هي التي تنطبق، فتتغلب nosnippet على قيمة max-snippet في العنوان نفسه.
تقول Google إن برنامج الزحف لا يجلب أي عنوان URL يحظره robots.txt، لذلك يُتجاهل X-Robots-Tag في تلك الاستجابة.
تفحص هذه الأداة نص العنوان الذي تكتبه، ولا تجلب استجابة حقيقية، فلا ترى ما يرسله خادمك فعلًا.

ما تحتاج إليه

سطر أو أكثر من عنوان X-Robots-Tag

أدوات أخرى

كلها مجانية، وكلها تعمل في المتصفح.

تصفّح الأدوات

طريقة الاستخدام

1انسخ أسطر العنوانخذ كل سطر X-Robots-Tag من عناوين الاستجابة، مثلًا من أدوات المطوّرين في المتصفح أو من طلب curl.
2تحقق من الهدفتأكد من وجود بادئة لوكيل المستخدم مثل googlebot أو غيابها، لأن السطر الذي يحمل بادئة ينطبق على ذلك البرنامج وحده.
3أصلِح القواعد غير الموثّقةاستبدل أي قاعدة تنبّه الأداة إلى أنها خارج قائمة Google، وصحّح القيم الرقمية أو المحددة مثل max-image-preview.
4احسم التعارضاتحين تقع قاعدة أقل تقييدًا بجوار قاعدة أشد، احذف الأقل تقييدًا لأن الأشد تتغلب في كل الأحوال.
5تأكد أن robots.txt يسمح بالزحفلا يُقرأ العنوان إلا إذا كان عنوان URL قابلًا للزحف، لذلك تجعل قاعدة disallow في robots.txt العنوان بلا أثر.

يحمل X-Robots-Tag قواعد robots في استجابة HTTP بدل شيفرة HTML للصفحة. الصق أسطر العنوان التي يرسلها خادمك، وستتحقق الأداة من كل قاعدة وفق مواصفات Google، في متصفحك.

ماذا تفحص الأداة؟

يجب أن يبدأ كل سطر بـ X-Robots-Tag:. ويُطابَق الاسم دون اعتبار لحجم الأحرف، لأن Google تقول إن اسم العنوان واسم وكيل المستخدم والقيم لا تتأثر بحجم الأحرف. ثم تقرأ الأداة:

الهدف: تسمح Google باسم لوكيل المستخدم قبل القواعد، كما في X-Robots-Tag: googlebot: nofollow. ودون اسم ينطبق السطر على كل برامج الزحف.
كل قاعدة: تُقسم القواعد عند الفواصل، وهو ما تسمح به Google إلى جانب الأسطر المنفصلة.
قائمة Google: تُقارن كل قاعدة بالقواعد الموثّقة: all وnoindex وnofollow وnone وnosnippet وindexifembedded وmax-snippet وmax-image-preview وmax-video-preview وnotranslate وnoimageindex وunavailable_after.
القيم الرقمية: تأخذ max-snippet وmax-video-preview عددًا صحيحًا، 0 أو أكثر، أو -1. وتقول Google إن max-snippet:0 لا يعرض أي مقتطف، مثل nosnippet، وإن -1 يترك لها اختيار الطول.
القيم الأخرى: تأخذ max-image-preview القيمة none أو standard أو large. وتأخذ unavailable_after تاريخًا، وتقبل Google تنسيقات RFC 822 وRFC 850 وISO 8601. أما قواعد مثل noindex فلا تأخذ قيمة.
التعارض داخل السطر: nosnippet بجوار max-snippet، أو all بجوار noindex أو nofollow أو none. وتقول Google إن القاعدة الأكثر تقييدًا هي التي تنطبق.
التكرار: none بجوار noindex أو nofollow، لأن none تعني الاثنتين أصلًا.

ويذكّرك صف أخير بأن Google تتجاهل العنوان في أي عنوان URL يحظر robots.txt الزحف إليه.

كيف تقرأ النتائج؟

مشكلة: السطر ليس عنوان X-Robots-Tag، أو لا يحمل قواعد، أو فيه قاعدة خارج قائمة Google، أو قيمة خارج النطاق، أو تاريخ لا يُقرأ.
تحذير: قاعدة لا تأخذ قيمة أُعطيت قيمة، أو قواعد متعارضة، أو تاريخ unavailable_after مضى بالفعل.
معلومة: هدف كل سطر، والقواعد المكررة، والتذكير بملف robots.txt.
سليم: قاعدة موثّقة بقيمة صالحة، أو تاريخ unavailable_after في المستقبل.

مثال عملي

تفتح الأداة على ثلاثة أسطر:

X-Robots-Tag: noindex, max-snippet:50, nosnippet
X-Robots-Tag: googlebot: max-image-preview:huge
X-Robots-Tag: unavailable_after: 2026-12-31T23:59:00+00:00

السطر 1 يستهدف كل برامج الزحف. وتنجح noindex وmax-snippet بقيمة 50 وnosnippet كل منها وحدها، ثم يأتي تحذير التعارض: تتغلب nosnippet، فلا أثر لـ max-snippet:50.

السطر 2 يستهدف googlebot، وhuge مشكلة لأن القيم الموثّقة هي none وstandard وlarge فقط.

السطر 3 يستهدف كل برامج الزحف. ولا تخلط الأداة بين unavailable_after واسم وكيل مستخدم، وينجح التاريخ لأنه ما زال في المستقبل. ثم يختم التذكير بملف robots.txt القائمة.

للإصلاح، احذف max-snippet:50 من السطر 1، وغيّر huge إلى large في السطر 2.

أخطاء شائعة تكشفها

قواعد خارج قائمة Google: تنبّه الأداة إلى أي شيء خارج القواعد الاثنتي عشرة الموثّقة، بما في ذلك قواعد ربما نسختها من أمثلة قديمة.
قيم مخترعة: مثل max-image-preview:huge أو max-image-preview:full.
قواعد متناقضة: تحديد طول المقتطف بجوار nosnippet بلا أثر.
تواريخ unavailable_after منتهية: التاريخ الماضي يعني أن الصفحة مقرر أن تخرج من النتائج.
عنوان على عنوان URL محظور: إذا حظر robots.txt عنوان URL، فلن ترى Google العنوان أبدًا.

تقارن الأداة القواعد داخل السطر الواحد فقط. فإذا قال عنوان nosnippet وقال آخر max-snippet:50، فاقرأهما معًا بنفسك.

أدوات وقراءات ذات صلة

المصادر

1.Robots meta tag, data-nosnippet, and X-Robots-Tag specifications، Google Search Centralمصدر أساسي

أسئلة شائعة

متى أستخدم X-Robots-Tag بدل علامة meta؟

يعمل العنوان مع الملفات التي ليس فيها قسم head بلغة HTML، مثل ملفات PDF والصور، لأنه يُرسل مع الاستجابة ولا يُكتب في الصفحة.

هل تعني none ما تعنيه noindex, nofollow؟

نعم. توثّق Google أن none تعادل noindex, nofollow، لذلك يُعد ذكرهما بجوار none تكرارًا.

لماذا تنبّه الأداة إلى max-image-preview:huge؟

لا توثّق Google لقيم max-image-preview إلا none وstandard وlarge، لذلك ليست huge جزءًا من الصيغة الموثّقة.

لماذا تُعد noarchive غير موثّقة؟

تستخدم الأداة قائمة القواعد في صفحة Google الحالية عن علامة meta للروبوتات، وهي all وnoindex وnofollow وnone وnosnippet وindexifembedded وmax-snippet وmax-image-preview وmax-video-preview وnotranslate وnoimageindex وunavailable_after. وأي قاعدة خارجها تظهر كمشكلة.

كيف أرى X-Robots-Tag الذي يرسله خادمي؟

افتح عنوان URL بأدوات المطوّرين في متصفحك، واقرأ عناوين الاستجابة في لوحة Network، أو اطلبه بأداة سطر أوامر مثل curl. ثم انسخ كل سطر X-Robots-Tag إلى الأداة.