زحف كثيف وفهرسة ضعيفة: ما قاله Mueller
قال John Mueller لصاحب موقع إن عناوين URL المفهرسة من موقع تجميع منتجات كبير تُعيد التوجيه إلى الصفحة الرئيسية، وإن إقناع Google بقيمة هذه المواقع صعب.
الفهرسة هي المرحلة بين الزحف والترتيب، وفيها يقرر محرك البحث إن كان سيخزّن الصفحة، وتحت أي عنوان URL أساسي. وقد يزحف إلى صفحة ثم لا يفهرسها، غالبًا لأنها تكرّر عنوانًا آخر أو أضعف من أن تُخزَّن.
قال John Mueller لصاحب موقع إن عناوين URL المفهرسة من موقع تجميع منتجات كبير تُعيد التوجيه إلى الصفحة الرئيسية، وإن إقناع Google بقيمة هذه المواقع صعب.
يقول John Mueller من Google إن برامج زحف الذكاء الاصطناعي لا ترسل خرائط الموقع، وإن Couldn't fetch لخريطة صالحة سببه غالبًا حمل الخادم أو الطلب على الزحف.
أرقام Gary Illyes المعتادة والأبطأ لـ 23 عملية في الزحف والفهرسة والعرض، كما لخّصتها ROAST، مع التحفظات ومقارنتها بوثائق Google.
افحص كود RSS 2.0 وAtom 1.0: أخطاء التحليل، والعناصر الإلزامية، والتواريخ، وguid وenclosure والروابط النسبية. أداة مجانية تعمل في متصفحك.
ينقل ناشر أن تقرير الصفحات المفهرسة لخريطة موقع الأخبار لم يتحرك منذ 28 أغسطس، رغم أن المقالات الجديدة مفهرسة وظاهرة.
ينشر مخالفو سياسات البحث محتوى غير مرغوب فيه عبر دفاتر NotebookLM العامة، وفهرست Google أكثر من 12,000 صفحة ثم أزالتها في اليوم التالي.
يضع فصل SEO في Web Almanac 2025 الـ rel=canonical على 68% من صفحات سطح المكتب و67% من صفحات الجوال، ارتفاعًا من 65%، وعدم التطابق أقل من 1%.
تتبّع إعلانات Google عن الفهرسة للجوال أولًا من تجربة 2016 إلى إعلان الاكتمال في 2023، مع ما تقوله وثائقها عن تطابق المحتوى بين الجوال وسطح المكتب.
قرأنا ملفات robots.txt لـ 60 ناشرًا ومورّد SEO. مواقع الأخبار تحظر برامج زحف الذكاء الاصطناعي تقريبًا بلا استثناء، وصناعة SEO لا تفعل.
وجدت دراسة Bing أن 18% من الخرائط التي فيها lastmod تضبطه خطأ، وغالبًا على تاريخ الإنشاء، وتقول Google إنها تعتمد الدقيق منه فقط.
قارن فصل SEO في Web Almanac لعام 2024 بين زحف الجوال والحاسوب. تتطابق العناوين والـ canonical وعدد الكلمات تقريبًا، وتبقى فجوات صغيرة.
دراسة حالة من JetOctopus: أظهرت السجلات إنفاق Googlebot الزحف على روابط التصفية والفرز والتقسيم، وبإغلاقها تقلّص الموقع إلى 730 ألف صفحة.
دفعت إحدى الدورات البرمجية noindex إلى كل صفحات Brafton في أغسطس 2019. انخفضت زيارات البحث 33.2% عند الذروة واحتاجت ستة أسابيع لتعود.
الطرق الثلاث لتحديد عنوان URL الأساسي بين الصفحات المكرّرة، وقوة كل إشارة، والأخطاء التي تحذّر منها Google، ومتى تفضّل HTTPS.
طريقتا تطبيق noindex بعلامة meta أو بعنوان X-Robots-Tag، ولماذا لا يعمل في robots.txt، وكيف تتأكد أن Googlebot رآه فعلًا.
الفرق بين إعادة التوجيه النهائية والمؤقتة في بحث Google، وكيف يفسّر Google كل طريقة منها، وأيّها تستخدم عند نقل صفحة أو موقع كامل.
حوّل رموز اللغات وعناوين URL إلى كود خريطة موقع XML فيه عناصر xhtml:link البديلة، وافحص الرموز والعناوين. مجانية وتعمل في متصفحك.
أنشئ وسوم link rel=alternate hreflang لعناوين URL المترجمة، وافحص الرموز والإشارة الذاتية وx-default. أداة مجانية تعمل في متصفحك.
اعرف كيف تتعامل برامج الزحف من Google مع كل رمز حالة تلصقه، واحسب خطوات إعادة التوجيه مقابل حد 10 خطوات. أداة مجانية تعمل في متصفحك.
اعرف أين تتعارض إشارات noindex والعنوان الأساسي وخريطة الموقع لصفحة واحدة مع إرشادات Google نفسها. مجانية وتعمل في متصفحك.
تحقق من قواعد meta robots وX-Robots-Tag وفق قائمة Google، واكتشف القيم الخاطئة والتعارضات. أداة مجانية تعمل في متصفحك.
افحص كل قيمة lastmod في خريطة موقع XML وفق صيغة W3C Datetime، واكشف التواريخ المستقبلية والمتطابقة. مجانية وتعمل في متصفحك.
الصق قائمة عناوين URL، ووحّدها وفق RFC 3986 وسياسة موقعك، واكتشف النسخ المكررة من الصفحة نفسها. مجانية وتعمل في متصفحك.
تحقق من قواعد X-Robots-Tag وبادئات وكيل المستخدم وقيم max-snippet والمعاينة والتواريخ والتعارضات. مجاني ويعمل في متصفحك.