القائمة الرئيسية

الصفحات

جديد

كيفية إدارة ميزانية الارشفة وتعزيز تواجدك في محرك البحث

كيفية إدارة ميزانية الزحف وتعزيز تواجدك في البحث

كيفية إدارة ميزانية الزحف وتعزيز تواجدك في البحث

من الشائع التفكير في ميزانية الزحف على أنها شيء خارج عن إرادتنا. أو بالأحرى ، من الشائع عدم التفكير في ميزانية الزحف على الإطلاق. ومع ذلك ، مع نمو مواقعنا على الويب ، تصبح ميزانية الزحف تأثيرًا كبيرًا على وجودنا في البحث. في هذه المقالة ، سأناقش أهمية ميزانية الزحف ، بالإضافة إلى مشاركة بعض النصائح العملية حول إدارة ميزانية الزحف لموقعك على الويب.

ما هي ميزانية الزحف؟

ميزانية الزحف هي مقدار الموارد التي ترغب Google في إنفاقها في الزحف إلى موقع الويب الخاص بك. يمكن القول أن ميزانية الزحف لديك تساوي عدد الصفحات التي يتم الزحف إليها يوميًا ، ولكن هذا ليس صحيحًا تمامًا. تستنزف بعض الصفحات موارد أكثر من غيرها ، لذلك يمكن أن يختلف عدد الصفحات التي يتم الزحف إليها على الرغم من أن الميزانية تظل كما هي.

عند تخصيص ميزانية الزحف ، ستنظر Google بشكل عام في أربعة أشياء: شعبية موقعك على الويب ، ومعدل التحديث ، وعدد الصفحات ، والقدرة على التعامل مع الزحف. ولكن على الرغم من أنها خوارزمية معقدة ، فلا يزال هناك مجال لك للتدخل ومساعدة Google في إدارة الطريقة التي تزحف بها إلى موقعك على الويب.

لماذا تعد ميزانية الزحف مهمة؟

تحدد ميزانية الزحف مدى سرعة ظهور صفحاتك في البحث. المشكلة الرئيسية هنا هي أنه قد يكون هناك عدم تطابق بين ميزانية الزحف ومعدل تحديث موقع الويب الخاص بك. إذا حدث ذلك ، فستواجه تأخرًا متزايدًا بين لحظة إنشاء الصفحة أو تحديثها واللحظة التي تظهر فيها في البحث.

أحد الأسباب المحتملة لعدم حصولك على ميزانية زحف كافية هو أن Google لا تعتبر موقع الويب الخاص بك مهمًا بدرجة كافية. لذلك فهو إما غير مرغوب فيه أو يقدم انطباعًا سيئًا جدًا للمستخدم أو ربما كلاهما. في هذه الحالة ، ليس هناك الكثير الذي يمكنك فعله سوى نشر محتوى أفضل وانتظار تحسن سمعتك.

سبب آخر محتمل لعدم حصولك على ميزانية زحف كافية هو أن موقع الويب الخاص بك مليء بالفخاخ الزاحفة. هناك بعض المشكلات الفنية حيث قد يتعطل الزاحف في حلقة أو يفشل في العثور على صفحاتك أو يتم تثبيطه عن زيارة موقع الويب الخاص بك. في هذه الحالة ، هناك بعض الأشياء التي يمكنك القيام بها لتحسين عملية الزحف بشكل كبير وسنناقشها بمزيد من التفصيل أدناه.

هل يجب أن تقلق بشأن ميزانية الزحف الخاصة بك؟

يمكن أن تصبح ميزانية الزحف مشكلة إذا كنت تدير موقعًا كبيرًا أو متوسطًا بمعدل تحديث متكرر (من مرة يوميًا إلى مرة في الأسبوع). في هذه الحالة ، قد يؤدي نقص ميزانية الزحف إلى تأخر فهرس دائم.

قد تكون أيضًا مشكلة عند إطلاق موقع ويب جديد أو إعادة تصميم موقع قديم وهناك الكثير من التغيير يحدث بسرعة. على الرغم من أن هذا النوع من تأخر الزحف سيحل في النهاية من تلقاء نفسه.

بغض النظر عن حجم موقع الويب ، فمن الأفضل تدقيقه بحثًا عن مشكلات الزحف المحتملة مرة واحدة على الأقل. إذا كنت تقوم بتشغيل موقع ويب كبير ، فقم بذلك الآن ، إذا كنت تقوم بتشغيل موقع ويب أصغر ، فما عليك سوى وضعه في قائمة المهام الخاصة بك.

كيفية تحسين ميزانية الزحف الخاصة بك؟

هناك بعض الأشياء التي يجب عليك (أو لا ينبغي) القيام بها لتشجيع عناكب البحث على استهلاك المزيد من صفحات موقع الويب الخاص بك والقيام بذلك في كثير من الأحيان. فيما يلي قائمة إجراءات لتعظيم قوة ميزانية الزحف الخاصة بك:

1. إرسال خريطة موقع إلى Search Console

ملف Sitemap هو مستند يحتوي على جميع الصفحات التي تريد الزحف إليها وفهرستها في البحث.

بدون خريطة الموقع ، سيتعين على Google اكتشاف الصفحات التي تتبع الروابط الداخلية على موقعك. بهذه الطريقة ، سيستغرق Google بعض الوقت لفهم نطاق موقع الويب الخاص بك وتحديد أي من الصفحات المكتشفة يجب فهرستها وأيها لا ينبغي.

باستخدام خريطة الموقع ، تعرف Google بالضبط حجم موقع الويب الخاص بك والصفحات التي من المفترض أن تتم فهرستها. يوجد أيضًا خيار لإخبار Google بأولوية كل صفحة وكم مرة يتم تحديثها. مع توفر كل هذه المعلومات ، يمكن لـ Google تصميم نمط الزحف الأنسب لموقعك على الويب.

ملاحظة: من المهم الإشارة إلى أن Google تتعامل مع ملف Sitemap كتوصية وليس التزامًا - يمكنك تجاهل خريطة الموقع واختيار نمط زحف مختلف لموقعك مجانًا.

الآن ، هناك العديد من الطرق التي يمكنك من خلالها إنشاء خريطة الموقع. إذا كنت تستخدم نظامًا أساسيًا CMS ، مثل Shopify ، فقد يتم إنشاء خريطة موقعك تلقائيًا ومتاحة بالفعل على yourwebsite.com/sitemap.xml. ستحتوي منصات CMS الأخرى بالتأكيد على مكونات إضافية لتحسين محركات البحث تقدم خدمة خريطة الموقع.

إذا كان لديك موقع ويب مصمم خصيصًا أو لا تريد أن تثقل موقع الويب الخاص بك بمكونات إضافية ، فيمكنك استخدام WebSite Auditor لإنشاء خريطة موقعك وإدارتها. انتقل إلى بنية الموقع> الصفحات> أدوات موقع الويب> خريطة الموقع وستحصل على قائمة كاملة بصفحات موقع الويب الخاص بك. يمكنك فرز الصفحات حسب حالة HTTP واستبعاد الصفحات التي لا يمكن الوصول إليها ، وكذلك تغيير أولوية الصفحات ومعدل التحديث وتاريخ آخر تعديل:

عند الانتهاء من تحرير خريطة الموقع ، انقر فوق "التالي" واختر خيارات لتنزيل المستند - سيتم تحويله تلقائيًا إلى بروتوكول خريطة الموقع المناسب. يمكنك بعد ذلك إضافة خريطة الموقع إلى موقع الويب الخاص بك وكذلك إرسالها إلى Google Search Console:

من الشائع أيضًا وجود العديد من خرائط المواقع لنفس موقع الويب. في بعض الأحيان يتم ذلك من أجل التيسير - فمن الأسهل إدارة الصفحات المتشابهة من حيث الموضوع. في أحيان أخرى يتم ذلك بدافع الضرورة - يبلغ حد مستند خريطة الموقع 50 ألف صفحة ، وإذا كان لديك موقع ويب أكبر ، فأنت مجبر على إنشاء العديد من خرائط المواقع لتغطيتها جميعًا.

2. حل النزاعات الزاحفة

إحدى مشكلات الزحف الشائعة هي أن محرك بحث Google يعتقد أنه يجب الزحف إلى الصفحة ولكن لا يمكن الوصول إليها. في هذه الحالة ، قد يحدث أحد أمرين:

الخيار الاول: لا ينبغي الزحف إلى الصفحة وتم إرسالها إلى Google عن طريق الخطأ. في هذه الحالة ، يجب عليك إلغاء إرسال الصفحة إما عن طريق إزالتها من خريطة الموقع أو عن طريق إزالة الروابط الداخلية للصفحة أو ربما كليهما.

الخيار الثاني: يجب الزحف إلى الصفحة ورفض الوصول عن طريق الخطأ. في هذه الحالة ، يجب عليك التحقق مما يحظر الوصول (robots.txt ، 4xx ، 5xx ، خطأ إعادة التوجيه) وإصلاح المشكلة وفقًا لذلك.

أيًا كان الحال ، فإن هذه الإشارات المختلطة تدفع Google إلى طريق مسدود وتضيع ميزانية الزحف الخاصة بك دون داع. أفضل طريقة للعثور على هذه المشكلات وحلها هي التحقق من تقرير التغطية في Google Search Console. علامة التبويب "خطأ" مخصصة للزحف إلى التعارضات وتوفر لك عدد الأخطاء وأنواع الأخطاء وقائمة الصفحات المتأثرة:

3. إخفاء الصفحات التي لا ينبغي الزحف إليها

هناك نوع آخر من تعارض الزحف وهو عندما يتم الزحف إلى الصفحة وفهرستها عن طريق الخطأ. من الواضح أن هذا يعد إهدارًا لميزانية الزحف الخاصة بك ، ولكن الأهم من ذلك ، قد يكون مصدر قلق أمني أيضًا. إذا استخدمت طريقة خاطئة لمنع الزحف ، فقد يعني ذلك أن بعض صفحاتك الخاصة قد تمت فهرستها وأصبحت الآن متاحة للجمهور.

للعثور على مثل هذه الصفحات ، من الأفضل أيضًا اللجوء إلى Google Search Console وتقرير التغطية الخاص بها. قم بالتبديل إلى علامة التبويب صالحة مع تحذير وستحصل على عدد الصفحات التي تم الزحف إليها ، بالإضافة إلى المشكلات المشتبه بها وقائمة الصفحات المتأثرة:

المشكلة الأكثر شيوعًا في هذه الصفحات هي أنها محظورة باستخدام ملف robots.txt. لا يزال من الشائع لمشرفي المواقع استخدام ملف robots.txt في محاولة لمنع فهرسة الصفحة. في الوقت نفسه ، يتعامل Google مع تعليمات robots.txt كتوصية وقد يقرر الاستمرار في عرض الصفحات "المحظورة" في البحث.

لحل هذه المشكلات ، راجع قائمة الصفحات وحدد ما إذا كنت تريد فهرستها أم لا. إذا لم يكن الأمر كذلك ، فيجب عليك استخدام العلامة الوصفية noindex لحظر الزاحف تمامًا ثم إزالة الصفحة من البحث عبر الفهرس> عمليات الإزالة> طلب جديد. إذا كانت الإجابة بنعم ، فيجب عليك إزالة الصفحة من توجيه عدم السماح لملف robots.txt الخاص بك.

4. إخفاء الموارد غير الأساسية

يمكنك حفظ حصة جيدة من ميزانية الزحف الخاصة بك عن طريق إخبار Google بتجاهل الموارد غير الأساسية. يمكن أن تشغل أشياء مثل الصور المتحركة ومقاطع الفيديو والصور قدرًا كبيرًا من الذاكرة ، ولكنها غالبًا ما تستخدم للزينة أو الترفيه وقد لا تكون مهمة لفهم محتوى الصفحة.

لمنع Google من الزحف إلى هذه الموارد غير الأساسية ، امنعها باستخدام ملف robots.txt الخاص بك. يمكنك عدم السماح بالموارد الفردية بالاسم:

وكيل المستخدم: *
Disallow: /images/filename.jpg

يمكنك أيضًا عدم السماح بأنواع الملفات بأكملها:

وكيل المستخدم: *
عدم السماح: /*.gif$

5. تجنب سلاسل إعادة التوجيه الطويلة

إذا كان هناك عدد غير معقول من عمليات إعادة التوجيه 301 و 302 على التوالي ، فستتوقف محركات البحث عن اتباع عمليات إعادة التوجيه في مرحلة ما ، وقد لا يتم الزحف إلى الصفحة الوجهة. علاوة على ذلك ، يعد كل عنوان URL مُعاد توجيهه إهدارًا لـ "وحدة" من ميزانية الزحف الخاصة بك. تأكد من عدم استخدام عمليات إعادة التوجيه مرتين على التوالي ، وفقط عندما يكون ذلك ضروريًا للغاية.

للحصول على قائمة كاملة بالصفحات التي تحتوي على عمليات إعادة توجيه ، قم بتشغيل WebSite Auditor وانتقل إلى Site Structure> Site Audit> Redirects. انقر فوق Pages with 302 redirect and Pages with 301 إعادة التوجيه للحصول على قائمة كاملة بالصفحات المعاد توجيهها. انقر فوق الصفحات ذات سلاسل إعادة التوجيه الطويلة للحصول على قائمة بعناوين URL التي تحتوي على أكثر من عمليتي إعادة توجيه:

6. إدارة عناوين URL الديناميكية

تُنشئ أنظمة إدارة المحتوى الشائعة الكثير من عناوين URL الديناميكية ، وكلها تؤدي إلى نفس الصفحة. بشكل افتراضي ، ستتعامل روبوتات محرك البحث مع عناوين URL هذه كصفحات منفصلة. نتيجة لذلك ، قد تهدر ميزانية الزحف الخاصة بك ، وربما تفرز مشكلات محتوى مكررة.

إذا كان محرك موقع الويب الخاص بك أو نظام إدارة المحتوى يضيف معلمات إلى عناوين URL التي لا تؤثر على محتوى الصفحات ، فتأكد من إعلام Google بها عن طريق إدارة هذه المعلمات في حسابك على Google Search Console ، ضمن الأدوات والتقارير القديمة> معلمات URL:

هناك ، يمكنك النقر فوق تحرير مقابل أي معلمة وتحديد ما إذا كان سيتم السماح لمستخدمي البحث بمشاهدة الصفحة.

7. حل مشاكل المحتوى المكرر

المحتوى المكرر يعني وجود صفحتين أو أكثر بمحتوى مشابه إلى حد كبير. يمكن أن يحدث هذا لعدة أسباب. تعد عناوين URL الديناميكية أحدها ، ولكنها أيضًا اختبار A / B ، وإصدارات www / non-www ، وإصدارات http / https ، ومشاركة المحتوى ، وخصائص بعض أنظمة CMS الأساسية. تكمن مشكلة وجود محتوى مكرر في أنك تهدر ضعف الميزانية للزحف إلى نفس الجزء من المحتوى.

لحل مشكلات المحتوى المكرر ، عليك أولاً البحث عن الصفحات المكررة. تتمثل إحدى طرق القيام بذلك في البحث عن العناوين المكررة وأوصاف التعريف في أداة WebSite Auditor:

تعتبر العناوين ، وخاصة الأوصاف التعريفية ، مؤشرًا جيدًا للصفحات التي تحتوي على نفس المحتوى. إذا وجدت أيًا من الصفحات متشابهة بالفعل ، فعليك تحديد الصفحة الرئيسية وأيها مكرر. انتقل الآن إلى الصفحة المكررة وأضف هذا الرمز إلى قسم <head>:
<link rel = "canonical" href = "https://example.com/main-page" />
حيث يكون URL هو عنوان الصفحة الرئيسية.
بهذه الطريقة ، ستتجاهل Google الصفحات المكررة وتركز على الزحف إلى الصفحات الرئيسية بدلاً من ذلك.

8. تحسين هيكل الموقع

على الرغم من أن الارتباط الداخلي ليس له علاقة مباشرة بميزانية الزحف الخاصة بك ، إلا أن Google تقول أن الصفحات المرتبطة مباشرة من صفحتك الرئيسية قد تعتبر أكثر أهمية ويتم الزحف إليها في كثير من الأحيان.

بشكل عام ، يُعد إبقاء المناطق المهمة في موقعك على مسافة لا تزيد عن ثلاث نقرات بعيدًا عن أي صفحة نصيحة جيدة. قم بتضمين أهم الصفحات والفئات في قائمة أو تذييل موقعك. بالنسبة إلى المواقع الأكبر ، مثل المدونات ومواقع التجارة الإلكترونية ، يمكن أن تكون الأقسام التي تحتوي على منشورات / منتجات ذات صلة ومنشورات / منتجات مميزة مساعدة كبيرة في وضع صفحاتك المقصودة هناك - لكل من المستخدمين ومحركات البحث.
إذا كنت بحاجة إلى إرشادات مفصلة ، فإنني أوصيك بشدة بالاطلاع على دليل الارتباط الداخلي هذا.

اضافي: طلب الفهرسة
في حال كنت قد نشرت للتو أو حدّثت موضوعًا رائعًا ولا يمكنك الانتظار حتى يزحف محرك بحث Google إليه ، فقم بقص الأسطر باستخدام ميزة طلب الفهرسة في Google Search Console. كل ما عليك فعله هو لصق عنوان URL الخاص بك في حقل فحص URL في الجزء العلوي ، والنقر فوق إدخال ، ثم طلب الفهرسة:

ويمكنك فعل ذلك بالفعل حتى إذا كانت الصفحة مفهرسة بالفعل ، ولكنك قمت بتحديثها للتو:

تأثير هذه الميزة ليس فوريًا. كما هو الحال مع كل شيء مع Google ، فإن هذا الطلب يشبه إلى حد كبير توصية مهذبة للغاية.

افكار اخيرة:
كما ترى ، فإن تحسين محركات البحث لا يتعلق فقط بـ "المحتوى القيم" و "الروابط ذات السمعة الطيبة". عندما يبدو الجزء الأمامي من موقع الويب الخاص بك مصقولًا ، فقد يكون الوقت قد حان للنزول إلى القبو والقيام ببعض عمليات البحث عن العنكبوت - من المؤكد أنه سيعمل على العجائب في تحسين أداء موقعك في البحث. الآن بعد أن أصبح لديك جميع الأدوات والمعرفة اللازمة لترويض عناكب محركات البحث ، تابع واختبرها على موقعك الخاص ، ويرجى مشاركة النتائج في التعليقات!

reaction: