افزایش کرال باجت یا بودجه خزش و تاثیر آن در سئو

 بودجه خزش یا کرال باجت (crawl budget) چیست؟

بودجه خزش تعداد صفحاتی از وب سایت شما است، که ربات گوگل Googlebot در یک دوره زمانی معین و محدود خزیده و فهرست بندی می کند.

یا اینطور تعریف کنیم که:

بودجه خزش تعداد صفحاتی است که Googlebot در یک بازه زمانی مشخص در یک وب سایت می خزد و فهرست می کند.

قبل از هرچیز باید این اطمینان را به شما بدهم که در پایان این مقاله جواب تمام سوالات خود را خواهید یافت.

بودجه خزیدن (Crawl budget) به این معناست که موتور جستجو چقدر سریع سایت شما را رصد می کند و بر تعداد صفحات سایت شما نظارت می کند. به این فرآیند نظارت و ارزیابی، خزیدن سایت می گویند. بنابراین این میزان سرعت و صفحات تحت تأثیر منابعی است که خزنده موتور جستجو استفاده می کند. از طرفی قدرت پشتیبانی سرور وب سایت در این نرخ تعیین کننده است.

توجه داشته باشید که نرخ کرال بالاتر لزوما به معنای رتبه بهتر در گوگل نیست! اما نکته اینجاست که اگر صفحات سایت شما از زیر خزش موتورهای جستجو عبور نکردند و ایندکس نشدند، حتما باید شرط رتبه بندی را تعیین کنید.

 

آیا  بودجه خزش بر روی سئو سایت تاثیر دارد؟

اگر گوگل یک صفحه را فهرست بندی یا index نکند، آن صفحه برای هیچ جستجویی در گوگل رتبه و رنک نمی گیرد.

پس به این نکته توجه کنیم که : اگر تعداد صفحات وب سایت شما از مقدار بودجه خزش ربات گوگل بیشتر باشد، شما قطعا در وب سایت خود صفحاتی دارید که فهرست بندی و ایندکس نمی شوند.

با اینحال اینطور بگویم که اکثر وب سایت ها نیازی نیست نگران بودجه خزش باشند.

گوگل به خوبی کار می کند صفحات و وبسایت ها را پیدا کرده و فهرست بندی می کند.

روش بررسی کرال بادجت

 

اگر بخواهیم فعالیت ربات های خزنده گوگل و هر مشکلی را که خزنده گوگل در سایت ما شناسایی کرده است بررسی کنیم، بهترین کار این است که نگاهی به گزارش های Crawl Stats در “Google Search Console” بیندازیم. گزارش های زیادی وجود دارد که به ما در درک تغییر رفتار خزنده ها کمک می کند. از اینجا می توانیم هر نوع اطلاعاتی را که در مورد سایت خزیدن خود نیاز داریم پیدا کنیم.

علاوه بر این، تاریخ آخرین باری که صفحات خزیده شده اند نیز می تواند به شما کمک کند. استفاده از ابزارهای “Awstats” و “Webalizer” می تواند میزان بازدید ربات ها و کاربران را برای شما تعیین کند.

البته ابزارهای تخصصی تری مثل EKL (Elasticsearch، Kibina، Logstash) هم داریم. با این ابزارها می توانید فایل های لاگ را ذخیره، پردازش و تجسم کنید. “Splunk” یکی دیگر از ابزارهای خوب برای تجزیه و تحلیل لاگ است.

 

ارورهای که در سرچ کنسول باعث افت کرال بادجت می شوند

وقتی با کمک ابزارهای بالا بودجه خزیدن سایت خود را بررسی می کنید، ممکن است یک سری خطاها را مشاهده کنید. در بیشتر موارد، این خطاها نگران کننده نیستند. زیرا به راحتی قابل شناسایی و رفع هستند.

رایج ترین ارورهایی که باعث افت بودجه خزش می شوند عبارت اند از:

• “not available”: اگرtxt یک روز غیر فعال بماند، کرال کردن هم متوقف می ماند و باید درست شود.
• “Unauthorized (101/407)”: برای این صفحه ها شما باید اجازه ورود به گوگل بات را بدهید؛ البته اگر اطلاعات محرمانه ای ندارید.
• “Server error (5XX)”: این ارور هشدار دسترسی می دهد و باید حتماً مشکل دسترسی را برطرف کرد.
• “Other client error (4XX)”: مربوط به هر اروری که کار کرالر را با مشکل مواجه می کند.
• “DNS unresponsive”: سرور DNS برای اینURL ها پاسخگو نیست.
• “DNS error”: ارورهای دیگر DNS که شناسایی نشدند.
• “Fetch error”: شماره پورت نامناسب، IP بد یا پاسخ های غیر قابل توجیه.
• “Page could not be reached”: هر اروری در مورد دسترسی به صفحه.
• “Page timeout”: خارج از زمان دسترسی (طول کشیدن بیش از حد لود شدن صفحه).
• “Redirect error”: ریدایرکت های زیاد، پوچ یا گردشی.

 

موارد که باعث می شود سایت ما توسط گوگل کرال نشود

 

گاهی اوقات پیش می آید که سایت ما بودجه خزیدن کمی دارد و می خواهیم این بودجه کم را به صفحات مهم تری هدایت کنیم. توجه داشته باشید که همه URL ها و درخواست ها در بودجه خزیدن حساب می شوند. URL ها و درخواست ها شامل صفحات AMP یا m-dot، hreflang، CSS و جاوا اسکریپت از جمله درخواست های XHR هستند. این URL ها با خزیدن یا تجزیه صفحات پیدا می شوند.

کاری که باید انجام دهیم این است که برخی از صفحات را محدود کنیم تا صفحات مهمتر را در مقابل خزنده قرار دهیم. چگونه؟ با یکی از روش های زیر:

• تشکیل منابعی مانند نقشه سایت و RSS
• ارسال URL مهمترین صفحه ای که باید ایندکس شود (با استفاده از ابزارهایی مانند کنسول جستجوی گوگل)
• با استفاده از ربات های Google API که بودجه خزیدن را به اشتراک می گذارند و می توانیم گزارش های آن را در آمار Crawl در GSC مشاهده کنیم.

 

آموزش افزایش نرخ خرش گوگل (کرال باجت)

اما ممکن است بپرسید چه عواملی می توانند بر بودجه خزش تأثیر بگذارند؟ یعنی کدام ورودی ها باعث می شود بودجه خزشی کم و بیش داشته باشیم؟ در ادامه خواهیم دید.

1-بهبود سرعت سایت

بهبود سرعت صفحه شما می تواند به Googlebot کمک کند تا URL ها یا صفحات بیشتری را در وب سایت شما بخزد.

در واقع گوگل افزایش سرعت وب سایت شما علاوه بر بهبود تجربه کاربری وب سایت شما، نرخ خزیدن را نیز افزایش می دهد.

به عبارت دیگر، صفحات کند، وقت ربات گوگل را تلف می کنند

 

2-پیوندهای داخلی و خارجی بیشتر

به این نکته دقت کنید که خزیدن معمولا به دلیل محبوبیت یک صفحه یا وجود لینک های زیاد به آن صفحه انجام می شود. به همین دلیل برای افزایش بودجه کرال باید لینک های داخلی و خارجی سایت را افزایش دهید.

می‌توانید لینک‌های داخلی پیشنهادی را از گزارش فرصت‌های پیوند در حسابرسی سایت پیدا کنید، که شامل آموزش عملکرد آن است. فقط مطمئن شوید که هیچ لینک خرابی در بین این لینک ها وجود نداشته باشد. در مورد تاثیر لینک های شکسته بر سئو سایت می توانید در وبلاگ ریراکو بیشتر بخوانید.

۳-اصلاح لینک های خراب و ریدایرکت شده

نگه داشتن لینک هایی که به صفحات ریدایرکت شده یا خراب شده می رسند، می تواند تأثیر منفی زیادی بر کرال بادجت سایت بگذارد. چون معمولاً این صفحات اولویت خیلی کمی برای خزش دارند. بنابراین اصلاح آنها می تواند تا حدی به افزایش بودجه خزش سایت شما کمک کند.

این صفحات را هم می توانید در گزارش Site Audit پیدا کنید و مشکل خرابی (۴XX) و ریدایرکت شدن (۵XX) را برطرف کنید. اگر مایل اید درباره مفهوم ریدایرکت بیشتری بدانید، می توانید نگاهی به مقاله “ریدایرکت ۳۰۱ چیست“  بیندازید.

4-تا جای ممکن به جای POST از GET استفاده کنید

این مورد کمی فنی تر است؛ چون شامل روش های درخواست از HTTP  می شود. اما این را بدانید که هرجایی که می توانید از درخواست GET استفاده کنید را باید غنیمت بدانید و از درخواست POST استفاده نکنید. درخواست های POST  کَش (cache) نمی شوند و به همین خاطر روی بودجه خزش تأثیری ندارند. درست برعکس درخواست های GET!

 

چه کار کنیم که گوگل کار خزش یا کرال را کُندتر انجام دهد؟

 

 

 

چند راه خوب وجود دارد که باعث کم شدن سرعت خزش در سایت شما می شود. یکسری تنظیمات فنی هم هستند که با کند کردن وب سایت خودتان می توانید این کار را انجام دهید. اما کند کردن سایت، روشی نیست که سایت ahrefs به شما توصیه کند. اما در ادامه راه های بهتری را که ضرر کمتری هم دارند توضیح می دهیم.

۱- تنظیم آهسته، اما تضمینی

اصلی ترین کنترلی که گوگل برای خزش آهسته تر در اختیار ما قرار داده، محدود کننده سرعت با Google Search Console است. می تونید از این طریق با استفاده از ابزارها به راحتی نرخ خزش را پایین بیاورید. اما یادتان باشد که برای دیدن تاثیر آن باید دو روز صبر کنید.

۲- تنظیم سریع، اما پرخطر

اگر دنبال راه حل سریع می گردید، می شود از تنظیمات ” google’ crawlrate adjustment” که مرتبط با سلامت سایت هستند استفاده کنید. اگر به ربات گوگل ارورهای “۵۰۳Service unavailable ” یا ” Too many requests429 “را نشان بدهید، سرعت خزش خیلی سریع پایین می آید یا حتی ممکن است به طور موقت قطع بشود! اما این کار را برای بیشتر از چند روز ادامه ندهید؛ چون صفحه های سایت شما در رتبه بندی دچار افت خواهند شد.

 

سخن پایانی

در انتهای این مقاله قطعا متوجه تاثیر کرال باجت بر سئو سایت خود شده اید.

با انجام  نکات گفته شده در بالا، برای افزایش بازدید سایت شما ملزم به بهینه کردن صفحات خود جهت بهبود crawl budget هستید.

اگر تجربه ایی مبنی بر تاثیر بودجه خرش در سایت خود دارید، در قسمت کامنت با ما به اشتراک بگذارید.