نرخ خزش سایت یا crawl budget چیست؟

بودجه نرخ خزش یا crawl budget  یک مفهوم اساسی در سئو سایت است که اغلب توسط وب مستران نادیده گرفته می شود، بسیاری از موضوعات و قواعد وجود دارد که توسط یک متخصص سئو باید بررسی شود و از اهمیت بسیار زیادی برخوردار است.

هدف اصلی ما از نوشتن این مقاله آشنایی با مفهوم crawl budget  و راه های بهبود این نرخ و بهینه سازی بودجه خزش است.

بودجه خزش در واقع فرکانسی است که خزنده های موتور جستجو در صفحات دامنه شما قرار می دهند.

در واقع بودجه خزش به تعداد صفحاتی گفته می شود که ربات های گوگل طی یک دوره زمانی مشخص در سایت شما ایندکس میکنند.

بهینه سازی نرخ کراول یا نرخ خزش شامل یک سری از مراحل است که می توانید به طور خاص برای افزایش نرخ بازدید ربات های موتور جستجو در صفحات خود انجام دهید.

عوامل تاثیر گذار بر روی نرخ خزش در هر سایت

• ثبت صفحات سایت در txt

صفحات مهم وب سایت خود را در robot.txt ثبت کنید تا برای خزنده های گوگل در دسترس باشد. robot.txt  این قابلیت را دارد که هر زمانی که بخواهید صفحات وب سایت خود را از دید خزنده های گوگل پنهان کنید و یا به خزنده های گوگل بگویید چه صفحاتی برای شما اهمیت بیش تری دارد. مدیریت ربات سایت به دو صورت امکان پذیر است، در روش اول این کار به صورت دستی انجام می شود اما در روش دیگر می توانید از ابزارهای مورد نظر نیز استفاده کنید.

• مراقب تعداد ریدایرکت های سایت تان باشید

نکته مهم و اساسی در استفاده از زیدایرکت ها این مساله است که تا زمانی که مجبور نشده اید از ریدایرکت 301 و 302 استفاده کنید این کار را نکنید!

• تا حد امکان از کدهای html  استفاده کنید

تا حد امکان از کدهای flash  و  xml  استفاده نکنید

• وجود خطاهای http می تواند موجب نا امید شدن کرولرها از وب سایت شما شود

همیشه به این نکته توجه کنید که خطاهای فنی 404 و 401 می تواند موجب افت بودجه خزش شما شود.

در واقع نه تنها خطاهای 4xx  بلکه کلیه ی خطاهای 5xx  نیز می تواند موجب افت نرخ خزش شما شود.

• URL  های خود را متناسب با اصول و قوائد سئو انتخاب کنید

در هنگام انتخاب آدرس اینترنتی خود نکاتی را رعایت کنید تا آدرس شما منطبق بر اصول و قواعد سئو باشد.

• سایت مپ خود را آپدیت کنید

فایل Sitemap خود را اصلاح کنید و از فرصت مجاز آن استفاده کنید و نکته مهم دیگر اینکه از مطابقت آن با فایل robot.txt  مطمئن شوید.