بودجه خزش (Crawl Budget)، پارامتری است که تعیین می کند صفحات شما با چه سرعتی در پایگاه داده گوگل ایندکس می شود. اگر صفحات جدید یا تغییرات صفحات قبلی وب سایت تان، با تأخیر زیاد در نتایج گوگل نشان داده می شود، احتمالاً به افزایش کرال باجت نیاز دارید. بودجه خزش (Crawl Budget)، تعداد صفحاتی است که ربات های گوگل (Googlebot) می تواند در یک بازه زمانی مشخص، بخزد. منظور از خزش (Crawling) فرایندی است که در آن، ربات ها اطلاعات صفحات وب را بازدید و جمع آوری می کند. این فرایند در حالت ایده آل منجر به ایندکس (index) شدن صفحات در پایگاه داده گوگل می شود (به معنی نمایش صفحات در نتایج گوگل)؛ اما گاهی ممکن است به دلایلی (مانند کیفیت پایین محتوا یا مشکلات فنی)، ایندکس انجام نشود.
اهمیت بودجه خزش (Crawl Budget)
بودجه خزش از آنجا که سهمیه سایت شما را از ربات ها یا خزنده های گوگل نشان می دهد، اهمیت زیادی در به ثمرنشستن فعالیت های سئو سایت دارد. این موضوع به خصوص وقتی اهمیت پیدا می کند که سایت بزرگی داشته باشید. تصور کنید سایت شما 250 هزار صفحه دارد و گوگل بودجه خزش شما را 2500 در نظر گرفته است. یعنی روزانه 2500 صفحه از سایت شما را خزش می کند. البته در این میان برخی صفحات مثل صفحه اصلی سایت لازم است چندین بار خزش شوند. درصورتی که کار جدیدی انجام ندهید و صفحه جدیدی روی سایت ایجاد نشود، با بودجه خزش گفته شده، حداقل 100 روز طول می کشد تا صفحات سایت شما به طور کامل خزش شوند. البته با وجود اصلاحاتی که در صفحات رخ می دهد و اینکه برخی صفحات بیشتر از یک بار خزش می شوند، در واقعیت چیزی در حدود 200 روز برای خزش همه صفحات سایت زمان لازم است. اهمیت بودجه خزش اینجا آشکار می شود. در این مثال با بودجه خزش موردنظر حداقل 100 روز زمان نیاز است تا صفحات سایت توسط گوگل خزش شوند، تصور کنید چقدر زمان برای ایندکس صفحات و رتبه گرفتن آن ها نیاز است. به خصوص آنکه در هنگام اجرای فعالیت های سئو داشتن بازخورد از نتیجه فعالیت ها برای اصلاح آن ها و بهبود روند سئو ضروری است. در کنار این ها ضرورت گزارش دهی به کارفرمای سایت را هم درنظر بگیرید.
بودجه خزش سایت توسط گوگل چگونه تعیین می شود؟
عواملی مختلفی بر تصمیم گوگل برای خزش یک URL تاثیر دارند. مهم ترین این عوامل شامل اندازه سایت، خطاهای سایت، سرعت بارگیری صفحات، محتواهای تکراری و بی کیفیت، صفحات هک شده و همچنین تعداد لینک هایی که سایت شما دریافت کرده می شود. برای مثال پیدا شدن لینک هایی که به صفحه جدید اشاره دارند، خزنده های گوگل را به سمت آن هدایت می کند. همچنین اگر کسی صفحه جدید را توییت کند یا اگر آدرس صفحه در سایت مپ سایت وارد شود، صفحه موردنظر را در اولویت بالاتری برای خزش قرار می دهد. حقیقت آن است که نمی توان لیست دقیق و کاملی از عواملی که بر تصمیم گوگل برای خزش یک سایت تاثیر دارند، تهیه کرد. اما روند کار بدین شکل است که وقتی گوگل تصمیم گرفت صفحه را خزش کند، آن را به لیست خزنده ها اضافه می کند تا در دفعات بعدی به سراغ آن بروند.
راه های افزایش بودجه خزش سایت
وجه خزش سایت می تواند به نوبه خود اهمیت زیادی برای سئوکارها داشته باشد به خصوص وقتی با یک سایت بزرگ و گسترده روبرو هستیم. در این قسمت قصد داریم راه هایی برای افزایش بودجه خزش سایت معرفی کنیم.
سرعت سایت را بالا ببرید
سایتی که سرعت پایین دارد نه تنها برای کاربران خسته کننده است بلکه حتی برای خزنده های گوگل هم آزاردهنده است. از آنجاکه چنین صفحاتی وقت خزنده ها را هدر می دهند، گوگل تمایلی به ماندن زیاد خزنده هایش در سایت شما نخواهد داشت و بودجه خزش سایت پایین می آید.
خطاهای فنی سایت را کاهش دهید
در قدم اول برای افزایش بودجه خزش سایت باید مطمئن شوید صفحات سایت شما در پاسخ به درخواست مرورگر، کد بازگشتی 200 یا 301 را برمی گرداند. کد بازگشتی درواقع کدی است که سرور سایت به مرورگر ارسال کرده و بوسیله آن وضعیت وجود یا عدم وجود صفحه، تغییر آدرس آن یا مثلا حذف کامل صفحه را مشخص می کند. کد 200 به معنای وجود صفحه و کد 301 به معنای ریدایرکت شدن صفحه است. تنها نمایش این دو کد است که از درست بودن وضعیت دسترسی به صفحه خبر می دهند و بقیه کدها نشان دهنده بروز یک خطا در آن است. بنابراین لازم است ابتدا وضعیت کد بازگشتی تمام صفحات را بررسی کنید و آن هایی را که خطا دارند، اصلاح کنید. ممکن است برخی خطاها را با ریدایرکت کردن بتوانید اصلاح کنید و برخی را با برطرف کردن منبع ایجاد خطا. فراموش نکنید که سرچ کنسول گوگل برای خطایابی در این قسمت هم می تواند به شما کمک زیادی کند.
برخی از صفحات سایت را مسدود کنید
اگر در سایت تان صفحاتی دارید که واقعا قرار نیست در نتایج جستجوی گوگل ظاهر شوند، بهتر است آن ها را با استفاده از فایل ROBOTS.TXT برای خزنده های گوگل مسدود کنید تا بودجه خزش شما هدر نرود. یکی از مشکلاتی که معمولا مشاهده می شود، این است که سایت های فروشگاهی هنگام اعمال فیلتر در نمایش محصولات، URL صفحه را تغییر می دهند. درنتیجه خزنده های گوگل هر کدام را یک صفحه در نظر گرفته و بودجه خزش سایت را صرف آن می کنند. در چنین مواردی باید مراقب باشید قالب سایت تان هنگام اعمال فیلتر، URL صفحه را تغییر ندهد. درصورتی که URL تغییر می کند، باید آن ها را برای خزنده های گوگل مسدود کنید.
زنجیره ریدایرکت ها را کاهش دهید
هنگامی که صفحه ای را ریدایرکت 301 می کنید، وقتی خزنده های گوگل برای خزش آن می آیند، URL مقصد را در لیست خزش قرار می دهند تا در نوبت بعدی آن را خزش کنند. این نشان می دهد ریدایرکت ها بودجه خزش سایت را هدر می دهند. برای مثال وقتی آدرس بدون WWW را روی آدرس WWW ریدایرکت می کنید و آدرس HTTP را روی آدرس HTTPS ریدایرکت می کنید، برای هر صفحه از سایت دو ریدایرکت ایجاد کرده و بودجه خزش زیادی را برای آن هدر داده اید.
جمع بندی
زمانی که شما با یک مشکل نمایه سازی با ایندکس شدن حاد روبرو هستید ، قطعاً باید به خطاهای خزیدن، مسدود کردن بخش هایی از سایت خود و برطرف کردن زنجیره های تغییر مسیر مراجعه کنید. با این حال لینک سازی روشی بسیار کند برای افزایش بودجه خزیدن شما می باشد. از طرف دیگر اگر قصد ایجاد یک سایت بزرگ را دارید و می خواهید ایندکس شوید، ساخت لینک باید بخشی از روند صعودی شما باشد و در مدت کوتاه بدست نخواهد آمد. اگر چه بهینه سازی بودجه خزش کمی سخت به نظر می رسد اما با دنبال کردن ترفند ها و تکنیک هایی می توانید این کار را به راحتی انجام دهید.