کرال باجت (بودجه خزش) چیست و چطور در سایتهای ایرانی هدر میرود؟
محدودیت منابع پردازشی: سهمیه خزش سایت شما چقدر است؟
گوگل یک خیریه با سرورهای بینهایت نیست. هر باری که ربات وارد سایت شما میشود، هزینه مصرف برق، پردازش داده و ترافیک شبکه را به همراه دارد.
به همین دلیل برای هر دامنه بر اساس فاکتورهایی مثل سرعت، پایداری و اعتبار موضوعی، یک سهمیه خزش روزانه مشخص تعیین میشود.
بودجه خزش یعنی تعداد دفعاتی که رباتهای گوگل در یک بازه زمانی مشخص، صفحات سایت شما را دانلود و ارزیابی میکنند.
گلوگاههای اتلاف سهمیه خزش در وب فارسی
در بسیاری از پروژههای فروشگاهی یا پرمحتوا، ربات به سایت سر میزند اما هرگز به صفحات اصلی محصولات نمیرسد؛ چرا که سهمیه خزش در بیراههها تلف میشود.
شناخت این نقاط نشتی، اولین گام در بازیابی توان سایت در سرچ کنسول است.
- فیلترهای چندگانه فروشگاه: ساخت ترکیبهای بیپایان از رنگ، سایز و گارانتی.
- حلقهها و زنجیرههای ریدایرکت: وقتی یک آدرس پس از چند دست به مقصد نهایی میرسد.
- صفحات خطای نرم: برگههایی که محتوایی ندارند اما به سرور وضعیت سالم تحویل میدهند.
- برچسبهای تکمطلبه: ساخت انبوهی از دستهبندیهای متروکه که کاربری ندارند.
استراتژی پاکسازی مسیرهای خزش
برای مهار این وضعیت، باید دسترسی متغیرهای فیلترهای بیارزش را در پرونده دستورات باتها محدود کنید.
همچنین مطمئن شوید برگههای مهم سایت در فاصلهای کمتر از ۳ کلیک از صفحه اصلی قرار گرفتهاند تا ربات در کمترین زمان به آنها برسد.
دستور اقدام عملی
در پیشخوان سرچ کنسول از بخش تنظیمات به قسمت آمار خزش مراجعه کنید. بررسی کنید میانگین زمان پاسخگویی هاست در چه وضعیتی قرار دارد؛ این عدد نباید از نیمثانیه عبور کند.