دی 4, 1401
بودجه خزش(Crawl Budget) چیست؟

هر آنچه که درباره بودجه خزش باید بدانید

 

بودجه خزش

 

بودجه خزش تعداد صفحاتی است که موتورهای جستجو در یک بازه زمانی مشخص در یک وب سایت می خزند. موتورهای جستجو بودجه خزش را بر اساس محدودیت خزیدن (هر چند وقت یکبار می توانند بدون ایجاد مشکل بخزند) و تقاضای خزیدن (هر چند وقت یکبار مایل به خزیدن یک سایت) محاسبه می کنند. اگر بودجه خزش را هدر می دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور موثر بررسی کنند، که در نهایت به عملکرد سئوی شما آسیب می رساند.

اگر از اصول الگوریتم موتور جستجو آگاه هستید، می‌دانید که خزیدن اولین گام به سمت تولید نتایج از صفحات وب است. با توجه به بزرگی وب سایت ها و صفحات وب، خزیدن یک روش پیچیده است. حتی اگر گوگل همیشه الگوریتم‌های خود را ارتقا می‌دهد، برای Googlebot خزیدن هر صفحه وب به سادگی غیرممکن است. بنابراین گوگل این چالش را با اختصاص بودجه خزش به هر سایت حل می کند.

گوگل همیشه تمام صفحات یک سایت را فوراً تغییر نمی دهد. در واقع، گاهی اوقات، ممکن است هفته ها طول بکشد. این ممکن است مانع تلاش های سئو شما شود. ممکن است صفحه فرود تازه بهینه سازی شده شما ایندکس نشود. در آن مرحله، زمان آن است که بودجه خزش خود را بهینه کنید. ما در این مقاله بررسی خواهیم کرد که بودجه خزش چیست و چه کاری می توانید برای بهینه سازی آن انجام دهید.

 

بودجه خزش چیست؟

بودجه خزش حداکثر تعداد صفحاتی است که یک موتور جستجو می‌تواند و می‌خواهد در هر وب‌سایت مشخصی بخزد. گوگل بودجه خزش را با وزن کردن محدودیت نرخ خزیدن و تقاضای خزیدن تعیین می کند.

محدودیت سرعت خزیدن: سرعت صفحات وب شما، خطاهای خزیدن و محدودیت خزیدن تعیین شده در کنسول جستجوی گوگل همگی می توانند بر محدودیت سرعت خزیدن شما تأثیر بگذارند.

تقاضای خزیدن: محبوبیت صفحات شما و همچنین تازگی یا قدیمی بودن آنها می تواند بر تقاضای خزیدن شما تأثیر بگذارد.

بودجه خزش تعداد صفحاتی است که گوگل در هر روز در سایت شما می خزد. این عدد روز به روز باهم کمی متفاوت است، اما در کل، نسبتاً پایدار است. گوگل ممکن است هر روز 6 صفحه را در سایت شما بخزد، ممکن است 5000 صفحه را بخزد، حتی ممکن است هر روز 4،000،000 صفحه را بخزد. تعداد صفحاتی که گوگل می خزد بودجه خزش شما، به طور کلی بر اساس اندازه سایت شما، سلامت سایت شما همان تعداد خطاهایی که گوگل با آن مواجه می شود و تعداد لینک هایی به سایت شما تعیین می شود. برخی از این عوامل چیزهایی هستند که می توانید بر آنها تأثیر بگذارید.

 

خزنده چگونه کار می کند؟

خزنده ای مانند Googlebot لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. به طور سیستماتیک از طریق آن لیست می گذرد. هر چند وقت یکبار فایل robots.txt شما را می گیرد تا مطمئن شود که همچنان مجاز است هر URL را بخزد و سپس URL ها را یک به یک می خزد. هنگامی که یک عنکبوت یک URL را خزیده و محتویات آن را تجزیه می کند، URL های جدیدی را که در آن صفحه پیدا کرده است اضافه می کند که باید دوباره در لیست کارها بخزد.

چندین رویداد می تواند باعث شود گوگل احساس کند یک URL باید خزیده شود. ممکن است لینک‌های جدیدی پیدا کرده باشد که به محتوا اشاره می‌کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به‌روزرسانی شده باشد و غیره… هیچ راهی برای تهیه فهرستی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می‌خزد، اما وقتی تشخیص می دهد که باید انجام شود، آن را به لیست کارها اضافه می کند.

 

چه زمانی بودجه خزش یک مشکل است؟

اگر گوگل مجبور باشد URL های زیادی را در سایت شما بخزد و خزیدن های زیادی را اختصاص داده باشد، بودجه خزش مشکلی نیست. اما، فرض کنید سایت شما 250000 صفحه دارد و گوگل هر روز 2500 صفحه را در این سایت خاص می خزند. برخی از آن ها بیشتر از بقیه می خزند. اگر اقدامی نکنید، ممکن است تا 200 روز طول بکشد تا گوگل متوجه تغییرات خاصی در صفحات شما شود. بودجه خزش اکنون یک مسئله است. از طرف دیگر، اگر روزی 50000 خزیده باشد، اصلاً مشکلی وجود ندارد.

 

بودجه خزش خود را افزایش دهید

بیایید به مواردی نگاه کنیم که در واقع تعداد صفحاتی را که گوگل می تواند در سایت شما بخزد، بهبود می بخشد.

 

  • نگهداری وب سایت: کاهش خطاها

مرحله اول برای بوجه خزش بیشتر صفحات، این است که مطمئن شوید صفحاتی که خزیده می شوند یکی از دو کد بازگشتی ممکن را برمی گردانند: 200 (برای” OK”) یا 301 (برای “به جای آن به اینجا بروید”). همه کدهای برگشتی دیگر درست نیستند. برای فهمیدن این موضوع، باید به گزارش های سرور سایت خود نگاه کنید. گوگل آنالیتیکس و اکثر بسته های تحلیلی دیگر فقط صفحاتی را ردیابی می کنند که 200 مورد را ارائه می دهند. بنابراین بسیاری از خطاهای سایت خود را در آنجا پیدا نخواهید کرد.

هنگامی که گزارش های سرور خود را دریافت کردید، سعی کنید خطاهای رایج را پیدا کنید و آنها را برطرف کنید. ساده ترین راه برای انجام این کار این است که همه URL هایی را که 200 یا 301 برگردانده اند را بگیرید و سپس بر اساس تعداد دفعات دسترسی به آنها مرتب کنید. رفع یک خطا ممکن است به این معنی باشد که باید کد را اصلاح کنید. یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می دانید چه چیزی باعث این خطا شده است، می توانید سعی کنید منبع را نیز اصلاح کنید.

یکی دیگر از منابع خوب برای یافتن خطاها، کنسول جستجوی گوگل است. اگر Yoast SEO  دارید، حتی می توانید آنها را به راحتی با استفاده از مدیر تغییر مسیرها هدایت کنید.

 

  • بخش هایی از سایت خود را مسدود کنید

اگر بخش‌هایی از سایت خود دارید که واقعاً لازم نیست در گوگل باشند، آنها را با استفاده از robots.txt مسدود کنید. البته این کار را فقط در صورتی انجام دهید که بدانید چه کاری انجام می دهید. یکی از مشکلات رایجی که در سایت‌های تجارت الکترونیک بزرگتر مشاهده می‌کنیم، زمانی است که آن‌ها یک راه بی‌سابقه برای فیلتر کردن محصولات دارند. هر فیلتر ممکن است URL های جدیدی برای گوگل اضافه کند. در مواردی مانند این، واقعاً می‌خواهید مطمئن شوید که به گوگل اجازه می‌دهید فقط یک یا دو مورد از آن فیلترها را انتخاب کند و نه همه آنها.

5/5 - (1 امتیاز)
مقالات مرتبط
پیام بگذارید