×
دریافت قیمت
+ مشاوره رایگان

دی 4, 1401
بودجه خزش(Crawl Budget) چیست؟

هر آنچه که درباره بودجه خزش باید بدانید

 

بودجه خزش

 

بودجه خزش تعداد صفحاتی است که موتورهای جستجو در یک بازه زمانی مشخص در یک وب سایت می خزند. موتورهای جستجو بودجه خزش را بر اساس محدودیت خزیدن (هر چند وقت یکبار می توانند بدون ایجاد مشکل بخزند) و تقاضای خزیدن (هر چند وقت یکبار مایل به خزیدن یک سایت) محاسبه می کنند. اگر بودجه خزش را هدر می دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور موثر بررسی کنند، که در نهایت به عملکرد سئوی شما آسیب می رساند.

اگر از اصول الگوریتم موتور جستجو آگاه هستید، می‌دانید که خزیدن اولین گام به سمت تولید نتایج از صفحات وب است. با توجه به بزرگی وب سایت ها و صفحات وب، خزیدن یک روش پیچیده است. حتی اگر گوگل همیشه الگوریتم‌های خود را ارتقا می‌دهد، برای Googlebot خزیدن هر صفحه وب به سادگی غیرممکن است. بنابراین گوگل این چالش را با اختصاص بودجه خزش به هر سایت حل می کند.

گوگل همیشه تمام صفحات یک سایت را فوراً تغییر نمی دهد. در واقع، گاهی اوقات، ممکن است هفته ها طول بکشد. این ممکن است مانع تلاش های سئو شما شود. ممکن است صفحه فرود تازه بهینه سازی شده شما ایندکس نشود. در آن مرحله، زمان آن است که بودجه خزش خود را بهینه کنید. ما در این مقاله بررسی خواهیم کرد که بودجه خزش چیست و چه کاری می توانید برای بهینه سازی آن انجام دهید.

 

بودجه خزش چیست؟

بودجه خزش حداکثر تعداد صفحاتی است که یک موتور جستجو می‌تواند و می‌خواهد در هر وب‌سایت مشخصی بخزد. گوگل بودجه خزش را با وزن کردن محدودیت نرخ خزیدن و تقاضای خزیدن تعیین می کند.

 

محدودیت سرعت خزیدن: سرعت صفحات وب شما، خطاهای خزیدن و محدودیت خزیدن تعیین شده در کنسول جستجوی گوگل همگی می توانند بر محدودیت سرعت خزیدن شما تأثیر بگذارند.

تقاضای خزیدن: محبوبیت صفحات شما و همچنین تازگی یا قدیمی بودن آنها می تواند بر تقاضای خزیدن شما تأثیر بگذارد.

بودجه خزش تعداد صفحاتی است که گوگل در هر روز در سایت شما می خزد. این عدد روز به روز باهم کمی متفاوت است، اما در کل، نسبتاً پایدار است. گوگل ممکن است هر روز 6 صفحه را در سایت شما بخزد، ممکن است 5000 صفحه را بخزد، حتی ممکن است هر روز 4،000،000 صفحه را بخزد. تعداد صفحاتی که گوگل می خزد بودجه خزش شما، به طور کلی بر اساس اندازه سایت شما، سلامت سایت شما همان تعداد خطاهایی که گوگل با آن مواجه می شود و تعداد لینک هایی به سایت شما تعیین می شود. برخی از این عوامل چیزهایی هستند که می توانید بر آنها تأثیر بگذارید.

 

خزنده چگونه کار می کند؟

خزنده ای مانند Googlebot لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. به طور سیستماتیک از طریق آن لیست می گذرد. هر چند وقت یکبار فایل robots.txt شما را می گیرد تا مطمئن شود که همچنان مجاز است هر URL را بخزد و سپس URL ها را یک به یک می خزد. هنگامی که یک عنکبوت یک URL را خزیده و محتویات آن را تجزیه می کند، URL های جدیدی را که در آن صفحه پیدا کرده است اضافه می کند که باید دوباره در لیست کارها بخزد.

چندین رویداد می تواند باعث شود گوگل احساس کند یک URL باید خزیده شود. ممکن است لینک‌های جدیدی پیدا کرده باشد که به محتوا اشاره می‌کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به‌روزرسانی شده باشد و غیره… هیچ راهی برای تهیه فهرستی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می‌خزد، اما وقتی تشخیص می دهد که باید انجام شود، آن را به لیست کارها اضافه می کند.

 

چه زمانی بودجه خزش یک مشکل است؟

اگر گوگل مجبور باشد URL های زیادی را در سایت شما بخزد و خزیدن های زیادی را اختصاص داده باشد، بودجه خزش مشکلی نیست. اما، فرض کنید سایت شما 250000 صفحه دارد و گوگل هر روز 2500 صفحه را در این سایت خاص می خزند. برخی از آن ها بیشتر از بقیه می خزند. اگر اقدامی نکنید، ممکن است تا 200 روز طول بکشد تا گوگل متوجه تغییرات خاصی در صفحات شما شود. بودجه خزش اکنون یک مسئله است. از طرف دیگر، اگر روزی 50000 خزیده باشد، اصلاً مشکلی وجود ندارد.

 

بودجه خزش خود را افزایش دهید

بیایید به مواردی نگاه کنیم که در واقع تعداد صفحاتی را که گوگل می تواند در سایت شما بخزد، بهبود می بخشد.

 

  • نگهداری وب سایت: کاهش خطاها

مرحله اول برای بوجه خزش بیشتر صفحات، این است که مطمئن شوید صفحاتی که خزیده می شوند یکی از دو کد بازگشتی ممکن را برمی گردانند: 200 (برای” OK”) یا 301 (برای “به جای آن به اینجا بروید”). همه کدهای برگشتی دیگر درست نیستند. برای فهمیدن این موضوع، باید به گزارش های سرور سایت خود نگاه کنید. گوگل آنالیتیکس و اکثر بسته های تحلیلی دیگر فقط صفحاتی را ردیابی می کنند که 200 مورد را ارائه می دهند. بنابراین بسیاری از خطاهای سایت خود را در آنجا پیدا نخواهید کرد.

هنگامی که گزارش های سرور خود را دریافت کردید، سعی کنید خطاهای رایج را پیدا کنید و آنها را برطرف کنید. ساده ترین راه برای انجام این کار این است که همه URL هایی را که 200 یا 301 برگردانده اند را بگیرید و سپس بر اساس تعداد دفعات دسترسی به آنها مرتب کنید. رفع یک خطا ممکن است به این معنی باشد که باید کد را اصلاح کنید. یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می دانید چه چیزی باعث این خطا شده است، می توانید سعی کنید منبع را نیز اصلاح کنید.

یکی دیگر از منابع خوب برای یافتن خطاها، کنسول جستجوی گوگل است. اگر Yoast SEO  دارید، حتی می توانید آنها را به راحتی با استفاده از مدیر تغییر مسیرها هدایت کنید.

 

  • بخش هایی از سایت خود را مسدود کنید

اگر بخش‌هایی از سایت خود دارید که واقعاً لازم نیست در گوگل باشند، آنها را با استفاده از robots.txt مسدود کنید. البته این کار را فقط در صورتی انجام دهید که بدانید چه کاری انجام می دهید. یکی از مشکلات رایجی که در سایت‌های تجارت الکترونیک بزرگتر مشاهده می‌کنیم، زمانی است که آن‌ها یک راه بی‌سابقه برای فیلتر کردن محصولات دارند. هر فیلتر ممکن است URL های جدیدی برای گوگل اضافه کند. در مواردی مانند این، واقعاً می‌خواهید مطمئن شوید که به گوگل اجازه می‌دهید فقط یک یا دو مورد از آن فیلترها را انتخاب کند و نه همه آنها.

 

  • زنجیره های تغییر مسیر را کاهش دهید

وقتی 301 URL را تغییر مسیر می دهید، اتفاق عجیبی می افتد. گوگل آن URL جدید را می بیند و آن URL را به لیست کارها اضافه می کند. همیشه آن را بلافاصله دنبال نمی کند، آن را به لیست کارهای خود اضافه می کند و فقط ادامه می دهد. هنگامی که شما ریدایرکت‌های زنجیره‌ای را انجام می‌دهید، برای مثال، وقتی غیرwww را به www، سپس http را به https هدایت می‌کنید، در همه جا دو تغییر مسیر دارید، بنابراین خزیدن همه چیز بیشتر طول می‌کشد.

 

  • لینک های بیشتری دریافت کنید

گفتنش آسان است، اما انجام آن سخت است. به دست آوردن لینک های بیشتر فقط یک موضوع عالی بودن نیست، بلکه این است که مطمئن شوید دیگران می دانند که شما عالی هستید. این موضوع روابط عمومی خوب و تعامل خوب در شبکه اجتماعی است.

 

چرا بهینه سازی بودجه خزش نادیده گرفته می شود؟

همانطور که گوگل به وضوح توضیح می دهد، خزیدن به خودی خود یک عامل رتبه بندی نیست. بنابراین این به تنهایی کافی است تا برخی از متخصصان سئو حتی به بودجه خزش فکر نکنند. برای یک وب سایت عظیم با میلیون ها و میلیون ها صفحه، مدیریت بودجه خزش منطقی است. اما اگر دامنه‌ای با اندازه متوسط هستید، نیازی نیست که خودتان را خیلی نگران بودجه خزش کنید. اگر واقعاً میلیون‌ها و میلیون‌ها صفحه دارید، باید مقداری از محتوا را کاهش دهید که به طور کلی برای دامنه شما مفید است.

 

چرا باید به بودجه خزش اهمیت دهید؟

شما می خواهید که موتورهای جستجو تا حد امکان صفحات قابل نمایه سازی شما را پیدا و درک کنند و می خواهید این کار را در سریع ترین زمان ممکن انجام دهند. هنگامی که صفحات جدیدی را اضافه می کنید و صفحات موجود را به روز می کنید، می خواهید موتورهای جستجو این صفحات را در اسرع وقت انتخاب کنند. هرچه زودتر صفحات را ایندکس کنند، زودتر می توانید از آنها بهره مند شوید.

اگر بودجه خزش را هدر می دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور موثر بررسی کنند. آن‌ها وقت خود را صرف بخش‌هایی از سایت شما می‌کنند که اهمیتی ندارد، که می‌تواند منجر به ناشناخته ماندن بخش‌های مهم وب‌سایت شما شود. اگر آنها در مورد صفحات اطلاعاتی نداشته باشند، آنها را نمی خزند و ایندکس نمی کنند و شما نمی توانید بازدیدکنندگان را از طریق موتورهای جستجو به آنها وارد کنید. هدر دادن بودجه خزش به عملکرد SEO شما آسیب می‌زند.

 

چگونه بودجه خزش خود را بهینه می کنید؟

بهینه سازی بودجه خزش به این نتیجه می رسد که مطمئن شوید بودجه خزش هدر نمی رود. اساساً، برای رفع دلایل هدر رفت بودجه خزش ، هزاران وب سایت را رصد می کنیم. اگر بخواهید هر یک از آنها را از نظر مسائل مربوط به بودجه خزش بررسی کنید، به سرعت الگویی را مشاهده خواهید کرد که اکثر وب سایت ها از مشکلات مشابهی رنج می برند.

 

دلایل رایج برای هدر رفتن بودجه خزش که با آن مواجه می شویم:

 

محتوای تکراری

 ما به صفحاتی که بسیار شبیه یا دقیقاً یکسان هستند محتوای تکراری می گوییم. مثالها عبارتند از: صفحات کپی شده، صفحات نتایج جستجوی داخلی و صفحات برچسب.

 

محتوای با کیفیت پایین

صفحاتی با محتوای بسیار کم، یا صفحاتی که هیچ ارزشی اضافه نمی کنند.

 

پیوندهای شکسته و تغییر مسیر

 پیوندهای شکسته پیوندهایی هستند که به صفحاتی ارجاع می دهند که دیگر وجود ندارند و پیوندهای هدایت شده پیوندهایی به URL هایی هستند که به URL های دیگر هدایت می شوند.

 

نشانی‌های اینترنتی نادرست در نقشه‌های سایت

 XML صفحات غیرقابل فهرست‌بندی و صفحات غیرصفحه‌ای مانند نشانی‌های اینترنتی 3xx، 4xx و 5xx نباید در نقشه سایت XML شما گنجانده شوند.

 

صفحاتی با زمان بارگذاری بالا یا تایم اوت

 صفحاتی که زمان زیادی طول می کشد تا بارگیری شوند یا اصلا بارگیری نمی شوند، تاثیر منفی بر بودجه خزش شما می گذارند، زیرا این نشانه ای برای موتورهای جستجو است که وب سایت شما نمی تواند از عهده آن برآید. و بنابراین آنها ممکن است محدودیت خزیدن شما را تنظیم کنند.

 

تعداد بالای صفحات غیر قابل نمایه سازی

وب سایت حاوی صفحات زیادی است که قابل فهرست بندی نیستند.

 

ساختار لینک داخلی بد

 اگر ساختار لینک داخلی شما به درستی تنظیم نشده باشد، ممکن است موتورهای جستجو توجه کافی به برخی از صفحات شما نداشته باشند.

 

خلاصه

در حالی که موتورهای جستجو به طور مداوم در خزیدن صفحات بیشتر بهتر می شوند، زمان می برد. از آنجایی که شما به عنوان ناشر کنترل کمی بر بودجه خزش دارید، بهترین کاری که می توانید انجام دهید این است که به طور منظم محتوای با کیفیت بالا را منتشر کنید و در عین حال بهترین تجربه کاربری را ارائه دهید.

بنابراین اگر از خود می پرسیدید که آیا بهینه سازی بودجه خزش هنوز برای وب سایت مهم است یا نه پاسخ واضح است که بله. بودجه خزش نکته مهمی است که برای هر متخصص سئو باید در نظر گرفته شود، بوده و خواهد بود. امیدواریم این نکات به شما کمک کند تا بودجه خزش خود را بهینه کنید و عملکرد سئوی خود را بهبود بخشید.

5/5 - (1 امتیاز)
مقالات مرتبط
پیام بگذارید