Що таке краулінговий бюджет?

Що таке краулінговий бюджет — це об'єм документів (сторінок), які робот пошукових систем обходить за один раз. У перекладі з англійського «crawling» — це повзання. Іншими словами, пошуковий робот повзає по сторінках сайту і індексує їх. Поняття досить специфічне і не всім відоме в seo— співтоваристві, але, проте, від цього воно не втрачає своєї важливості. У цій статті ми поговоримо про все, що пов'язано з краулінгом сайтів.

Який розмір краулінгового бюджету?

Як і все в пошукових системах, розмір бюджету сторінок, які обходить пошуковий павук за один раз, суто індивідуальний. Для одних сайтів він складає 50 сторінок за раз, для інших сайтів - 5000 сторінок за обхід. Все залежить від типу ресурсу, його розмірів і інтенсивності оновлення інформації. Треба відмітити, що бюджет виділяється загальний на домен. Якщо у вас багато піддоменів або мовних версій сайту, то увесь краулінговий бюджет витрачається і на них теж.

Щоб приблизно розуміти, яку кількість сторінок пошукова система обходить за 1 раз конкретно на вашому сайті, зайдіть у вебмастера. Там є пункт - обхід сторінок, в якому є графік. При цьому їсть ьтри значення:

  • максимум;
  • мінімум;
  • середнє.

Так от середнє значення - це і є бюджет, що якраз виділяється для сайту, для обходу документів.

Чи вистачає бюджету на увесь сайт?

Природно, розміру краулінгового бюджету не завжди вистачає, тому можуть виникати проблеми з індексацією нових сторінок. Особливо це стосується нових ресурсів або ресурсів з великою кількістю сторінок (20.000 і більше). Для цього важливо пускати пошукового робота тільки на важливі розділи, щоб він приділяв увагу тільки потрібним документам.

Що використати для напряму гуглбота по потрібних сторінках:

  • Службовий файл robots.txt. Тут треба закрити від пошукової системи директивою disallow ті розділи сайту, які не потребують індексування. Це можуть бути системні теки, теки із зображеннями, які і так робот побачить при обході сторінок, і інше «сміття».
  • Службовий файл sitemap.xml. Сюди слід помістити усі найважливіші, потребуючі обов'язкової індексації, сторінки: головна сторінка, категорії, сторінки товарів, сторінки новин і інші. Також не буде зайвим в карті сайту для кожного документу вказати дату його останньої зміни, в цьому випадку пошуковий робот при обході звірятиме дати. І якщо з останнього краулінга документ не мінявся, то робот його пропустить, чим заощадить загальний бюджет.
© 2008 - 2018 Webdesign Odessa
Создание - Раскрутка - Поддержка
+38 (095) 810-11-08