Що таке краулінговий бюджет?
Що таке краулінговий бюджет — це об'єм документів (сторінок), які робот пошукових систем обходить за один раз. У перекладі з англійського «crawling» — це повзання. Іншими словами, пошуковий робот повзає по сторінках сайту і індексує їх. Поняття досить специфічне і не всім відоме в seo— співтоваристві, але, проте, від цього воно не втрачає своєї важливості. У цій статті ми поговоримо про все, що пов'язано з краулінгом сайтів.
Який розмір краулінгового бюджету?
Як і все в пошукових системах, розмір бюджету сторінок, які обходить пошуковий павук за один раз, суто індивідуальний. Для одних сайтів він складає 50 сторінок за раз, для інших сайтів - 5000 сторінок за обхід. Все залежить від типу ресурсу, його розмірів і інтенсивності оновлення інформації. Треба відмітити, що бюджет виділяється загальний на домен. Якщо у вас багато піддоменів або мовних версій сайту, то увесь краулінговий бюджет витрачається і на них теж.
Щоб приблизно розуміти, яку кількість сторінок пошукова система обходить за 1 раз конкретно на вашому сайті, зайдіть у вебмастера. Там є пункт - обхід сторінок, в якому є графік. При цьому їсть ьтри значення:
- максимум;
- мінімум;
- середнє.
Так от середнє значення - це і є бюджет, що якраз виділяється для сайту, для обходу документів.
Чи вистачає бюджету на увесь сайт?
Природно, розміру краулінгового бюджету не завжди вистачає, тому можуть виникати проблеми з індексацією нових сторінок. Особливо це стосується нових ресурсів або ресурсів з великою кількістю сторінок (20.000 і більше). Для цього важливо пускати пошукового робота тільки на важливі розділи, щоб він приділяв увагу тільки потрібним документам.
Що використати для напряму гуглбота по потрібних сторінках:
- Службовий файл robots.txt. Тут треба закрити від пошукової системи директивою disallow ті розділи сайту, які не потребують індексування. Це можуть бути системні теки, теки із зображеннями, які і так робот побачить при обході сторінок, і інше «сміття».
- Службовий файл sitemap.xml. Сюди слід помістити усі найважливіші, потребуючі обов'язкової індексації, сторінки: головна сторінка, категорії, сторінки товарів, сторінки новин і інші. Також не буде зайвим в карті сайту для кожного документу вказати дату його останньої зміни, в цьому випадку пошуковий робот при обході звірятиме дати. І якщо з останнього краулінга документ не мінявся, то робот його пропустить, чим заощадить загальний бюджет.