Краулинговый бюджет

Для того, чтобы ваш сайт попал в индекс его должны обойти поисковые роботы. Они сами выбирают какое количество страниц им обойти за раз. Это и называется краулинговым бюджетом. Это очень важный показатель для сайтов с большим количеством страниц. Чем быстрее бот обойдет нужные для продвижения страницы, тем быстрее они попадут в индекс и смогут приносить трафик.

Поэтому важной задачей Seo-оптимизации больших сайтов является удаление или закрытие мусорных страниц. Проще всего находить мусорные интернет-страницы благодаря программам-парсерам (на пример, Screaming Frog SEO Spider). Нужно лишь отсортировать их по размеру. От дубликатов нужно избавляться.

Если с момента последнего обхода страницы роботом на ней не производилось никаких изменений, то можно отправить роботу 304 код. В этом случае сканироваться страница скорее всего не будет. Важно, чтобы она не подвергалась изменениям со времен последнего захода. Это позволяет сэкономить краулинговый бюджет собственного ресурса. На размер бюджета влияют не только коды ответа сервера, но и желание робота сканировать страницу.

Факторы влияющие на краулинговый бюджет

  • Контент низкого качества или контент-спам;
  • Идентификаторы сессий;
  • Текстовые материалы низкого качества;
  • Фасетная навигация;
  • Взломанные интернет-страницы;
  • Адреса создающие бесконечные пространства (пример – календарь);
  • Страницы с ошибками 404.

На краулинговый бюджет воздействует даже скорость загрузки портала. Он расходуется на абсолютно все ссылки. Сюда относятся AMP страницы, CSS, JS и другие.

Возврат к списку



Хотите получить эффективный сайт?

Мы знаем, что сайт в вашем бизнесе - не главное.

Главное - это продажи. конверсия. имидж.

Именно это вы и получаете.