Поэтому важной задачей Seo-оптимизации больших сайтов является удаление или закрытие мусорных страниц. Проще всего находить мусорные интернет-страницы благодаря программам-парсерам (на пример, Screaming Frog SEO Spider). Нужно лишь отсортировать их по размеру. От дубликатов нужно избавляться.
Если с момента последнего обхода страницы роботом на ней не производилось никаких изменений, то можно отправить роботу 304 код. В этом случае сканироваться страница скорее всего не будет. Важно, чтобы она не подвергалась изменениям со времен последнего захода. Это позволяет сэкономить краулинговый бюджет собственного ресурса. На размер бюджета влияют не только коды ответа сервера, но и желание робота сканировать страницу.
Факторы влияющие на краулинговый бюджет
- Контент низкого качества или контент-спам;
- Идентификаторы сессий;
- Текстовые материалы низкого качества;
- Фасетная навигация;
- Взломанные интернет-страницы;
- Адреса создающие бесконечные пространства (пример – календарь);
- Страницы с ошибками 404.