Веб-паук использует поисковые формы лишь в том случае, если не может найти весь доступный контент сайта

Веб-паук

Веб-паук, Робот GoogleBot стал по-настоящему умнее за последние годы. Он считывает JavaScript, имеет доступ к данным изображений, находит ссылки там, где никто их не видит и т.д. А также робот GoogleBot может выполнять отправку форм.

Только представьте, робот GoogleBot отправляется на Bing.com, выполняет поисковой запрос, и затем исследует страницы с помощью ссылок, предоставленных роботом BingBot. Хотя стойте, это Bing обманывает, копируя результаты Google — но Google все же делает также на некоторых сайтах.

Во время очередного видеоинтервью представитель Google Джон Мюллер ответил на вопрос «Выполняет ли Google отправку форм?» следующим образом:

Мы делаем так лишь в некоторых ситуациях, когда не совсем уверены, имеется ли весь доступный контент на вебсайте. В этом случае мы можем использовать некоторые ключевые слова из существующего контента, чтобы найти больше данных и страниц. Но такое случается очень редко.

На самом деле, поисковые формы не приводят нас к новому или интересному контенту. Однако иногда они помогают найти контент, который невозможно найти, особенно если у сайта отсутствует навигация и файл sitemap. Если же мы видим, что на домашней странице сайта есть поисковая форма, а также много качественного контента, который мы не в состоянии обнаружить обычным способом, мы используем данный подход.

Чтобы узнать, почему и когда Google использует поисковые формы, посмотрите это видеоинтервью.

Прочитайте и другие полезные статьи:

Читайте также:  Заменят ли роботы специалистов по контекстной рекламе?

Реальная история: как сэкономить на хостинге

Реальная история: самолечение сайта

2 комментария к «Веб-паук использует поисковые формы лишь в том случае, если не может найти весь доступный контент сайта»

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *