Веб-паук, Робот GoogleBot стал по-настоящему умнее за последние годы. Он считывает JavaScript, имеет доступ к данным изображений, находит ссылки там, где никто их не видит и т.д. А также робот GoogleBot может выполнять отправку форм. Только представьте, робот GoogleBot отправляется на Bing.com, выполняет поисковой запрос, и затем исследует страницы с помощью ссылок, предоставленных роботом BingBot.…