Сделать полноценный аудит большого и сложного сайта невозможно без специальных программ, которые анализируют его.

Два наших любимых инструмента для анализа сайтов — это DeepCrawl и Screaming Frog. У обоих этих инструментов отличный функционал.

Обычно, мы используем DeepCrawl для корпоративных сайтов и Screaming Frog — для маленьких и средних сайтов. Также мы можем использовать оба этих инструмента, когда есть время провести более детальный анализ. Результат от комбинирования этих программ — DeepCrawl и Screaming Frog — получается лучше, чем если использовать их по отдельности.

Оба инструмента предоставляют ценные данные. И в этой статье мы расскажем, как на их основе составить серьезный отчет по SEO. Приступим.

Отчеты Screaming Frog

Оковы переадресации

Большинство SEOшников знают, что нужно перенаправлять пользователей со старых страниц на новые идентичные, когда сайт переделывают или он переезжает. Многие просто используют код состояния 301, и на этом всё. НЕ СОВЕРШАЙТЕ ЭТУ ОШИБКУ.

Код состояния 301 может вести к коду 200, что хорошо. Но он также может вести на ошибку 404, что плохо. Или он может вести на другой 301, и так пять раз. Или это может привести к ошибке приложения 500. Даже если вы прописали код 301, еще не значит, что все пойдет по плану после переадресации. Программа Screaming Frog укажет вам на эти ошибки.

В настройках обратите внимание на “Always Follow Redirects”, а затем проанализируйте все старые адреса (где идет переадресация).

Screaming Frog проверит переадресации и проложит полный путь: от начальной страницы до конечной 200, 301, 302, 404, 500 и т.п. Чтобы экспортировать отчет, нажмите на “Reports” в главном меню, а затем выберите Redirect Chains.

В Excel вы увидите оригинальный адрес и адрес переадресации. Это очень важно, так как 301 страница, ведущая на 404 страницу, может являться причиной того, что вы потеряете позиции и трафик со страницы.

Небезопасный контент

Многие сайты переходят на протокол HTTPS, так как Google требует этого. Когда вы переходите на HTTPS, нужно проверить несколько элементов. Первый — несоответствие контента. Таким образом, вы передаете небезопасные элементы по безопасному урлу.

Если это правда, то появится следующая ошибка:

Многие не знают, но программа Screaming Frog предоставляет отчет, в  котором показывается небезопасный контент. Снова, нажмите на “Reports” в главном меню и выберите “Insecure Content.” В отчете будет список ссылок с небезопасным контентом.

Как только вы перенесли сайт на протокол HTTPS, вы можете экспортировать отчет и передать данные разработчикам.

Канонические ошибки

Канонический тег урла — мощное средство, позволяющее определить, понимают ли поисковые системы ваши урлы. Это поможет вам избавиться от дуплицированного контента.

Но канонический тег урла также может разрушить SEO-продвижение с помощью одной строчки кода.  Это может стать причиной больших SEO проблем— например, канонизация целого сайта от домашних страниц до страниц с ошибками 404.

Существует много способов поправить тег rel=canonical, но проблема в том, что он лежит глубоко внутри. Тег незаметен невооруженным глазом, что делает его очень, очень опасным. Поэтому Screaming Frog предоставляет отчет о канонических ошибках, который поможет обнаружить эти проблемы быстро. Зайдите в “Reports” и выберите “Canonical Errors”.

После экспорта отчета вы сможете увидеть каждую каноническую ошибку, которую обнаружила программа Screaming Frog во время анализа. Вы будете шокированы от того, что обнаружите. Хорошая новость: вы сможете прислать отчет разработчику, чтобы он исправил ошибки.

Погружаясь на глубину с DeepCrawl

Нумерация: Первые страницы

Нумерация страниц присуща большим сайтам, особенно сайтам интернет-магазинов, где много категорий с товарами.

Проблемы с нумерацией страниц беспокоит многих SEOшников, которые часто жалуются, что они неправильно настроены.

DeepCrawl 1.9 (текущая версия) предоставляет несколько ценных отчетов, которые помогут вам решить эти проблемы. Например, когда вы анализируете большие и сложные сайты, нумерация страниц может уходить глубоко к корням сайта. Отчет “First Pages” покажет первые страницы в нумерации (ссылки, которые содержат тег a rel= “next”). Это поможет вам проследить все страницы, с которых начинается нумерация.

Чтобы найти отчеты в программе DeepCrawl, нажмите на вкладку “Content”, прокрутите вниз до Content Report. Скриншот отчета первых страниц.

Как только вы получили отчет о первых страницах с нумерацией, вы можете пойти дальше и узнать, правильно ли она настроена. Все ли страницы связаны друг с другом? Как насчет тега rel=canonical? Некоторые компоненты страниц не проиндексированы? Канонизированы ли они к первой странице?

Вы сможете найти ответы на все эти вопросы и даже больше. Но сначала нужно узнать обо всех пронумерованных страницах.

Нумерация страниц: Страницы без ссылок

Следующий шаг — проверить связанные друг с другом страницы, в которых есть теги next/prev, но они не ссылаются друг на друга. Например, урлы, которые содержат тег a rel next, должны быть связаны с другими компонентами на странице. Страницы с двумя тегами rel=”next” и rel=”prev” должны быть связаны и с предыдущей, и со следующей страницей. И так далее и тому подобное.

Если вы нашли теги rel next/prev без связанного урла, значит у вас проблемы. Может, вам нужно будет убрать унаследованный программный код. Может, ссылки на страницы не показываются в коде или на странице. Может, есть ошибка 404. Опять же, вы не узнаете, пока не проанализируйте сайт.

Максимальное количество переадресаций

Как уже упоминалось раннее, если страница переадресовывается несколько раз — это нехорошо. И это может вредить SEO. Запомните, переадресация должна быть одна, на страницу назначения.

DeepCrawl выдает отчет о максимальном количестве переадресаций, в котором перечисляются все ссылки, которые переадресовываются более 4 раз. Это отличный способ просмотреть и проанализировать все урлы. Вы можете найти отчет Max Redirections в DeepCrawl, нажав вкладку “Validation” и прокрутить страницу вниз до “Other.”

Страницы с тегами hreflang (и без)

Hreflang — отличный способ связать урлы на различных языках вместе. Google сможет выдавать правильную версию страницу в поисковой выдаче в зависимости от языка пользователя.

Но ошибки встречаются и в тегах hreflang. Например, вы можете включить возвратные теги на страницах, ссылающиеся на другие страницы в кластере. Так, если “en” страница ссылается на  “es” страницу, тогда “es” страница должна ссылаться на “en” страницу. Пример ошибки “no return tags” в Google Search Console.

Вдобавок, есть другие способы запороть теги  hreflang, указав неправильный язык или код страны. Важно, чтобы страница содержала тег  hreflang, но еще важнее, чтобы эти теги были установлены правильно.  

В программе DeepCrawl есть несколько отчетов о тегах hreflang. Например, отчет “Pages with hreflang Tags”. В нем указывается список страниц, которые содержат теги hreflang. Чтобы найти отчет, нажмите на вкладку “Validation” и прокрутите страницу вниз до “Other”.

Запомните, теги на странице легче собрать, если они есть в коде, но когда тег hreflang передается через заголовок отчета или в картах сайта, вы не сможете заметить его, просто просмотрев страницу. DeepCrawl предоставит эту информацию вам.

Бонус: скоро выйдет новая версия DeepCrawl 2.0

Disallowed JS/CSS

Чтобы гугл бот правильно выдавал страницу, нужно находить правильные ресурсы (как CSS и JavaScript). Если все эти ресурсы заблокированы robots.txt, то Google не сможет корректно отдать страницу, как сделал бы обычный браузер. 

Используя Fetch, как в Google Search Console, и выбрав “fetch and render”, вы сможете проверить, правильно ли гугл бот отдает отдельные страницы.  Но что насчет проверки 50,000 страниц, 500,000 страниц, 1,000,000 страниц или больше? Что ж, для этого есть новый отчет в программе DeepCrawl 2.0, который перерабатывает неразрешенные ресурсы, как JavaScript и CSS, и это отличный способ узнать, какие ресурсы на сайте были заблокированы. И вы сможете быстро решить эту проблему.

HTTP ресурсы на HTTPS

Существует много сайтов, перешедших на HTTPS. Но также существует много сайтов, который неправильно обрабатывают контент HTTP на HTTPS (ошибка несоответствия контента). DeepCrawl 2.0 поможет решить эту проблему. Как только вы перенесли ресурс с HTTP на HTTPS, вы сможете передать отчет об исправлении ошибок разработчикам.

Следующие шаги: Проверяйте отчеты

Окей, сейчас вы можете составить 9 дополнительных отчетов. Они помогут вам решить многие проблемы при SEO-продвижении. Эти проблемы могут значительно влиять на позиции ранжирования. Поэтому анализируйте, проверяйте отчеты. Вы никогда не знаете, что найдете.