SEO: Фильтрация спамного трафика в Google Analytics

google-analytics-tips-illustration

Во время презентаций люди часто задают следующий вопрос:

Как я могу очистить свой сайт от лишнего трафика? Я слышал, что Google начал фильтровать спамный трафик, но я всё ещё вижу его.  – К. Фонг

Наш обычный ответ: зайти в Google Analytics Solutions Gallery и поискать спам или заблокировать ботов, или и то, и то сразу. Но ответ на этот вопрос намного больше, и его можно разделить на много частей:

  1. Понимать, с чем вы имеете дело. Это не просто роботы.
  2. Разумно фильтровать: Добавить новое представление.
  3. Блокировать ботов в Analytics.
  4. Уметь обнаружить реферальные ссылки вручную.
  5. Создать фильтр.
  6. Блокировать плохих роботов на сайте.

Часть 1: Роботы не плохие, их просто создали такими

Не все роботы плохие. Многие, как, например, Googlebot и Bingbot, управляют поисковыми системами. Существует огромное количество роботов, принадлежащих компаниям, как Screaming Frog, Deep Crawl, SpyFu и другим, которые уважительно относятся к сайтам, по которым они “ползают”. Они не опасны.

Вы должны охотиться на тех роботов, которые хотят перехватить ваш трафик, которые ищут лазейки в вашем CMS, чтобы хакнуть его, а также на тех, которые пытаются использовать ваш контент в своих гнусных целях. В зависимости от бизнеса, которым вы занимаетесь, те или иные роботы могут представлять большую или меньшую угрозу.

Но вам стоит беспокоиться не только о роботах. Существует огромное количество рекомендательных сайтов, которые отсылают трафик на ваш сайт, который может спутать вашу статистику.

Часть 2: Фильтруйте трафик правильно

Что мы рекомендуем клиентам: создать отдельное представление в Analytics и назвать его как-нибудь так: “отфильтрованный трафик”. Чтобы сделать это, откройте вкладку “Администратор”. В выпадающем меню в правом столбце “Представление” выберите “Создать новое представление”. Не забудьте указать часовой пояс; по умолчанию, в Google стоит Тихоокеанское время. Если вы забудете выполнить этот шаг, то не сможете проводить сравнения.

Создание нового представления в Google Analytics
Создание нового представления в Google Analytics

Часть 3: Блокируйте ботов в Analytics

В Google есть “простая кнопка” для блокировки всех известных плохих ботов. Это экономит 70-80 % вашего времени, плюс Google находит новых роботов и автоматически обновляет список. В только что созданном представлении выберите “Настройки представления” и нажмите на чек-бокс “Исключить обращения роботов и «пауков»”:

Как фильтровать роботов в Google Analytics

4224fc898e
Как фильтровать роботов в Google Analytics

Таким образом, вы увидите, что происходит с трафиком по-настоящему. Убедитесь, чтобы ни один из важных источников трафиков не был занесен в список Google по ошибке.  

Если развернуть профиль, то можно добавить информацию об изменениях. Например: “Отфильтрованный трафик”. Чтобы добавить комментарий, просто нажмите на небольшую стрелочку под графиком в Google Analytics:

Создание комментария в Google Analytics
Создание комментария в Google Analytics

Часть 4: Фильтруйте “спамные” реферальные ссылки вручную

Не важно, как хорошо вы настроили фильтр, всегда найдутся другие источники переходов, которые приносят некачественный трафик на ваш сайт. Чтобы определить, так ли это, откройте отчёт в Google Analytics, как показано на картинке ниже. Отсортируйте данные по убыванию показателей отказа. Таким образом, показатель отказа со 100% будет вверху. Наконец, отфильтруйте данные, чтобы показывались сеансы с самого начала.

Обзор трафика переходов в Google Analytics
Обзор трафика переходов в Google Analytics

Теперь вы можете посмотреть весь список и найти сайты, которые вы захотите исключить.

Итак, у вас есть список сайтов, которые нужно отфильтровать, обрежьте их адреса до главного домена верхнего уровня (TLD). Например, af401e8c.linkbabes.com — это linkbabes.com. В список исключений лучше всего добавить адрес linkbabes.com.

В этом списке вы можете найти действительно вредоносные сайты. Мы крайне не рекомендуем открывать их, чтобы “просто проверить”, иначе можете “подхватить” вредоносные коды.

Как только список утверждён, и вы не заблокируете ни один нужный источник трафика, время создавать исключающий фильтр.

Часть 5: Создайте фильтр для доменов перехода

Как только вы собрали список плохих доменов, которые хотите заблокировать, создайте новый фильтр в представлении в Analytics. Убедитесь, что вы делаете это под аккаунтом администратора!

Чтобы настроить фильтр, откройте вкладку “Администратор”, а затем под полем “Представление”, выберите “Фильтры”. Нажмите на “Добавить фильтр” и дайте ему название. Затем, выберите “Пользовательский” и “Исключить”. В “Поле фильтра” выберите “Источник кампании” и введите домены, которые хотите исключить. Вы можете для начала записать список доменов в программе notepad или word, а затем вставить их.

Создание фильтра перехода
Создание фильтра перехода

Шаблон: используйте “/” перед“.” in “.com”, чтобы разделить домены используйте “|”.

Протестируйте свой фильтр, добавляйте новые домены по необходимости.

Часть 6: Заблокировать вредоносных роботов на вашем сайте

Чтобы выполнить этот шаг, нужно уметь использовать файлы .htaccess или config в IIS — опорная сеть всего сайта. Одна неправильная буква может положить ваш сайт. Поэтому создайте резервную копию, убедитесь, что у вас есть доступ напрямую к серверу (WordPress не считается), и вперёд.
Файл .htaccess — в вашем распоряжении мощное средство, потому что вы сможете блокировать плохой трафик сразу на уровне сервера. Какую команду нужно использовать:

Rewrite Engine On

Options +FollowSymlinks

Deny from 123.45.67.89

Allow from all

Вам нужно внедрить этот код в существующий файл .htaccess, поэтому не копипастите его. Помните, что один неправильный символ, и всему конец.

Это один из самых эффективных способов блокировать автоматический трафик, который сильно нагружает ваш сервер. Но не нужно блокировать каждого робота, так как чем длиннее список, тем медленнее загрузка сайта. Поэтому не нужно блокировать бывших сотрудников и помните, что IP-адреса могут меняться. Если у вас проблемы с безопасностью, то свяжитесь с хостингом или системным администратором. Они вам помогут.

Какой эффект даст блокировка некачественного трафика: снижается нагрузка на сервер, показывается более точная статистика посещений в Analytics.

Основные тезисы

  • Роботы и ссылающиеся домены — не одно и то же, но на сайт действуют одинаково: замедляют работу сервера и путают аналитические данные.
  • Вы можете заблокировать их по IP-адресу или по домену верхнего уровня.
  • Вы можете заблокировать их в файлах .htaccess или config, или отфильтровать их в Google Analytics.
  • Будьте осторожны, фильтруя сайты, поговорите с клиентами, не убрали ли вы чего-нибудь лишнего. Не делайте изменения только в аккаунте.
  • Когда что-то меняете, делайте пометки, оставляйте комментарии.

Оставьте ответ

Ваш e-mail не будет опубликован. Обязательные поля помечены *