Исследование факторов ранжирования SEMrush - методология демистифицирована

1. Использование алгоритма случайного леса для изучения факторов ранжирования
2. Парный подход: предварительная обработка входных данных
3. Выращивание ансамбля дерева решений: контролируемое обучение
4. Оценка важности атрибута со случайным лесом
5. Почему мы думаем, что корреляционный анализ плох для изучения факторов ранжирования
6. Часто задаваемые вопросы
7. Откуда берется набор данных исследования? Это данные SEMrush?
8. Почему мы не использовали искусственные нейронные сети (ANN)?
9. Почему посещения веб-сайтов являются наиболее важным фактором рейтинга Google?
10. Разница в ранжировании факторов влияния на URL по сравнению с доменом
11. Вывод: как использовать исследование факторов ранжирования SEMrush

Во втором издании Исследование факторов ранжирования SEMrush 2017 мы добавили еще 5 факторов, связанных с обратными ссылками, и сравнили силу их влияния на конкретный URL и весь домен. По традиции мы предлагаем вам глубже взглянуть на нашу методологию. Еще в июне, когда было опубликовано первое издание исследования, многие брови были недоверчивы - действительно, прямые посещения веб-сайтов обычно считаются результатом более высоких позиций в поисковой выдаче, а не наоборот. И все же посещения сайта - это именно то, что наше исследование подтвердило, что является наиболее важным фактором рейтинга Google среди тех, которые мы анализировали, оба раза. Кроме того, методология, которую мы использовали, была уникальной для области исследований SEO - мы обменяли корреляционный анализ на алгоритм машинного обучения Random Forest. Поскольку конечная цель нашего исследования состояла в том, чтобы помочь SEO-специалистам расставить приоритеты для задач и сделать свою работу более эффективной, мы хотели бы раскрыть скрытые детали нашего исследования и опровергнуть некоторые популярные заблуждения, чтобы вы могли смело полагаться на наши выносы. ,

Помимо шуток, этот пост для настоящих ботаников, поэтому вот краткий глоссарий:

Дерево решений - древовидная структура, представляющая алгоритм машинного обучения, обычно применяемый для задач классификации. Он разбивает набор данных обучающей выборки на однородные группы / подмножества на основе наиболее значимых из всех атрибутов.

Контролируемое машинное обучение - тип алгоритма машинного обучения, который обучает модель поиску закономерностей в отношениях между входными переменными (признаками, A) и выходной переменной (целевым значением, B): B = f (A). Цель SML состоит в том, чтобы обучить эту модель на выборке данных, чтобы при предложении данных вне выборки алгоритм мог точно прогнозировать целевое значение на основе предлагаемого набора функций. Набор данных для обучения представляет учителя, который следит за процессом обучения. Обучение считается успешным и заканчивается, когда алгоритм достигает приемлемого качества работы.

Характеристика ( или атрибут, или входная переменная ) - характеристика отдельной записи данных, используемой в анализе. Для нашего исследования и этого поста в блоге предполагаемые факторы ранжирования.

Бинарная классификация - это тип классификационных задач, который попадает в категорию контролируемого обучения. Цель этой задачи - предсказать целевое значение (= класс) для каждой записи данных, а для двоичной классификации это может быть только 1 или 0.

Использование алгоритма случайного леса для изучения факторов ранжирования

Алгоритм случайного леса был развитая Лео Брейман и Адель Катлер в середине 1990-х годов. С тех пор он не претерпел каких-либо серьезных изменений, что доказывает его высокое качество и универсальность: он используется для классификации, регрессии, кластеризации, выбора признаков и других задач.

Хотя алгоритм Random Forest не очень хорошо известен широкой публике, мы выбрали его по ряду веских причин:

• Это один из самых популярных алгоритмов машинного обучения, который имеет непревзойденная точность , Его первое и главное приложение - ранжирование важности переменных (и его природа идеально подходит для этой задачи - мы рассмотрим это позже в этом посте), поэтому это казалось очевидным выбором.

Учитывая, что у нас нет единого дерева решений, а есть целый лес из сотен деревьев, мы можем быть уверены, что каждый признак и каждая пара доменов будут проанализированы примерно одинаковое количество раз. Следовательно, метод Random Forest устойчив и работает с минимальными ошибками.

Парный подход: предварительная обработка входных данных

Мы решили основать наше исследование на наборе 600 000 ключевых слов из всемирной базы данных (США, Испания, Франция, Италия, Германия и др.), Данных позиции URL для 20 лучших результатов поиска и списка предполагаемых факторов ранжирования. Поскольку мы не собирались использовать корреляционный анализ, нам пришлось провести двоичную классификацию до применения к ней алгоритма машинного обучения. Эта задача была реализована с помощью парного подхода - одного из самых популярных методов машинного ранжирования, используемых, в частности, Microsoft в своих исследовательских проектах.

Парный подход подразумевает, что вместо изучения всего набора данных каждый SERP изучается индивидуально - мы сравниваем все возможные пары URL-адресов (первый результат на странице с пятым, седьмой результат со вторым и т. Д.) В отношении каждого особенность. Каждой паре назначается набор абсолютных значений, где каждое значение является частным после деления значения функции для первого URL-адреса на значение функции для второго URL-адреса. Кроме того, каждой паре также назначается целевое значение, которое указывает, расположен ли первый URL выше второго по SERP (целевое значение = 1) или ниже (целевое значение = 0).

Результаты процедуры:

1. Каждая пара URL получает набор частных для каждой функции и целевое значение 1 или 0. Это множество чисел будет использоваться в качестве обучающего набора данных для деревьев решений.
2. Теперь мы можем проводить статистические наблюдения, что определенные значения признаков и их комбинации приводят к повышению позиции в поисковой выдаче для URL. Это позволяет нам строить гипотезу о важности определенных функций и прогнозировать, приведет ли определенный набор значений функций к более высокому ранжированию.

Выращивание ансамбля дерева решений: контролируемое обучение

Набор данных, полученный после предыдущего шага, является абсолютно универсальным и может использоваться для любого алгоритма машинного обучения. Нашим предпочтительным выбором был Случайный Лес, ансамбль деревьев решений.

Прежде чем деревья смогут принять какие-либо разумные решения, они должны пройти обучение - это когда происходит контролируемое машинное обучение. Чтобы убедиться, что обучение выполнено правильно и приняты объективные решения по основному набору данных, используются методы пакетирования и случайного подпространства.

мешковина процесс создания учебного набора данных путем выборки с заменой. Допустим, у нас есть X строк данных. В соответствии с принципами создания пакетов мы собираемся создать набор обучающих данных для каждого дерева решений, и этот набор будет иметь одинаковое количество X строк. Однако эти выборочные наборы будут заполняться случайным образом и с заменой - поэтому они будут включать только приблизительно две трети исходных X-строк, и будут дубликаты значений. Около трети первоначальных значений остаются нетронутыми и будут использоваться после окончания обучения.

Мы сделали то же самое для объектов, используя метод случайных подпространств - деревья решений обучались на случайных выборках объектов вместо всего набора функций.

Ни одно дерево не использует весь набор данных и весь список функций. Но наличие леса из нескольких деревьев позволяет нам сказать, что каждое значение и каждая функция, вероятно, будут использоваться примерно одинаковое количество раз.

Выращивание леса

Каждое дерево решений периодически разбивает набор данных обучающей выборки на основе наиболее важной переменной и делает это до тех пор, пока каждое подмножество не состоит из однородных записей данных. Дерево сканирует весь набор обучающих данных и выбирает наиболее важный элемент и его точное значение, которое становится своего рода точкой поворота (узлом) и разделяет данные на две группы. Для одной группы выбранное выше условие верно; для другого - ложь (ДА и НЕТ ответвлений). Все конечные подгруппы (листья узлов) получают среднее целевое значение на основе целевых значений пар URL, которые были помещены в определенную подгруппу.

Поскольку деревья используют образец набора данных для роста, они учатся в процессе роста. Их обучение считается успешным и высококачественным, когда достигается целевой процент правильно угаданных целевых значений.

Как только весь ансамбль деревьев выращен и обучен, начинается магия - деревья теперь могут обрабатывать данные вне выборки (около одной трети исходного набора данных). Пара URL предлагается дереву, только если оно не встретило ту же пару во время обучения. Это означает, что пара URL не предлагается для 100 процентов деревьев в лесу. Затем происходит голосование: для каждой пары URL-адресов дерево выдает свой вердикт, то есть вероятность того, что один URL-адрес займет более высокое положение в поисковой выдаче по сравнению со вторым. То же действие предпринимаются всеми другими деревьями, которые удовлетворяют требованию «ранее не видел эту пару URL», и в конце каждая пара URL получает набор значений вероятности. Затем все полученные вероятности усредняются. Теперь достаточно данных для следующего шага.

Оценка важности атрибута со случайным лесом

Случайный лес дает чрезвычайно достоверные результаты, когда дело доходит до оценки важности. Оценка проводится следующим образом:

1. Значения атрибута смешиваются во всех парах URL, и эти обновленные наборы значений предлагаются алгоритму.

2. Любые изменения в качестве или стабильности алгоритма измеряются (независимо от того, остается ли процент правильно угаданных целевых значений одинаковым или нет).

3. Затем на основании полученных значений можно сделать выводы:

• Если качество алгоритма значительно падает, атрибут важен. Чем тяжелее спад качества, тем важнее атрибут.

• Если качество алгоритма остается прежним, то атрибут имеет второстепенное значение.

Процедура повторяется для всех атрибутов. В результате получается рейтинг самых важных факторов ранжирования.

Почему мы думаем, что корреляционный анализ плох для изучения факторов ранжирования

Мы намеренно отказались от общей практики использования корреляционного анализа, и мы все еще получили довольно много комментариев типа «Корреляция не означает причинность», «Они не похожи на факторы ранжирования, но больше похожи на корреляции». Поэтому мы чувствуем это Точка заслуживает отдельного абзаца.

Прежде всего, мы хотели бы еще раз подчеркнуть, что исходный набор данных, используемый для исследования, представляет собой набор сильно изменяемых значений. Напомню, что мы исследовали не одну, а 600 000 SERP. Каждая SERP характеризуется своим собственным средним значением атрибута, и эта уникальность полностью игнорируется в процессе корреляционного анализа. При этом мы считаем, что к каждой выдаче следует относиться отдельно и с учетом ее оригинальности.

Корреляционный анализ дает надежные результаты только при изучении взаимосвязи между двумя переменными (например, влияние количества обратных ссылок на позицию в поисковой выдаче). «Влияет ли этот конкретный фактор на положение?» - на этот вопрос можно ответить достаточно точно, поскольку задействована только одна влияющая переменная. Но можем ли мы изучить каждый фактор в отдельности? Вероятно, нет, поскольку мы все знаем, что существует целый ряд факторов, которые влияют на позицию URL в поисковой выдаче.

Другим критерием качества для корреляционного анализа является разнообразие полученных коэффициентов корреляции. Например, если есть ряд коэффициентов корреляции, таких как (-1, 0,3 и 0,8), то будет справедливо сказать, что есть один параметр, который является более важным, чем другие. Чем ближе абсолютное значение отношения или модуль к единице, тем сильнее корреляция. Если модуль отношения меньше 0,3, такой корреляцией можно пренебречь - зависимость между двумя переменными в этом случае слишком слаба, чтобы делать какие-либо заслуживающие доверия выводы. Для всех факторов, которые мы проанализировали, коэффициент корреляции был ниже 0,3, поэтому нам пришлось отказаться от этого метода.

Еще одной причиной отклонения этого метода анализа была высокая чувствительность значения корреляции к выбросам и шумам, и данные по различным ключевым словам предлагают многие из них. Если одна дополнительная запись данных добавляется в набор данных, коэффициент корреляции изменяется немедленно. Следовательно, эта метрика не может быть жизнеспособной в случае нескольких переменных, например, в исследовании факторов ранжирования, и может даже привести к неправильным выводам.

Возвращаясь к последнему занавесу, трудно поверить, что существует один или два фактора с модулем корреляции, столь близким к единице - если бы это было правдой, любой мог бы легко взломать алгоритмы Google, и мы все были бы в положении 1!

Часто задаваемые вопросы

Хотя мы постарались ответить на большинство часто задаваемых вопросов выше, вот еще несколько для более любопытных читателей.

Откуда берется набор данных исследования? Это данные SEMrush?

Данные о трафике и поведении пользователей в нашем наборе данных являются анонимными Clickstream данные, которые поступают от сторонних поставщиков данных. Данные накапливаются в результате поведения более 100 миллионов реальных интернет-пользователей, и для их сбора используется более ста различных приложений и расширений браузера.

Почему мы не использовали искусственные нейронные сети (ANN)?

Хотя искусственные нейронные сети идеально подходят для задач с большим количеством переменных, например, для распознавания изображений (где каждый пиксель является переменной), они дают результаты, которые трудно интерпретировать, и не позволяют сравнивать вес каждого фактора. Кроме того, для получения надежных результатов для ANN требуется большой набор данных и огромное количество функций, а собранные нами входные данные не соответствуют этому описанию.

В отличие от Случайного леса, где каждое дерево решений голосует независимо и, таким образом, гарантируется высокий уровень надежности, нейронные сети обрабатывают данные в одном банке. Ничто не указывает на то, что использование ANN для этого исследования приведет к более точным результатам.

Нашими основными требованиями к методу исследования были стабильность и способность определять важность факторов. При этом Случайный Лес идеально подходил для нашей задачи, что подтверждается многочисленными задачами ранжирования аналогичного характера, также реализованными с помощью этого алгоритма.

Почему посещения веб-сайтов являются наиболее важным фактором рейтинга Google?

Руки вниз, это был, вероятно, самый спорный вынос нашего исследования. Когда мы увидели результаты нашего анализа, мы были одинаково удивлены. В то же время наш алгоритм был обучен на надежном объеме данных, поэтому мы решили перепроверить факты. Мы исключили обычные и платные поисковые данные, а также социальный и реферальный трафик, и учли только прямой трафик, и результаты были практически одинаковыми - распределение позиций осталось неизменным (графики на стр. 40-41 исследование иллюстрирует этот момент).

Для нас этот вывод имеет смысл и подтверждает, что Google отдает приоритет доменам с большей властью, как описано в Рекомендации по оценке качества поиска , Хотя может показаться, что авторитет предметной области - всего лишь слабое оправдание и очень расплывчатая и эфемерная концепция, эти руководящие принципы полностью развеивают этот миф. Итак, еще в 2015 году Google представил этот справочник, чтобы помочь оценить качество веб-сайта и «отразить то, что, по мнению Google, ищут пользователи поиска».

В справочнике в качестве важного показателя качества веб-страницы указан EAT, который означает «Экспертиза, Авторитетность и Надежность». Качество и объем основного контента, информация о веб-сайте (то есть, кто отвечает за веб-сайт) и репутация веб-сайта влияют на EAT веб-сайта. Мы предлагаем подумать об этом следующим образом: если URL входит в топ-10, по умолчанию он содержит контент, относящийся к поисковому запросу пользователя.

Но чтобы распределить места между этими десятью лидерами, Google начинает подсчитывать дополнительные параметры. Мы все знаем, что есть целая команда Поиск качества оценщиков за кулисами, который отвечает за обучение поисковых алгоритмов Google и повышение релевантности результатов поиска. Согласно рекомендациям Руководства по оценке качества Google, оценщики должны отдавать приоритет высококачественным страницам и обучать их тому же. Таким образом, алгоритм ранжирования обучен назначать более высокие позиции страницам, которые принадлежат доверенным и очень авторитетным доменам, и мы думаем, что это может быть причиной данных, которые мы получили для прямого трафика и для его важности в качестве сигнала. Для получения дополнительной информации, проверьте наш Ешьте и YMYL: новые правила поиска Google акронимы качественного контента Сообщение блога.

Вот еще: на недавней конференции SMX East Гари Иллиес из Google подтвердил что «то, как люди воспринимают ваш сайт, повлияет на ваш бизнес». И хотя это, по мнению Иллиеса, не обязательно влияет на то, как Google оценивает ваш сайт, все же кажется важным инвестировать в повышение лояльности пользователей: счастливые пользователи = счастливые Google.

Что это значит для вас снова? Что ж, узнаваемость бренда (оцениваемая, среди прочего, по количеству прямых посещений сайта) сильно влияет на ваш рейтинг и заслуживает того, чтобы вы приложили к нему усилия наравне с SEO.

Разница в ранжировании факторов влияния на URL по сравнению с доменом

Как вы могли заметить, каждый график нашего исследования показывает заметный всплеск для второй позиции. Мы пообещали более внимательно посмотреть на это отклонение и тем самым добавили новое измерение в наше исследование. Во втором издании рассматривается влияние трех наиболее важных факторов (прямых посещений веб-сайта, времени на сайте и количества ссылающихся доменов) на рейтинг конкретного URL, а не только на домен, на котором он находится.

Можно было бы предположить, что веб-сайты на первой позиции наиболее оптимизированы, и все же мы увидели, что каждая линия тренда показала падение на первой позиции.

Мы связали это отклонение с поисковыми запросами по ключевым словам. Домен, вероятно, займет первую позицию в поисковой выдаче для любого поискового запроса, который содержит его фирменные ключевые слова. И несмотря на то, насколько хорошо сайт оптимизирован, он все равно будет занимать первое место, так что он не имеет ничего общего с SEO. Это объясняет, почему факторы рейтинга влияют на вторую позицию SERP больше, чем на первую.

Чтобы доказать это, мы решили взглянуть на наши данные под другим углом: мы исследовали, как факторы ранжирования влияют на отдельные URL-адреса, которые появляются в поисковой выдаче. Для каждого фактора мы построили отдельные графики, показывающие распределение URL-адресов и доменов по первым 10 позициям SERP (см. Стр. 50-54). Хотя исследование включает графики только для трех самых влиятельных факторов, обнаруженная нами тенденция сохраняется и для других факторов.

Что это значит для вас как маркетолога? Когда домен ранжируется по брендовому ключевому слову, многие факторы теряют свое влияние. Однако при оптимизации ключевых слов без бренда следует учитывать, что анализируемые факторы рейтинга оказывают большее влияние на позиции конкретного URL-адреса, чем на домен, на котором он находится. Это означает, что рейтинги конкретной страницы более чувствительны к оптимизации страницы, созданию ссылок и другим методам оптимизации.

Вывод: как использовать исследование факторов ранжирования SEMrush

Нет никаких гарантий, что если вы улучшите показатели своего веб-сайта по любому из вышеперечисленных факторов, ваши страницы начнут иметь более высокий рейтинг. Мы провели очень тщательное исследование, которое позволило нам сделать надежные выводы о важности этих 17 факторов для повышения рейтинга в поисковой выдаче Google. Тем не менее, это просто хорошо проделанная работа по реинжинирингу, а не универсальный план действий - и в этом суть каждого изучаемого фактора. Никто, кроме Google, не знает всех секретов. Тем не менее, вот рабочий процесс, который мы предлагаем для работы с нашими исследованиями:

• Шаг 1 Понять, по каким ключевым словам вы оцениваете - относятся ли они к группам с низким, средним или высоким объемом поиска?

• Шаг 2 Сравните себя с конкурентами: поближе познакомьтесь с методами, которые они используют для попадания в топ-10, и с их показателями. Имеют ли они большое количество обратных ссылок? Защищены ли их домены с помощью HTTPS?

• Шаг 3 Используя это исследование, выберите и начните внедрять методы оптимизации, которые дадут наилучшие результаты, основанные на ваших ключевых словах и уровне конкуренции по поисковой выдаче.

Еще раз, мы рекомендуем вам поближе познакомиться с нашими изучение , пересмотрите концепцию EAT и получите хорошую, основанную на фактах стратегию SEO!

Похожие

Комментарии