Ловушки пауков: узнайте, как определить и исправить ловушки пауков

1. Поиск по ключевой фразе
2. Пример этого в Google Trends
3. Как определить ловушку для поиска по ключевым словам
4. Динамически вставляемая паутина контента
5. Как идентифицировать динамически вставляемую ловушку содержимого паука
6. Как исправить динамически вставляемую ловушку содержимого паука
7. Категория продукта Фильтр ловушек
8. Как определить категорию продукта ловушки пауков фильтра
9. Как исправить категорию продукта ловушки пауков фильтра
10. Несколько быстрых советов

Ловушка для пауков - невероятно распространенная проблема, которая встречается на веб-сайтах любого размера и может привести к резкому падению рейтинга и даже может считаться проблемой безопасности .

Ловушки пауков могут повлиять на ваш рейтинг в поисковых системах, потому что это снижает способность поисковых роботов эффективно сканировать ваш сайт и тратит впустую капитал сканирования.

Это также может значительно увеличить вероятность того, что ваш сайт будет содержать большие объемы дублирующегося контента , вызвать каннибализацию ключевых слов и, возможно, даже позволить кому-либо создавать мошеннические страницы на вашем сайте, которые затем могут быть легко проиндексированы Google, оставляя вас широко открытыми для негатива. SEO атаки.

Чтобы помочь вам понять и легко идентифицировать ловушки пауков, я собираюсь поделиться примерами распространенных ловушек пауков, с которыми я сталкивался в прошлом, а затем посоветовать, как решить эту проблему.

Я использовал некоторые примеры из реальной жизни, но стоит отметить, что эти проблемы иногда очень трудно идентифицировать , и, как только они выявлены, их может быть трудно исправить, особенно на больших сайтах, так что это ни в коем случае не является критикой чужого SEO стратегия

Поиск по ключевой фразе

Почти каждый веб-сайт имеет функцию поиска, и часто разработчики забывают, что эти страницы не должны сканироваться и индексироваться поисковыми системами. Это приводит к одной из самых распространенных и, возможно, наихудших проблем с ловушкой для пауков, поскольку иногда позволяет другим легко добавлять индексируемый контент на ваш сайт, даже не входя в систему.

Пример этого в Google Trends

Пример того, как ловушка для пауков может выглядеть в Google Trends ...

Обратите внимание, как информация о поисковом запросе размещается на странице и как генерируется уникальный URL. Это означает, что при желании вы можете манипулировать данными в URL, а затем заставить Google сканировать и индексировать страницу, как показано в примере ниже.

Этот URL был в конечном итоге просканирован и проиндексирован Google ...

Это, вероятно, не создает особых проблем для Google, так как им не нужно беспокоиться о ранжировании в поисковых системах, но вы можете себе представить, какие проблемы это может вызвать для небольшого бизнеса, который заботится о своем рейтинге в поисковой выдаче. Также стоит подумать, как это может быть использовано кем-то со злым умыслом.

Помимо того, что страницы умышленно индексируются в результате этой ловушки для пауков, страницы также могут автоматически индексироваться поисковыми системами без какого-либо вмешательства человека.

Как определить ловушку для поиска по ключевым словам

Если вы проводите аудит установленного веб-сайта с функцией поиска по ключевым словам, существует вероятность того, что эта проблема уже существует. Быстрый способ определить ловушку для поиска по ключевому слову - использовать Google с помощью поисковых операторов.

Во время аудита сайта определите, генерирует ли функция поиска веб-сайта уникальные URL-адреса при выполнении поиска. Попробуйте определить общий символ или фразу, которая включена в этот URL.

Например, слово «поиск» может появиться в URL-адресе после выполнения поиска. Поэтому в этом случае оператор поиска, который вы вводите в Google, будет выглядеть примерно так: « site: websiteaddress.com inurl: search ».

Если вы не видите результатов, но подозреваете, что проблема все еще существует, вы можете использовать Инструменты Google для веб-мастеров, чтобы попытаться проиндексировать страницу результатов поиска.

Я не буду вдаваться в подробности о том, как проиндексировать эти страницы на сайтах, к которым у вас нет доступа, так как это может быть легко использовано, но большинство опытных SEO-специалистов могут легко это решить…

Как исправить ловушку паука поиска по ключевому слову

К счастью, на большинстве веб-сайтов этот легко исправить, и я обращался к нему в прошлом.

• Добавьте метаданные noindex, nofollow к страницам результатов поиска и выполните повторный обход сайта. Надеемся, что это приведет к удалению некоторых результатов со страниц результатов поиска. У вас также есть возможность вручную удалять страницы с помощью Инструментов Google для веб-мастеров.
• После повторного сканирования сайта и удаления страниц с ошибками из индекса я хочу заблокировать страницы через Robots.txt, чтобы предотвратить дальнейшее сканирование.

Динамически вставляемая паутина контента

Динамически вставляемая ловушка для пауков контента - это когда вы посещаете URL-адрес, который должен 404, но возвращает код состояния 200 OK и похож на ловушку для поиска по ключевому слову, рассмотренную ранее в статье.

Существует много сценариев, в которых это может произойти и часто является результатом недосмотра в процессе разработки.

Как идентифицировать динамически вставляемую ловушку содержимого паука

Если вы работаете на веб-сайте, который динамически заполняет контент на основе URL-пути, существует вероятность, что этот тип ловушек существует.

Примером, с которым вы, возможно, сталкивались, являются веб-сайты, которые имеют чрезвычайно похожий (стандартный) контент в разделе веб-сайта.

Вот пример того, как это может выглядеть:

URL- адрес веб-сайта 1: www.websiteaddress.com/shop/ SEO / футболки

Пример контента: сегодня вы можете делать покупки в Интернете, чтобы найти множество футболок SEO по невероятно низким ценам.

URL сайта 2: www.websiteaddress.com/shop/ КПП / футболки

Пример содержания: Делайте покупки в Интернете сегодня для широкого ассортимента футболок PPC по невероятно низким ценам.

Обратите внимание, как при изменении URL-адреса в примере изменяется содержимое? Часто вы обнаружите, что вы можете изменить URL-адрес, чтобы все, что вы хотите, и информация в URL-адресе динамически вставлялась в область содержимого.

Как и в случае проблемы, упомянутой ранее в статье, связанной с поиском, она, очевидно, открыта для злоупотреблений и может даже создать большое количество бесполезных, почти дублированных страниц без какого-либо вмешательства.

Как исправить динамически вставляемую ловушку содержимого паука

К сожалению, обычно нет простого способа исправить это без помощи опытного разработчика. В идеале все, что вы хотите сделать, это указать URL-адреса, по которым вы хотите вернуть код состояния 200, и убедиться, что все страницы, которые не должны существовать, возвращают код 404.

Категория продукта Фильтр ловушек

Следующая ловушка для пауков очень распространена на сайтах электронной коммерции, и я видел, что в прошлом она вызывала серьезные проблемы для сайтов, особенно с точки зрения ранжирования в поисковых системах.

Причина, по которой это является такой проблемой, заключается в том, что это может привести к тому, что пауки поисковых систем сканируют и индексируют огромный объем дублирующих и почти дублирующих страниц, что приводит к бесполезному трафику и снижает количество прав, направленных на важные страницы.

Как определить категорию продукта ловушки пауков фильтра

Если вы работаете на веб-сайте, который имеет какой-либо тип фильтрации, который изменяет URL-адрес страницы, то эта проблема может существовать.

Вот пример на сайте Джона Льюиса :

http://www.johnlewis.com/browse/women/geox/mens-geox/ size = 10 / size = 11 / size = 7 / size = 9 / international / _ / N-6mk5Z1z14008Z1z14007Z1z1400jZ1z14009Z1z141kg

Обратите внимание, как опция фильтрации «размер» включена в URL, который можно сканировать и который был проиндексирован Google. В этом примере « международный» фильтр также был включен в URL.

Обратите внимание, как эта ловушка для пауков привела к индексации отфильтрованных страниц, что может снизить рейтинг сайта.

Чтобы выявить эту проблему, я просто посмотрел, как формируются URL-адреса во время процесса фильтрации, введя в Google «site: johnlewis.com inurl: size = 10 inurl: size = 11» .

Как вы можете себе представить, Google может проиндексировать огромное количество вариантов URL-адресов, что может отрицательно сказаться на рейтинге сайта. Однако в этом случае отрицательный эффект от этого, вероятно, компенсируется тем фактом, что Джон Льюис является крупным авторитетным веб-сайтом, поэтому вряд ли пострадает так же сильно, как маленький веб-сайт.

Как исправить категорию продукта ловушки пауков фильтра

К сожалению, эту проблему может быть довольно сложно исправить, и по иронии судьбы, решение проблемы может фактически привести к падению некоторых рейтингов, поэтому необходимо провести тщательное исследование, чтобы измерить объем трафика, попадающего на фильтрованные страницы.

Например, если для некоторых из ключевых слов, содержащихся на отфильтрованных страницах, было большое количество запросов, удаление этих страниц или канонизация их может привести к потере рейтинга сайта, поэтому вам действительно нужно помнить об этом и придумать стратегию сохранения. эти рейтинги.

Вот варианты решения этой проблемы:

• Google рекомендует канонизировать эти страницы, используя отн. канонический тег, но я обнаружил, что иногда это не работает и фактически игнорируется Google, особенно на сайтах электронной коммерции. Это возможно из-за смешанных сигналов, представляемых Google, таких как большие объемы внутренних ссылок
• Используя noindex, тег Follow на отфильтрованных страницах работал для меня в прошлом, но стоит помнить, что если у вас большой сайт, то страницы все равно могут сканироваться, что может использовать равенство сканирования
• Блокировка этих страниц с использованием Robots.txt является еще одним вариантом, но URL-адреса все еще могут отображаться в индексе. Я обнаружил, что блокирование в Robots.txt в прошлом было быстрым решением, которое дало положительные результаты, но стоит помнить, что Google, похоже, меняет свое мнение о блокировке страниц.

Это может быть сложной проблемой для решения , особенно на хорошо известном веб-сайте, поэтому лучше всего попытаться решить эту проблему на этапе разработки. Однако вознаграждение за выявление и устранение проблем такого типа может быть огромным с точки зрения того, как это может повысить эффективность поиска.

Несколько быстрых советов

Существует довольно много способов возникновения ловушек для пауков, и я хотел бы, чтобы вы поделились тем, с чем столкнулись, в разделе комментариев ниже.

Я также хотел бы суммировать некоторые из тех способов, которыми я идентифицирую потенциальные ловушки пауков на веб-сайте.

• Кричащая лягушка: сканирование веб-сайта с использованием Кричащей лягушки может быть быстрым способом выявления ловушек пауков. Если вы настроили сканер так, чтобы он имитировал пауков поисковых систем, и обнаружили, что сканирование продолжается вечно, это может быть хорошим признаком того, что на вашем сайте существует ловушка для пауков.
• Операторы поиска Google: Использование команды site: может быть быстрым способом определения ловушек пауков, как упоминалось ранее в этой статье.
  • Если вы используете site: websiteurl.com и используете инструменты поиска для просмотра результатов за прошедший день или неделю, он покажет вам страницы, которые были недавно проиндексированы, что можно использовать для обнаружения недавно проиндексированных страниц, которые иногда могут быть результатом ловушек для пауков.
  • Команда siteur: websiteurl.com inurl: insertfilternamehere позволяет быстро увидеть, индексируются ли отфильтрованные страницы Google
  • Использование сайта: websiteurl.com «вставить фрагмент контента с вашего сайта сюда» можно использовать для определения того, было ли проиндексировано несколько версий одного и того же контента, что может быть результатом ловушки для пауков.
  • Чтобы определить, индексируются ли результаты поиска на вашем сайте, вы можете использовать siteurl: websiteurl.com inurl: вставить любую строку, обычно содержащуюся в поисковом URL.
  • IIS Toolkit основан на гусеничной технологии Bing. Как таковой, он часто дает лучший обзор того, как поисковая система просматривает сайт, чем можно найти с помощью типичных сканеров SEO, таких как Screaming Frog.
  • Анализ файла журнала. Ловушки пауков можно определить с помощью анализа файлов журнала веб-сервера . Используя такие инструменты, как Splunk , AWStats или даже Excel для небольших файлов журнала. Определите, где такие пауки, как Googlebot, проводят большую часть своего времени, и станет ясно, на что тратится ваш бюджет на сканирование (благодаря Ian Daniels & Scott McLay из Двор за то, что поделились двумя последними советами)

Спасибо за прочтение!

Похожие

Комментарии