Что такое ошибки «Soft 404» и влияют ли они на мой рейтинг?

1. Что такое ошибка Soft 404?
2. Проблема с ошибками Soft 404
3. Как мне решить эти проблемы?
4. Увеличит ли ошибка Soft 404 трафик на мой сайт?
5. Soft 404s: важность технического SEO
6. TL; DR

Не удивительно, сайт ошибки сканирования такие как Soft 404s часто остаются незамеченными многими маркетологами в пользу менее технологических аспектов SEO , Мы часто обсуждаем такие темы, как создание качественного контента и важность укрепления авторитета в области вашего веб-сайта, в то время как маркетологам слишком легко отбросить технические проблемы SEO обратно через забор и на рабочий стол своего веб-разработчика.

Однако, хотя многие веб-разработчики точно знают, как создать эстетически привлекательный веб-сайт, они часто не замечают, как веб-сайт обслуживается сканерами, такими как Googlebot (Google Web Crawler). Эта статья будет посвящена одной конкретной категории ошибок сканирования, которая, если оставить ее нерешенной, может значительно сократить количество поисковых систем страниц, таких как сканирование Google и индекс, в их результатах поиска: «Мягкие ошибки 404».

Что такое ошибка Soft 404?

Вы, несомненно, ранее сталкивались с сообщением об ошибке 404 «страница не найдена» при попытке посетить определенную страницу веб-сайта. Всякий раз, когда на странице отображается сообщение об ошибке 404 или Not Found, сервер также должен вернуть Стандартный код ответа HTTP 404 , Код ответа 404 HTTP указывает, что серверу веб-сайта не удалось найти страницу ( URL ) запрошенный пользователем, который информирует браузеры и поисковые системы о том, что страница не существует. В результате контент страницы (если таковой имеется) не будет сканироваться или индексироваться поисковыми системами.

Например, давайте представим, что пользователь пытается посетить URL на нашем сайте, и ему выдается следующее сообщение:

Страница 404 Халлама

В приведенном выше примере наш сервер отвечает на запрос о несуществующей странице, отображая страницу 404. На других сайтах это часто стандартное сообщение «Файл не найден». Тем не менее, мы разработали пользовательскую страницу, предназначенную для предоставления пользователю дополнительных опций с целью сохранения их на нашем веб-сайте.

Большинство людей не понимают, что содержание страницы - сообщение «страница не найдена» - совершенно не связано с HTTP ответ возвращается сервером. То, что на странице отображается сообщение 404 Файл не найден, не означает, что эта страница автоматически определяется как страница 404.

В Собственные слова Google : «Это похоже на жирафа, носящего именную бирку с надписью« собака ». То, что в названии написано, что это собака, вовсе не означает, что это собака. Точно так же то, что на странице написано 404, не означает, что она возвращает код состояния 404 ».

Ошибка «Soft 404» возникает, когда несуществующая страница (страница, которая была удалена / удалена) отображает сообщение «страница не найдена» любому, кто пытается получить к ней доступ, но не может вернуть код состояния HTTP 404. Они также могут возникать, когда несуществующая страница переадресовывает пользователям на нерелевантную страницу, такую ​​как домашняя страница, вместо возврата кода состояния HTTP 404. Важно помнить, что содержимое веб-страницы совершенно не связано с HTTP-ответом, возвращаемым сервером.

Проблема с ошибками Soft 404

Если ваш сайт возвращает код состояния HTTP, отличный от 404 ( или 410 ) для несуществующей страницы, это может негативно повлиять на производительность веб-сайта в обычном поиске. Во-первых, не предоставляя код состояния 404, ваш сайт сообщает поисковым системам, что по URL-адресу, к которому они пытаются получить доступ, есть настоящая страница. В результате URL-адрес, который вы удалили (без содержимого), будет просканирован и проиндексирован, что приведет к потере ценного бюджета на сканирование.

Сканирование бюджета Концепция заключается в том, что Google только выделяет определенный период времени для сканирования веб-сайта, прежде чем он остановит процесс и перейдет на другой сайт. Google не хочет тратить бесконечное время на сканирование контента на одном и том же веб-сайте, поэтому имеет смысл назначить ограничение времени для своих веб-сканирований, прежде чем переходить на другой веб-сайт.

Придерживаясь идеи бюджетов сканирования, если на сайте высока доля ошибок Soft 404, то эти страницы будут сканироваться. Процесс сканирования этих несуществующих страниц всегда будет занимать ненужные суммы бюджета сканирования, назначенного сайту. Из-за того, что робот Googlebot тратит на сканирование Soft 404s, ваши уникальные URL-адреса могут поэтому не обнаруживаться так быстро или сканироваться так часто, что снижает видимость важного контента на вашем сайте. Поэтому неудивительно, что после устранения ошибок Soft 404 производительность веб-сайта в результатах обычного поиска имеет тенденцию к улучшению.

Чтобы объяснить, как вы оцениваете масштаб проблемы Soft 404, давайте рассмотрим пример веб-сайта, который отображает ряд ошибок Soft 404 в Инструментах Google для веб-мастеров. В приведенном ниже примере мы видим, что для рассматриваемого веб-сайта зарегистрировано более 439 ошибок Soft 404. Это может привести к тому, что прозвучат тревожные звонки, но сначала нам нужно поместить эту фигуру в правильный контекст.

В приведенном выше примере показан сайт с 439 ошибками Soft 404

Для этого вам нужно проверить, сколько страниц на самом деле есть на сайте, которые вы хотите, чтобы Google сканировал и индексировал. Для этой задачи мы взглянем на XML-карту сайта для данного веб-сайта, что является ключевым показателем количества страниц на сайте.

В приведенном выше примере показано, что Google индексирует 4150 страниц контента с соответствующего веб-сайта.

Глядя на приведенные выше данные, мы видим, что этот веб-сайт содержит около 4200 страниц, и ошибки 439 Soft 404 теперь начинают казаться немного менее зловещими. Тем не менее, на более чем 10% от общего количества страниц сайта ошибки 439 Soft 404 будут тратить значительную часть бюджета сканирования, назначенного этому сайту. В этом случае Google будет тратить слишком много времени на сканирование URL-адресов, которые просто не существуют.

Как мне решить эти проблемы?

Google позволяет экспортировать не более 1000 URL-адресов в Инструменты для веб-мастеров. В приведенном выше примере сообщается о 1000 ошибок, поэтому их можно загрузить непосредственно с помощью Инструментов Google для веб-мастеров. После того, как вы экспортировали список URL-адресов, вам необходимо оценить, почему эти страницы отображаются как Soft 404. Google предоставляет несколько ограниченную информацию об URL-адресах, которые они выделяют как «Soft 404s», как вы можете видеть на примере ниже:

Пример информации, предоставленной по URL-адресам, которые в инструментах Google для веб-мастеров обозначены как «Soft 404s»

В большинстве случаев вы обнаружите, что веб-сайт будет обслуживать 200 (ОК) код состояния на страницах, которые возвращают сообщение «страница не найдена». Поэтому первое, что вам нужно сделать, это запустить выбор страниц ошибок Soft 404 с помощью проверки кода состояния HTTP, такой как httpstatus.io , чтобы оценить, какие коды статуса возвращают эти страницы.

Допустим, в приведенном ниже примере домена отображалась страница 404 для пользователя, пытающегося получить к нему доступ, но когда мы проверили код ответа с помощью средства проверки кода состояния HTTP, он вернул ответ HTTP 200. Это основной пример ошибки Soft 404, так как код ответа HTTP указывает роботам поисковых систем, что страница существует и ее нужно сканировать. Однако на странице нет содержимого, возвращаемого сервером.

Страница, возвращающая код ответа сервера HTTP 200. Проверено с помощью: http://httpstatus.io/

Другая проблема, с которой вы можете столкнуться при диагностике основной причины ошибок Soft 404, - это неадекватные перенаправления 301/302. Некоторые веб-мастера предпочитают перенаправлять все удаленные страницы на домашнюю страницу веб-сайта вместо того, чтобы выдавать ошибку 404, что совсем не подходит и будет сбивать с толку и раздражать роботов поисковых систем , Здесь следует помнить, что удаленные страницы или товары, отсутствующие на складе, следует перенаправлять только на прямую замену - если прямой замены не существует, вам следует подать пользовательская страница ошибки 404 отображать альтернативные варианты или продукты для пользователя.

Я выделил пример неуместного переадресовывает запуск Soft 404 Ошибки ниже. В этом случае веб-мастер использует 302 перенаправления перенаправить любого, кто пытается получить доступ к странице, которая была удалена, и перенаправить этих пользователей на пользовательскую страницу 404 - ту, которая фактически не обслуживает код состояния HTTP 404. Это сильно повлияет на то, как поисковые системы сканируют рассматриваемый веб-сайт, так как поисковые системы получают инструкции искать в других местах действительно удаленные страницы с помощью перенаправления 302. Если робот поисковых систем следует этим инструкциям, ему в конечном итоге будет предоставлен код состояния HTTP 200 (ОК) для страницы, которая отображает сообщение об ошибке 404, что представляет собой совершенно другой уровень плохой практики.

Пример перенаправления 302, используемого для отправки пользователей на пользовательскую страницу ошибки 404

Вы никогда не должны использовать перенаправления для обслуживания страницы с ошибкой 404. Вместо этого используйте код ответа HTTP 404, когда запрашиваются любые страницы, которые вы удаляете или удаляете со своего веб-сайта. Это предотвратит появление на вашем сайте большого количества ошибок Soft 404 и позволит поисковым системам сканировать и индексировать только те страницы, которые вы хотите ранжировать.

Страница, возвращающая код ответа сервера HTTP 404. Проверено с помощью: http://httpstatus.io/

Увеличит ли ошибка Soft 404 трафик на мой сайт?

Причина, по которой я всегда обращаю внимание на мягкие 404-е, когда сталкиваюсь с ними на веб-сайте клиентов, связана с результатами технического SEO-проекта, над которым мы работали в 2013 году для клиента электронной коммерции. Заметив, что рассматриваемый клиент имеет чрезвычайно высокую долю мягких ошибок 404 по сравнению с общим количеством страниц на сайте, я обнаружил, что его веб-сайт обслуживает 404 сообщения без возврата кодов состояния HTTP 404 для любого из удаленных продуктов, из которых были тысячи.

После того, как мы диагностировали проблему, мы связались с разработчиком клиентов, чтобы убедиться, что их веб-сервер вернул коды состояния HTTP 404 вместе с сообщениями «страница не найдена» для любых продуктов, которые они удалили со своего веб-сайта. Разработчик любезно реализовал исправление, как мы предложили, и через два дня мы заметили, что органический трафик резко возрос. Он вырос в среднем с 1400 сеансов в день до в среднем 2600 в день.

История не заканчивается там, ребята. Оказывается, этот клиент использовал пользовательскую платформу веб-сайта, используемую многими другими интернет-магазинами, то есть другие веб-сайты, созданные разработчиком, работали на той же платформе. Таким образом, когда разработчик начал предоставлять коды состояния HTTP 404 для любых удаленных страниц на своей платформе, другие компании, использующие эту платформу, начали сообщать о резком росте своего органического трафика. Я могу только предположить, что веб-разработчик взял на себя всю ответственность за это, несмотря на то, что мы сражались в течение месяца и убедили их, что Soft 404 стоит того, чтобы их решить в первую очередь!

Soft 404s: важность технического SEO

Технический SEO - это то, с чем многие маркетологи знакомы лишь смутно. Действительно, даже для практиков SEO, эта область часто попадает в руки веб-разработчиков, что может привести к огромным упущенным возможностям в плане улучшения видимости органического поиска. Технологические функции веб-сайта - это то, что я бы назвал строительными блоками SEO, и, как мы видели в приведенном выше примере, они особенно важны для веб-сайтов электронной коммерции корпоративного уровня.

TL; DR

• Всякий раз, когда на странице отображается сообщение об ошибке 404 (не найдено), сервер должен вернуть стандартный код ответа HTTP 404
• Содержимое страницы (сообщение «страница не найдена») совершенно не связано с HTTP-ответом, возвращаемым сервером.
• Ошибка «Soft 404» возникает, когда несуществующая страница (страница, которая была удалена / удалена) либо отображает сообщение «страница не найдена» любому, кто пытается получить к нему доступ, но не возвращает код состояния HTTP 404 ИЛИ удаленная страница перенаправляет пользователей на нерелевантную страницу (например, домашнюю страницу веб-сайта)
• Количество сообщаемых Soft 404 необходимо сравнить с общим числом индексируемых страниц на сайте - если это соотношение Soft 404 / индексируемых страниц велико, это может негативно повлиять на производительность веб-сайта в обычном поиске, тратя ценный бюджет на сканирование.
• Решение проблем Soft 404 может значительно повысить эффективность сканирования и гарантировать, что поисковые системы тратят только время на сканирование страниц, которые вы хотите, чтобы они

Похожие

Комментарии