- Основные части файла robots.txt
- Теперь самое интересное!
- ASCII искусство и вакансии
- Веселые роботы
- Humans.txt?
- Просто используя robots.txt, чтобы связываться с людьми на данном этапе
- Проиндексированные страницы, которые не должны существовать
- Весь офигенный сайт внутри robots.txt
Robots.txt - одна из самых скучных тем в техническом SEO. Редко встречается интересная проблема в файле, и большинство ошибок происходит из-за непонимания директив или из-за опечаток. Общая цель файла robots.txt - просто предложить сканерам, куда они могут и не могут пойти.
Основные части файла robots.txt
- Пользователь-агент - указывает, какой робот.
- Disallow - предполагает, что роботы не сканируют эту область.
- Разрешить - позволяет роботам сканировать эту область.
- Crawl-delay - говорит роботам подождать определенное количество секунд, прежде чем продолжить сканирование.
- Карта сайта - указывает местоположение карты сайта.
- Noindex - говорит Google удалить страницы из индекса.
- # - комментирует строку, поэтому она не будет прочитана.
- * - соответствовать любому тексту.
- $ - URL должен заканчиваться здесь.
Другие вещи, которые вы должны знать о robots.txt
- Файл Robots.txt должен находиться в главной папке, т.е. domain.com/robots.txt.
- Каждый поддомен нуждается в своем собственном файле robots.txt - www.domain.com/robots.txt отличается от domain.com/robots.txt.
- Сканеры могут игнорировать robots.txt.
- URL-адреса и файл robots.txt чувствительны к регистру.
- Disallow просто предлагает сканерам не ходить на локацию. Многие люди используют это, чтобы попытаться деиндексировать страницы, но это не сработает. Если кто-то ссылается на страницу извне, она все равно будет отображаться в результатах поиска.
- Задержка сканирования не учитывается Google, но вы можете управлять настройками сканирования в консоли поиска Google.
- Разрешить CSS и JS По словам Гари Иллиеса из Google:
Пользователь-агент: Googlebot
Разрешить: .js
Разрешить: .css
Теперь самое интересное!
Многие компании сделали креативные вещи со своими файлами robots.txt. Взгляните на следующие примеры!
ASCII искусство и вакансии
Nike.com имеет хороший взгляд на их лозунг внутри их robots.txt , «Просто ползти», но они также включили их логотип.
провидец также использует искусство и имеет сообщение о наборе персонала.
У TripAdvisor есть сообщение о наборе персонала прямо в файле robots.txt ,
Веселые роботы
Визг любит напомнить роботам что действуют три закона Азимова.
Так же как и ласт фм ,
В соответствии с YouTube Мы уже проиграли войну роботам.
У Page One Power есть хорошая ссылка на «Звездные войны» в их robots.txt ,
Google хочет убедиться, что Ларри Пейдж и Сергей Брин в безопасности от Терминаторов киллер-robots.txt файл.
Кто может игнорировать первую полосу интернета? Reddit ссылается на Бендера из «Футурамы» и Горта из «Дня, когда Земля остановилась».
Humans.txt?
Humans.txt описывает себя как «инициативу по познанию людей, стоящих за сайтом. Это TXT-файл, который содержит информацию о разных людях, которые внесли свой вклад в создание веб-сайта ». Я был удивлен, увидев это чаще, чем мог подумать, когда попробовал несколько доменов. Проверять, выписываться https://www.google.com/humans.txt ,
Просто используя robots.txt, чтобы связываться с людьми на данном этапе
Один из моих любимых примеров из Оливер Мейсон , который запрещает все и прощается со своим блогом, только чтобы потом позволить каждому отдельному файлу снова файл , Когда он комментирует внизу, он знает, что это плохая идея. (Не просто читайте здесь robots.txt, серьезно, иди и прочитай весь сайт этого парня.)
На моем личном сайте у меня есть robots.txt файл, чтобы связываться с людьми, а также. Файл хорошо проверяется, хотя на первый взгляд это выглядит так, будто я блокирую все сканеры.
Причина в том, что я сохранил файл с символом BOM (метка порядка байтов) в начале, что делает мою первую строку недействительной - как вы можете видеть, когда я иду на проверку в Google Search Console. С недопустимой первой строкой Disallow не имеет ссылки User-Agent, поэтому он также недействителен.
Проиндексированные страницы, которые не должны существовать
Если вы ищете « Лучший в мире SEO, «На сайте Мэтта Каттса вы найдете страницу, которой на самом деле не существует. SEO Mofo выбрал каталог (/ files), который заблокирован https://www.mattcutts.com/robots.txt , Единственная информация, которую Google имеет об этой странице, - это ссылки, которые были созданы на несуществующей странице. В то время как страница 404s, Google по-прежнему показывает ее в результатах поиска с якорным текстом из ссылок.
Весь офигенный сайт внутри robots.txt
Придумано Алек Бертрам этот удивительный подвиг записан где еще, но его файл robots.txt , У него есть как, источник и даже меню, чтобы вести вас.
Это также использовалось на vinna.cc для встраивания в файл всей игры. Направляйтесь к https://vinna.cc/robots.txt и играть в роботы роботы революция!
Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,
Об авторе
Похожие
11 SEO методов, которые убивают ваш сайтИспользование методов SEO является одним из лучших стратегии интернет-маркетинга , Разница в том, как правильно его использовать. Если все сделано неправильно, проблемы тоже могут быть серьезными. Поскольку Google меняет свои алгоритмы ранжирования, владельцы сайтов продолжают искать творческие способы подняться и выделиться в поисковых рейтингах . Но, несмотря на предупреждения 10 плагинов WordPress, которые превращают ваш сайт в мощный SEO
Что вы уже сделали, чтобы сделать свой блог WordPress SEO-дружественным? Если вы не можете ответить на этот вопрос, сейчас самое время сделать шаг назад и пересмотреть вашу ситуацию. Даже если вы уже предприняли какие-то действия, вам все же может понадобиться что-то улучшить. Ежемесячные SEO-отчеты, которые имеют смысл
Первая неделя нового месяца приносит одну из немногих статических задач для SEO: клиентские отчеты, освещающие достижения кампании за предыдущий месяц. Похоже на простую вещь, но, как и большая часть поисковой оптимизации, подход к формам cookie недостаточен. Похоже, что многие организации удовлетворены автоматизированными отчетами, которые могут или не могут сказать клиенту, что им нужно знать. Но мышление «это то, что вы получаете», очевидно, не совсем оптимально. Итак, что должно войти SEO дружественные страницы категорий WordPress
... ся отличным CMS и создателем сайтов, но одной областью, в которой он может немного отстать, являются его промежуточные страницы, которые призваны помочь вам перемещаться по сообщениям сайта по категории, автору или даже дате"> WordPress является отличным CMS и создателем сайтов, но одной областью, в которой он может немного отстать, являются его промежуточные страницы, которые призваны помочь вам перемещаться по сообщениям сайта по категории, автору или даже дате. WordPress автоматически генерирует Не используйте SEO, чтобы покрыть трещины
Учитывая активность в интернете, в наши дни вполне естественно задуматься о SEO и о том, как они работают во время поиска. В OPEN заметно увеличилось количество запросов, относящихся к ранжированию и созданию SEO-отчетов для веб-сайтов. Этим утром я посетил брифинг Google Breakfast, который заставил меня задуматься… по-прежнему существует много неясностей относительно того, что нужно для хорошего Как отправить и проверить сайт на Alexa?
Обновление 2017 года: Алекса больше не то же самое. Так что нет смысла использовать виджет Alexa или платить за сервисы Alexa. Вы должны сосредоточиться на повышение авторитета домена , Узнайте все о полномочиях домена здесь , Эта статья только для целей архивирования. Вскоре мы удалим все экземпляры рейтинга Alexa из ShoutMeLoud. В прошлом Фрагменты Google теперь разрешат 320 знаков (официально)
4 декабря было отмечено изменение отображения в поисковой выдаче Google относительно фрагментов (описание результатов). Пока что мы можем поставить около 160 знаков, но в последнее время результаты получили больше символов. Это официально ( подтверждено Дэнни Салливаном из Google для Барри Шварца ) этот предел теперь будет составлять до 320 символов на фрагмент. SEO-тестирование: анализ влияния SEO на страницы изменений
Как оптимизаторы, мы всегда хотим понять влияние изменений сайта. Однако анализ данных является сложной задачей, особенно в корпоративной среде с частыми нажатиями на сайты и обновлениями страниц. Одной из самых больших проблем является отслеживание того, когда произошло изменение, каким именно оно было, и какие другие изменения могли произойти, что повлияет на анализ. SEORadar облегчает эту часть благодаря нашему архиву исходного кода, а также истории изменений и предупреждений. Мы ведем 15 отличных инструментов SEO, чтобы шпионить за конкурентами
... сли вы не знаете своих конкурентов - все это ни к чему не приведет. Это ставит вопрос .. у вас действительно есть все время и силы в мире, чтобы выкопать грязь на ваших конкурентов? Нет? Я так и думал. Вот почему важно иметь арсенал инструментов, которые помогут вам в этом. К счастью для вас, есть несколько отличных ресурсов онлайн, которые помогут вам по-настоящему найди силы своего конкурента Google говорит, что ссылка Nofollow не изменилась
6 хитростей SEO на странице, чтобы получить страницу 1 из Google
Вы не можете просто написать статью или сообщение в блоге и просто оставить его. Вы должны дать ему немного сока Google. Получите это немного внимания. Подготовьте свой контент определенным образом, и у вас будет больше шансов на ранжирование в Google и других поисковых системах. Google пытается обеспечить ценность для своих клиентов, и вы тоже должны. Google ищет ценность и авторитет. Вы можете думать об их алгоритмах как о математическом способе ранжирования сайтов,
Комментарии
Вероятно ли, что люди, которые находят ваш сайт, купят ваш продукт или услугу, или у вас просто много пустых обращений?Вероятно ли, что люди, которые находят ваш сайт, купят ваш продукт или услугу, или у вас просто много пустых обращений? Что именно побуждает людей обращать? Чтобы определить это, вам нужно изучить данные более подробно. Вам нужно взглянуть не только на рейтинг в поисковых системах. Исследование Читики и других подобных пользователей использует ежемесячные объемы поиска для сбора данных и показателей. Поскольку данные агрегируются, данные полезны для общей картины, но могут не Но если потребуется два года, чтобы создать задиристый сайт, который разрушит вашу конкуренцию на следующее десятилетие, разве это не стоит того?
Но если потребуется два года, чтобы создать задиристый сайт, который разрушит вашу конкуренцию на следующее десятилетие, разве это не стоит того? (ответ - да). Если вы ответили, что не знаете как, то узнать его ! Если ваш ответ таков, что у вас нет времени, то, возможно, вам не следует начинать бизнес. Оптимизация вашей страницы под ключевые слова, использование социальных сетей и немного SEO на странице - это Вы хотели бы, чтобы, когда пользователь просматривает холодильник в Google, он находит свой сайт, не так ли?
Вы хотели бы, чтобы, когда пользователь просматривает холодильник в Google, он находит свой сайт, не так ли? Поэтому он купил бы свой продукт. Это то, что делает профессионал SEO, он работает над оптимизацией вашего сайта, чтобы вы оставляли вас на верхних позициях Google, перед вашими конкурентами, а также чтобы покупатели покупали у вас, а не у них. Ну а как мне это сделать? Это более сложный вопрос, у Google есть контрольный список с более чем 200 позициями, Знаете ли вы те результаты, которые появляются в верхней части рекомендуемой страницы в Google?
Знаете ли вы те результаты, которые появляются в верхней части рекомендуемой страницы в Google? Обратите внимание, что они идут со словом «объявление» дискретно рядом. Это рекламные ссылки, то есть компании, которым платят за то, что они занимают это место. Эти объявления создаются через платформу Google Adwords , Здесь вы можете узнать, какие термины и фразы наиболее Что вы делаете, чтобы создавать ссылки и продвигать свой сайт WordPress и страницы в социальных сетях?
Что вы делаете, чтобы создавать ссылки и продвигать свой сайт WordPress и страницы в социальных сетях? Какие исследования ключевых слов вы проводите и какие инструменты помогают вам планировать выбранные ключевые слова? Сколько статей вы можете позволить себе публиковать еженедельно или ежемесячно? Какие ключевые слова используют ваши конкуренты, и как это сработало для них в соответствии с результатами поисковой выдачи и рейтингом страницы? Какие вехи вы установили? Как Как насчет того, чтобы дать совет по теме, которую вы собираетесь обсудить, и сколько времени потребуется, чтобы охватить весь контент?
Как насчет того, чтобы дать совет по теме, которую вы собираетесь обсудить, и сколько времени потребуется, чтобы охватить весь контент? Хотите максимально использовать свой потенциал видео на YouTube? Просто индексируйте видео на своем сайте после достижения достаточного количества просмотров , чтобы не получить «разделенный» трафик, пока контент не наберет обороты. Чтобы отслеживать эффективность ваших видео, YouTube предлагает своего рода Как вы скажете пауку поисковой системы, что вы хотите, чтобы он индексировал только первую страницу или весь сайт?
Как вы скажете пауку поисковой системы, что вы хотите, чтобы он индексировал только первую страницу или весь сайт? Вы делаете это с помощью так называемого мета-тега ROBOTS. Метатег robots отличается от robots.txt и должен использоваться вместе. Оба также используются Google и Yahoo, среди других. Если этот метатег неверен, есть вероятность, что вы полностью исключите паука поисковой системы со всеми вытекающими отсюда Мир Интернета полон привлекательных предложений; Тем не менее, из всех предложений, что вы должны выбрать, чтобы убедиться, что вы приняли правильное решение?
Мир Интернета полон привлекательных предложений; Тем не менее, из всех предложений, что вы должны выбрать, чтобы убедиться, что вы приняли правильное решение? Вот где мы собираемся помочь вам (надеюсь), предложив вам несколько наиболее важных вопросов, которые вы должны задать потенциальной SEO-компании: Помимо того, чтобы знать, сколько людей на самом деле посещают ваш сайт - что бы вы сказали о двух самых важных вещах, которые нужно знать о ваших посетителях?
Помимо того, чтобы знать, сколько людей на самом деле посещают ваш сайт - что бы вы сказали о двух самых важных вещах, которые нужно знать о ваших посетителях? На мой взгляд это 1) источник визита: Они пришли через поисковик? Если да, то из какого ключевого слова? Они пришли из рекламы? Если да, то какой? где это было? Они пришли из блога? Они пришли через социальную сеть? и 2) куда они делись, когда были на сайте? В частности, Если ваш сайт работает во Flash, начните с создания версии, называемой «ухудшенной», или прямо в HTML: он будет менее анимированным, но какова ваша цель: сайт с анимацией или ссылочный сайт?
Если ваш сайт работает во Flash, начните с создания версии, называемой «ухудшенной», или прямо в HTML: он будет менее анимированным, но какова ваша цель: сайт с анимацией или ссылочный сайт? Вы сможете использовать flash для анимации на сайте, в небольших дозах. - Внимание к javascript: во многих меню веб-сайтов используется неоптимизированный javascript (или, что еще хуже: java), который Google вряд ли сможет прочитать: Google не будет индексировать глубокие страницы Если вы еще не оценили внутренние ссылки вашего сайта, почему бы не сделать это сегодня и внести соответствующие изменения, чтобы улучшить видимость в основных поисковых системах?
Если вы еще не оценили внутренние ссылки вашего сайта, почему бы не сделать это сегодня и внести соответствующие изменения, чтобы улучшить видимость в основных поисковых системах?
Txt?
Кто может игнорировать первую полосу интернета?
Txt?
Вас действительно есть все время и силы в мире, чтобы выкопать грязь на ваших конкурентов?
Нет?
Вероятно ли, что люди, которые находят ваш сайт, купят ваш продукт или услугу, или у вас просто много пустых обращений?
Что именно побуждает людей обращать?
Но если потребуется два года, чтобы создать задиристый сайт, который разрушит вашу конкуренцию на следующее десятилетие, разве это не стоит того?
Вы хотели бы, чтобы, когда пользователь просматривает холодильник в Google, он находит свой сайт, не так ли?
Ну а как мне это сделать?
