Noindex nofollow не работает

Noindex nofollow – два брата для регулирования ботов поисковых систем

В оптимизации сайта и SEO огромную роль играют запрещающие директивы noindex nofollow, с помощью которых можно управлять поведением поисковых роботов на странице. Технология немного стала терять свою силу, но в статье разберем как пользоваться ноуиндекс и нофоллов, чтобы вебмастер понимал для чего они нужны и какую пользу несут в себе.

Что такое noindex и nofollow – их разница

Для начала зададим определения, что это такое noindex и nofollow, чтобы понимать весь дальнейший процесс их постановки внутри кода.

Метатег noindex – запрещает к индексации (обходу) страницу целиком поисковыми системами либо отдельный участок. Простыми словами ноуиндекс запрещает брать в индекс участок документа либо всю ее, применяется для внутренней оптимизации.

Разница у них огромная – первый регулирует сам документ, второй урлы и переходы по ним. Многие спрашивают про Noreferre и Noarchive, это тоже значения robos в meta, о них поговорим в других статьях.

Как пользоваться noindex

Сейчас noindex применяют в 3 видах, рассмотрим каждый из них и напишу какой из них самый действенный.

Ноуидекс в атрибуте robots на примере HTML кода для страницы

Стопроцентный метод закрыть что-то от индексации в SEO – это поставить noindex на всю страницу. Да гибкости меньше, потому что закрываем все или ничего. Но для удаления дублей и полностью ненужных документов метод идеален. Ниже показано как это выглядит в HTML общий для всех ботов любой поисковой системы.

Исходный HTML

Для разных ботов необходимо указывать его имя, например для Гугла это googlebot, а для Яндекса YandexBot, так выглядит строка. Инструкция должна быть вставлена строго внутри раздела head, чем выше к начал тем лучше.

Соответственно если хотим наоборот открыть доступ роботам ПС, то меняем команду на index.

Noindex для отдельных кусков кода или текста

Если хотим закрыть от индексирования только часть страницы, чтобы она вырезалась из обхода роботом. То есть тот кусок который будет обернут в ноуиндекс будет невидим для поисковика. Выглядит комбинация так:

Но сейчас данные приемы работают 50 на 50, причем с очень не стабильной статистикой. Например, поместили информацию об авторе в noindex в сайдбаре, данный блок может на одной странице вырезан из обхода, а на другой взят в поиск. Поэтому данную технологию применяют для исключения блоков, которые просто желательно убирать.

Многие помещают блоки контекстной рекламы в noindex – доказано множеством специалистов, что это никак не действует на SEO, а даже усугубляет. Потому что предпринимаются попытки манипуляцией роботов, что идет во вред блогу.

Как пользоваться nofollow

У nofollow в основном другое предназначение – это работа с ссылками, но его команды в robots так же действуют. Рассмотрим все комбинации применения ноуфолов.

Значение nofollow в атрибуте content

Код означает, что переходить по всем ссылкам на странице запрещено по внешним и внутренним одинаково. Методом блокируем переход только роботам, пользователь может перейти беспрепятственно.

Аналогично можно регулировать поведение по видам роботов по ПС, например для Yandex. Если подставим follow, то даем разрешение на сканирование, в этом случае можно ничего не прописывать.

Блокировка отдельных ссылок

У nofollow нет механизма закрытия кусков страницы, это не логично, поэтому есть механизм блокировки отдельных ссылок.

Способ не дает 100%, что робот не перейдет по ссылке, потому что сейчас данный атрибут является частичной рекомендацией, но для усиления и намека на то что этот урл служебный – комбинация подойдет.

Будет ли работать nofollow для внутренних ссылок и необходимо ли это делать? Да, для служебных страниц, особенно сквозные адреса (корзина, регистрация, вход), советую проставлять его, чтобы исключить их из режима обхода.

Идет ли передача веса в ссылках с nofollow? Минимальное количество ссылок не даст плохого эффекта и передачи веса страницы не будет. Но в разрезе всего сайта, если много документов будет ссылаться на один и тот же адрес, то соответственно вес будет утекать.

Для SMM продвижения и продажи dofollow ссылок – nofollow не пользуются, потому что в первом случае трафик идет из соцсетей, а второй направлен на продажу, правилами запрещено ставить нофолоу.

Применение noindex и nofollow вместе

Употреблять их вместе можно только в теге meta, в других местах их комбинировать нельзя, точнее можно, но боты их понимать не будут, пример в таком исполнении, означает, что не индексировать ни переходить по адресам нельзя.

Их можно менять местами и вариацию без приставки NO, тем самым более точно руководя поведением. Например, моя любимая для блокировки дублей в пагинации. Расшифрую – ходить по странице можно, но в индекс брать нельзя, одновременно с этим можно ходить по ссылкам.

Так же есть вариант применения для ссылок точечно обоих команд, но она сработает только для Яндекса, все остальные не будут воспринимать noindex.

Disallow в robots и noindex – как с ними работать

У некоторых пользователей есть вопрос, а нужно ли ставить на страницу noindex если в robots txt уже есть запрет на индексацию и наоборот. Я советую всегда использовать значения ноуиндекс и nofollow, а для усиления добавлять запрещающую строку в robots. Например с пагинацией в WordPress, я ставлю в head строку с meta (показывал на скриншоте ранее) и одновременно есть запрет в роботсе через директиву Disallow.

Robots txt

Как вставить noindex nofollow на разных CMS

Для новичков в SEO не всегда понятно как проставлять правильно noindex nofollow в своей CMS системе, потому что задачи разные и требуется максимально точно настроить данный пункт.

WordPress

Советую всем использовать плагин YoastSEO, он умеет проставлять теги автоматически и с помощью точной простановки. Сейчас разберу только базовый принцип, в отдельной рубрике по WordPress опишу подробно весь процесс. В WP есть три вида сущностей – содержимое, таксономии (рубрики и категории товаров) и архивы.

Yoast SEO

На каждой вкладке для отдельной сущности можете настроить параметр «Показывать … в результатах поиска?» вместо многоточия будет своя сущность (запись, страница, рубрика, товар). Если переместим в режим «Выкл», то ко всем документам такого типа примениться noindex,follow в теге meta.

Второй вариант ручной, если хотим закрывать только некоторые адреса, то в визуальном редакторе внизу есть блок. Рассмотрим на примере записи.

Индивидуальная панель Йоаст СЕО

1. Спускаемся вниз страницы.
2. Открываем спойлер дополнительно.
3. Первое поле – это noindex, если выставляем NO то он применится.
4. Радиокнопки – это nofollow, отмечаем NO если необходимо запретить все ссылки.
5. Расширенная настройка – тут можно вручную прописать noindex,nofollow. Но могут произойти баги, лучше используйте параметры из списка выше.

Opencart

Не работал плотно с opencart, но поискал в интернете решения проблемы, чтобы работало. Нашел один модуль, это как плагин на WP, устанавливается стандартно и имеет настройки для достаточного количества видов документов в Opencart для простановки noindex и nofollow. Нажимайте на кнопку и перекинет на репозиторий OC.

Bitrix

В Bitrix сложнее, он не дает такой гибкости как у других CMS, поэтому приходится прибегать к помощи разработчиков. Нашел один метод, который сможет помочь новичкам, он направлен на создании дополнительных полей в редакторе (типа как в WP произвольные поля). Жмите кнопку и откроется официальная документация. На данном форуме объяснил пользователь «Гуру» наглядно где и что появляется.

Единственный стопроцентный метод закрытия страниц это через тег meta с атрибутом robots. Все остальные способы 50 на 50 и могут не работать, потому что не все поисковики воспринимают их, а если берут в обработку то по своим неизвестным алгоритмам.

Источник

WPbloging — профессиональный блоггинг на WordPress

WPbloging — помощь начинающим и профессиональным блоггерам.

Как установить, настроить, раскрутить, заработать на WordPress!

Используем rel=nofollow и noindex для Yandex

В апреле, поисковик Yandex, обрадовал рунетовских веб-мастеров, включением поддержки атрибута rel=»nofollow» в ссылках. Какую пользу это нам — блоггерам принесет? Как правильно прописать атрибут rel=»nofollow» в ссылках и что теперь будет с ?

Давайте попробуем разобраться в этих новинках Яндекса .

Небольшая предыстория атрибута rel=nofollow

Что такое rel=nofollow?

Nofollow — статус, говорящий о том,что вы не одобряете данную ссылку.

Исходя из вышесказанного:

Rel=nofollow — определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.

Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, источник.

Google, встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=»nofollow», но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.

Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег , который позволял сделать тоже самое и больше. Теперь там и nofollow.

В чем разница rel=nofollow и

Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=»nofollow»?

Все дело в том, что тег это личная инициатива Yandex. Данный тег нигде в мире, кроме самого Яндекс, не поддерживается и не стандартизирован. При проверке ресурса на ошибки в коде и поддержке web-стандартов, веб-мастера всегда получали «не валидный» код. То есть, ваш ресурс содержит ошибки. Но, спешу вас успокоить, это не критическая ошибка и практически ни на что не влияет. Для тех кому важен валидный код, вот структура, рекомендованная самим Yandex для валидности вашего кода:

Блок вашего закрываемого текста

Еще одна проблема тега в том, что зарубежные веб-мастера, не ведая о данном теге, не используют его в разработках своих плагинов к WordPress. Приходится данные плагины адаптировать под Яндексовскую реальность.
Если в комментариях блога ссылки были закрыты атрибутом rel=»nofollow», то для Яндекса эти ссылки были открыты. Это означало, что роботу приходилось путешествовать по всем ссылкам указанным в комментариях.

Атрибут со статусом rel=»nofollow» стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.

Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=»nofollow». Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.

Зачем нужен ?

Тег очень важен, если вы хотите, чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом .

К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.

Источник

Noindex и nofollow: зачем, в каких случаях и как правильно?

Начнем с того, что обозначим разные способы использования noindex и nofollow:

• Тег и атрибут rel=»nofollow»
• Метатеги и

Тег и атрибут rel=»nofollow»

Тег – это HTML-тег, который запрещает Яндексу индексировать ту или иную область страницы сайта. Для поисковой системы Google этот тег не работает, более того, в Google вообще не предусмотрена возможность исключения части текста страницы из индекса.

Заблуждение №1. Основная ошибка людей, которые используют этот тег, заключается в убеждении, что если часть какого-либо текста помещена между открывающимся и закрывающимся тегом , то робот Яндекса не станет читать и анализировать этот текст.

Единственное, что данный тег запрещает – это помещение содержимого в индексную базу, но это содержимое в любом случае будет прочитано и проанализировано роботом.

Пример: На странице вашего сайта расположен некоторый текст, использующий прямые вхождения предложений из других сторонних источников. Следовательно, эти предложения снижают уникальность вашего текста, а вам необходимо, чтобы уникальность была 100%. Вы решаете закрыть эти предложения тегом , чтобы Яндекс считал ваш текст уникальным. Это заблуждение.

Абсолютно весь текст вашей страницы будет прочитан и обработан роботом, и ему будет известно, что текст вашей страницы не является уникальным.

Сама суть тега – «не индексировать», значит запрета на чтение нет.

Предположим, что поисковый робот зашел на вашу страницу и начал сканировать содержимое. В какой-то момент робот находит открытие тега , что является сигналом роботу – дальше текст не индексировать. Но чтобы найти то место кода, где тег закрывается, роботу необходимо прочесть содержимое, идущее после открытия данного тега. Следовательно, даже теоретически нельзя запретить роботам читать содержимое с помощью тега .

Для чего же тогда нужен тег ?

Он нужен непосредственно для того, чтобы запретить роботу выдавать в выдаче своей поисковой системы какую-либо информацию. Это могут быть, к примеру, контакты, которые по каким-либо причинам не должны отображаться в выдаче.

Заблуждение №2. Ещё одно заблуждение, которое часто встречается среди владельцев сайтов, – это мнение, что ссылка, помещенная в тег , не будет учтена поисковым роботом. Как я говорил ранее, всё, что находится внутри тега , будет прочитано и проанализировано роботом Яндекса. И ссылки не являются исключением. Единственное отличие размещенных обычным образом ссылок от ссылок в теге – это то, что текст (анкор) ссылки не будет проиндексирован.

На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут rel=»nofollow», который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.

Яндекс не индексирует анкор, но учитывает ссылку на 1ps.ru и передает по ней вес

Яндекс не индексирует анкор и не передает вес по ссылке на 1ps.ru

Существует два способа написания тега в коде:

1. Текст, запрещённый к индексированию

2. Текст, запрещённый к индексированию

Второй вариант более верный. Так как тег не входит в официальную спецификацию языка разметки HTML, то его присутствие в коде может вызвать недопонимание у других поисковых систем, которые будут считать его наличие за ошибку. Чтобы сделать код страницы валидным, для всех поисковых роботов рекомендуется использовать закомментированный вариант написания. Яндекс такое написание распознает, а другие поисковые роботы не будет обращать внимание на его присутствие.

Метатеги и

Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.

Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса:
«Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow»

Подведём итоги

Тег используем только для того, чтобы запретить роботам Яндекс выдавать информацию в выдаче.

Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно может пройти по ссылке (если информация о ней получена из других источников: карта сайта, ссылки) и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.

Источник