Как настроить 410 ответ сервера

Удаление контента. Что настроить 404 или 410?

Удаление контента. Что настроить 404 или 410?

Сегодня разберемся в одном очень важном и для многих непонятном вопросе. Чем код 404 отличается от 410 и когда правильно использовать каждый из них?

Поисковые системы при проверке страницы сначала смотрят на код ответа сервера, а уже потом приступают к проверке содержимого документа. Поэтому если страница больше не существует, она должна отдавать соответствующий код. Почему это так важно? В противном случае, как утверждают представители различных поисковых систем, страницы с кодом ответа, отличным от 404 или 410, будут сканироваться. Но, если с этим и так все понятно, то вопрос о различиях между 404 и 410 для многих остается открытым.

Коды 404 и 410 – в чем разница?

Код ответа 404 (Ресурс не найден) говорит о том, что искомый документ не существует, а код ответа 410 (Ресурс недоступен) сообщает, что затребованный ресурс был окончательно удален с сайта. То есть оба кода говорят роботу о том, что запрошенная страница недоступна.

При этом ошибка 404 говорит также о том, что ни одна страница сайта не соответствует запрошенному URL. Причин этому может быть несколько:

• пользователь неправильно ввел ссылку;
• страница по запросу была удалена.

Важно отметить, что код ответа 404 не говорит о том, была ли вообще когда-нибудь доступна такая страница и будет ли она восстановлена в будущем. Но именно код 404 применяется если предполагается, что страница все же будет восстановлена.

Код 410 определяется как «удален». Исходя из этого можно уже сделать вывод о том, что документ ранее находился по указанному URL, но впоследствии был удален и в данный момент больше недоступен. Однако в 99% случаев для удаленных документов используется код 404, и это не запрещено.

Так в чем все-таки разница и одинаково ли робот обрабатывает страницы, отдающие коды 404 и 410?

Ответы на этот вопросы мы решили получить от первоисточников — Яндекса и Google.

Что говорит поддержка Яндекса?

Вопрос 1: Существуют ли для робота отличия в интерпретации кода 404 и 410? Насколько верно, что, если удаленному документу настроить код 404 и не запрещать обход в robots.txt., то некоторое время робот будет возвращаться на такие страницы? И верно ли, что при настройке кода 410 робот быстро уберет документ из индекса?

Ответ: В настоящее время не существует специальной обработки кода 410, поэтому обрабатывается он так же, как и код 404. Его использование не приведет к более быстрому удалению страниц из индекса. Если на страницы с кодом 404, 410 или запрещенных в robots.txt не будут вести внешние ссылки, со временем они могут пропасть из базы робота. На это может потребоваться примерно несколько недель. Запрет же в robots.txt в первую очередь рекомендуется для более быстрого исключения страниц непосредственно из результатов поиска: запрещенные ссылки в таком случае могут выпасть из поиска в течение двух недель.

Вопрос 2: Насколько критична для просадки позиций документа случайная настройка на него кода 404 или 410 с последующим возвращением кода 200? Какова вероятность того, что позиции такого документа в будущем восстановятся?

Ответ: Точных данных о сроках переобхода исключенных страниц нет. Робот посещает все страницы в соответствии с политиками планирования, самостоятельно выбирая страницы к обходу. Например, если ранее страница не менялась длительное время, робот начинает посещать ее реже, и на переобход потребуется больше времени, чем обычно. Чтобы его ускорить можно использовать инструмент “Переобход страниц” в Яндекс.Вебмастере (https://webmaster.yandex.ru/site/tools/add-url/ ). С его помощью можно восстановить в поиске страницы уже через 1-2 недели. Что касается позиций страниц, то сложно сказать, в какой степени скажется на них исключение из поиска. Гарантировать сохранение позиций мы не можем ни в случае недоступности страниц, ни в каком-либо другом.

А что скажет Google?

Мэтт Каттс — глава отдела по борьбе с поисковым спамом Google, поясняет, что в обработке кодов 404 и 410 есть отличия, и робот по — разному отнесется к появлению таких ошибок. При обнаружении ошибки 404 он не станет сразу отмечать документ как удаленный, но через 24 часа придет проверить его вновь. А вот если поисковик найдет ошибку 410, то он автоматически отметит ее как удаленную и больше не будет ее проверять. То есть если вы видите, что какая-то страница отсутствует, но при этом вы уверены, что это временное явление, лучше использовать код 404. Его же следует использовать и при попытке пользователя попасть на несуществующие документы. В том же случае, когда страница пропала и вы не можете ее заменить другой, грамотнее будет применить код ответа сервера 410.

Подробная информация доступна на канале Google Webmasters по ссылке: https://youtu.be/xp5Nf8ANfOw

Что же делать? Получается, что Яндекс и Гугл по — разному обрабатывают данные ошибки? На наш взгляд, код 410 стоит использовать лишь в том случае, когда вы совершенно точно уверены, что страница удалена насовсем. Чаще всего настройка 410 ошибки требует подключения программиста, а это нерационально с точки зрения использования ресурсов, ведь результат будет тот же самый. Если же существует хоть какое-то предположение о восстановлении страницы, то стоит обращаться к коду 404. Несмотря на то, что Яндекс не заметит особых различий, для Google ошибка 410 — это как окончательный и бесповоротный приговор. Использование же кода 404 дает возможность в течение 24 часов сохранить позиции страницы в выдаче.

В следующей статье мы разберем еще один очень важный этап технического аудита и поговорим про анализ тегов. Для чего их нужно проверять, какие из них имеют приоритет перед остальными и как найти некачественные теги — обо всем этом читайте в ближайшее время!

Источник

Htaccess.net.Ru

децентрализованное управление конфигурацией веб-сервера Apache

• Портал » Список форумов‹Сайт‹Htaccess
• Изменить размер шрифта
• Для печати

• FAQ
• Галерея
• Регистрация
• Вход

Как заменить код 404 на код 410 с помощью .htaccess?

Как заменить код 404 на код 410 с помощью .htaccess?

RotidE » Вс июн 24, 2012 1:53 pm

Со временем создания и изменения сайта было удалено и/или переименовано довольно большое количество страниц.
К сожалению, поисковики успели просканировать былые страницы и внести их в свой индекс.
Сейчас показывается 80 страниц с ошибками 404.

Вот, что я вычитал в справке гугл:

Как я понимаю, сейчас робо-гугл думает, что страница временно не доступна, т.к. приходит ответ 404.
Когда вместо 404 придет ответ 410 гугл тут же удалит индексацию несуществующих страниц. В Яндексе такая же история, полагаю на код 410 он ответит тем же, хоть и немного позже.

Если написать просто:
ErrorDocument 404 /404.html
То браузеру не возвращается никакой статус

Если писать редиректом:
Redirect gone /stranica1.html http://www.moi_sait.ru/new_stranica1.html
тогда:
1. перечисление всех 80 адресов страниц займет уйму времени.
2. возможно из этих 80 есть рабочие и можно ее вписать в .htaccess случайно, т.к. проверить все 80 страниц на проявления жизни не представляется возможным.

Вопрос:
Возможно ли в .htaccess создать вот такую строку и будет ли она работать как нужно?:
ErrorDocument 404 Redirect gone / http://404.html

Задача:
При попытке доступа к несуществующей (или уже несуществующей) странице (код 404) происходило перенаправление на мою страницу 404.html и в момент перехода браузеру (или поисковому роботу) отдавался статус -gone (410 — убран).

Неужели вся инфа на этом сайте просто рерайт или копи-паст?

RotidE » Чт июн 28, 2012 5:19 pm

Неужели тут никого не бывает, кто действительно разбирается как пишется содержимое файла .htaccess?

Все, что мне удалось выяснить на данный момент, это то, что строка со статусом «gone» должна выглядеть не так как описывается на этом сайте и на других сайтах подобного содержания:
Redirect 410 /123.html http://www.moi_sait.ru/new_stranica1.html

Строка перенаправления со статусом «gone» должна выглядеть так:
Redirect 410 /123.html
или так:
Redirect gone /123.html

т.е. «куда перенаправлять» вписывать не нужно, иначе все страницы сайта (и существующие и не существующие) будут давать ошибку 500.
Об этом не говорится нигде.

Но как же сделать так, чтобы ВСЕ страницы 404 возвращали статус не 404, а 410!?

Возможно ли написание строки такого вида:
Redirect 410 ErrorDocument 404 /404.html
и будет ли это работать?

Есть ли здесь знатоки?

Alexx » Вс июл 08, 2012 8:21 am

RotidE писал(а): Неужели тут никого не бывает, кто действительно разбирается как пишется содержимое файла .htaccess?

Все, что мне удалось выяснить на данный момент, это то, что строка со статусом «gone» должна выглядеть не так как описывается на этом сайте и на других сайтах подобного содержания:
Redirect 410 /123.html http://www.moi_sait.ru/new_stranica1.html

Строка перенаправления со статусом «gone» должна выглядеть так:
Redirect 410 /123.html
или так:
Redirect gone /123.html

т.е. «куда перенаправлять» вписывать не нужно, иначе все страницы сайта (и существующие и не существующие) будут давать ошибку 500.
Об этом не говорится нигде.

Но как же сделать так, чтобы ВСЕ страницы 404 возвращали статус не 404, а 410!?

Возможно ли написание строки такого вида:
Redirect 410 ErrorDocument 404 /404.html
и будет ли это работать?

Есть ли здесь знатоки?

Первое то что на конкретном веб сервере выдается 500 ошибка при попытке включить какую либо директиву конфигурационного файла как правило абсолютно не значит что сама по себе директива не рабочая. Вероятнее всего просто или версия веб сервера другая или что более вероятно конкретная команда запрещена в опция конфигурации данного веб сервера или вы просто напросто допустили где то ошибку или опечатку. ну это из моей практики

Второе насчет 404 ошибки — по заверениям разработчиков яндекса — сервиса веб-мастера (да и просто по технологии — 404 -ошибка означает что документа больше нет) — при получении 404 ошибки страница удаляется из поиска автоматически через 1,5-2 месяца с момента первого обнаружения 404 ошибки при условии что на данную страницу больше нет ссылок из рабочих — оставшихся страниц на сайте. Если на удаленную страницу по прежнему ведет хотя бы 1 ссылка не важна из меню или из контента по заверению разреботчиков яндекса такая страница удаляться сразу не будет.. только по истечению 6 месяцев и более в зависимости от авторитетности весов данной удаленной страницы —

Третье понять что получается а при настройки .htaccess -в любом случае нужно экспериментировать побывать и смотреть что получается — захожим например сюда http://www.cy-pr.com/tools/header/ и смотрим код ответа веб сервар на запрос конкретной страницы. И соответственно сверяем коды и до тех пор пока не получим то что хотим.
например при запросе на данную страницы веб сервер этого сайта возвращает следующее значение:
200 код ))))
Код: выделить все HTTP/1.0 200 OK
Date: Sun, 08 Jul 2012 08:20:28 GMT
Server: Apache
Content-Length: 27544
Connection: close
Content-Type: text/html

4) удачных экспериментов

Называется: -«мы не знаем, сам поGoogleи»

RotidE » Вт июл 10, 2012 3:04 am

Все написанное в предыдущем ответе можно было бы написать всего лишь несколькими фразами:
— Не знаю, ковыряйся сам.
Или же одним словом: -«погугли».

К сожалению поисковики не дают результата.

А я так надеялся на подсказку гуру.

Тем не менее, не оставлю не замеченным, благодарю за ссылку-подсказку на сайт «Проверка заголовков сервера — Проверка HTTP статусов».

меняем код ответа веб сервера 404 на код 410 с помощью .htac

Alexx » Пн авг 27, 2012 12:34 pm

гугу давно в отпуске )))

«Погуглив» по http://htaccess.net.ru , обратно же на вскидку подверженной практикой получаются следующих два рабочих варианта:

1)
Вставляем в .htaccess следующее:
Код: выделить все ErrorDocument 404 http://web-domen.com/111.txt #111.txt файл в корне — с надписью страница не найдена или даже просто пустой в данном примере не важно.
Redirect 410 /111.txt #410 — Gone — ответ веб сервера.

Гугл хром выдает следующее:
Код: выделить все Gone
The requested resource
/111.txt is no longer available on this server and there is no forwarding address. Please remove all references to this resource.

2)
Если есть одинаковый элемент (- сочетание символов) в названии файлов- урлов ни где больше не встречается на других нормальных работающих файлах-урлах сайта то можно попробовать использовать регулярное выражение (шаблон), описывающее группу URL, нработающий пример для gif-фок:

Вставляем в .htaccess следующее:
Код: выделить все RedirectMatch 410 /*1.gif

т.е. для всех файлов 1.gif , 4555 1.gif , wwwwwwwww1111 1.gif — т.е. при встрече с шаблоном «любые сиволы+1.gif» будет выдаваться 410 код -ответ веб-сервера:
Код: выделить все Gone
The requested resource
/1.gif
is no longer available on this server and there is no forwarding address. Please remove all references to this resource.

Благодарю за помощь!

RotidE » Вт авг 28, 2012 3:20 am

Alexx,
Премного благодарен Вам, уважаемый!
Сейчас работает в таком виде:
Код: выделить все Redirect 410 /blog/
Redirect 410 /dohod.html
Redirect 410 /chto_eto_takoe.html
Redirect 410 /obratnaya_svyaz.html
Redirect 410 /kak_i_chto_delat.html
Redirect 410 /menu_gde_vzyat_sredstva_na_vklad.html
.

Сработало не плохо, в поисковиках ошибочные страницы почистились.

Создание масок не пробовал, ибо не знал, как будет работать — не хотелось наломать дров.
Интересный вариант, пригодится, т.к. есть еще страницы с 404.

Alexx » Пт авг 31, 2012 6:15 pm

да тут еще нужно четко себе отдавать отчет что если использовать первый вариант то в теории все не найденные страницы (с 404 ошибкой) будут удаляться из индекса сразу, ну а если сломалась смс, да и вообще любой глюк.. ошибка — и бац пол сайта удалена из индекса.. в общем я бы почистив что нужно затем затем комментировал бы эту инструкцию.. с 404 ошибкой безопасней по кране мере пара месяцев до удаления из индекс в запасе есть ))

Источник

Ошибки 400, 410

Ошибка 400 (Bad Request)

Ошибка 400 значит, что запрос к серверу содержит синтаксическую ошибку. Но иногда проблема вызвана факторами, которые не имеют прямого отношения к запросу.

Причины появления ошибки 400

1. Доступ к странице заблокирован антивирусом, файрволом или оборудованием интернет-провайдера сети, через которую вы обращаетесь к сайту. Проблема может появиться после обновления системы безопасности, когда меняются ее настройки.
2. Владелец сайта неверно настроил правила перенаправления в используемых на сайте скриптах или в конфигурации веб-сервера.
3. Посетителем сайта действительно допущена синтаксическая ошибка (которая делает введённый в браузере адрес неверным URL с точки зрения сервера).

Способы устранения ошибки 400 Bad Request

• очистите кеш и куки браузера;
• проверьте настройки антивируса и брандмауэра;
• проверьте не заблокирован ли сайт интернет-провайдером.

Для владельца сайта:

• проверьте правила перенаправления запросов в .htaccess;
• проверьте корректность выдачи заголовков перенаправления, выдаваемых используемыми на сайте скриптами.

Ошибка 410 (Gone)

Появление ошибки связано с удалением исходной страницы, поэтому она похожа на страницу 404, когда страница не найдена. Разница в том, что второй случай допускает обращение к странице, которая никогда не существовала, а 410 относится только к удаленным.

Но роботы поисковых систем по-разному реагируют на ошибки 404 и 410. Встретив ошибку 404, система отложит индексацию на сутки. При 410 ошибке робот фиксирует это, после чего не заходит на такую страницу и исключает ее из поиска.

Способы устранения ошибки 410 Gone

Если отсутствие страницы обусловлено внутренними работами – верстка текста, исправление ошибок, то лучше отмечать ее кодом 404. Если страница удалена случайно, то вы можете восстановить ее при наличии резервной копии.

Источник