Как настроить заголовок last modified

Проверка и настройка заголовка Last Modified

Все способы проверить и установить заголовок Last Modified: с помощью кэширования, без плагина, отдельным WordPress модулем и плагином Clearfy Pro.

Проверьте работу Last-Modified и 304 Not Modified на вашем сайте онлайн.

Что такое заголовок Last Modified?

Один из HTTP-заголовков, который содержит в себе дату последнего изменения страницы. Данный заголовок отправляется сервером и не виден посетителям.

Пример заголовков, которые отправляет сервер, среди которых есть Last-Modified.

Предположим, посетитель просматривает статью на вашем блоге, которая в заголовках отдала ласт модифай. Браузер увидев заголовок сохраняет в кеш данную страницу (код HTML, изображения, таблицы стилей CSS).

Когда посетитель повторно откроет страницу, сервер хостинга проверит, обновлялась ли она с последнего посещения пользователем. Если изменений нет, то браузер посетителя получит ответ «304 не изменено» и выдаст на экран ранее сохраненные данные из локального кэша.

Этот заголовок работает в паре с If Modified Since, что это и какие преимущества дает ниже.

Что такое If Modified Since?

Это заголовок, который спрашивает ваш сервер, изменилась ли страница за это время?

Поисковая система или браузер посылают повторный запрос на ваш сайт с HTTP заголовком If-Modified-Since , в котором указывают метку времени. После этого ресурс должен проверить, менялась ли страница за это время и дать ответ.

• 304 Not Modified , если страница не менялась и завершить вывод.
• 200 ОК , если страница менялась и показать свежую версию страницы.

Что это дает?

✅ Снижение нагрузки на сервер.

Когда возвращается ответ 304, сама страница не загружается. Условно мы говорим — страница не менялась, возьмите ту, что у вас уже сохранена.

Браузер выдаст страницу из кеша, а поисковик пойдет на другие страницы. Ваш сервер не будет делать запросов к базам данных, не будет генерировать страницы. Это особенно актуально для посещаемых ресурсов.

✅ Ускорение индексации сайта.

Когда поисковой робот Яндекс или Google приходит на сайт и получает ответ 304 Not Modified на заголовок If-Modified-Since — он пропускает эту страницу и переходит к следующей.

Таким образом за один обход поисковая система может проиндексировать больше страниц, т.к. количество страниц, которые может обойти робот ограничено.

Источник

Правильный ответ сервера: заголовки Last-Modified и if-modified-since

Здравствуйте уважаемые читатели блога Site on! Мы продолжаем тему внутренней оптимизации сайта, одного из важнейших факторов SEO. Эта статья затронет то, что можно назвать тонкостями внутренней оптимизации, так как речь пойдёт о коде ответа, который получат поисковые системы и посетители в ответ на их обращение к странице.

Правильный ответ сервера

Несмотря на то, что это довольно мелкая деталь при построении и оптимизации сайта в целом, однако она очень важна! А именно важно, чтобы страница, на которой не было изменений с последнего визита робота или человека отдавала 304 код, который означает, что страница осталась без изменений. Когда сервер отдаёт клиенту этот код, то выполнение всех PHP сценариев на странице даже не начинается, вместо этого страница загружается из кэша, что значительно снижает нагрузку на сервер и ускоряет загрузку страницы у пользователя.

Таким образом, настроив правильные ответы нашего сервера, мы убиваем сразу как минимум пять зайцев:

• Ускоряем загрузку страницы для посетителей (людей).
• Снижаем нагрузку на сервер.
• В поисковой выдаче будет (для Яндекса точно) показываться дата последнего обновления страницы, что может привлечь внимание пользователя, особенно, если дата недавняя.
• Страницы сайта будут участвовать в сортировке поисковых систем по дате.
• Значительно ускоряем индексирование сайта поисковыми системами!

Почему-то для меня последний пункт кажется самым сладким (так как влияет на SEO и повышает доверие к вашему сайту у поисковых систем), хотя без сомнения остальные пункты тоже чрезвычайно важны.

Как настроить 304 и 200 ответы сервера?

Мы уже сказали о том, что в ответ на запрос к неизменившимся страницам сервер должен отдавать 304 Not Modified, а какой код сервер должен отдавать, если клиент обращается к странице первый раз или обращается к изменившейся странице? В таких случаях сервер должен отдавать статус 200 OK. Специально данный код посылать не нужно, если со страницей всё в порядке, то она всегда выдаёт 200.

Поэтому нам нужно позаботиться только о 304 коде, так как его, сервер без нашего вмешательства не пошлёт. Для этого нам поможет веб-ориентированный язык PHP, а также заголовок Last-Modified и запрос if-modified-since.

Заголовки Last-Modified и if-modified-since

Last-Modified – это заголовок, который мы посылаем с помощью PHP, данный заголовок содержит точное время последнего изменения страницы (в секундах). Для этого используется общепринятая мера измерения времени: Unix Time Stamp.

Unix time stamp – это число секунд, прошедших с начала эпохи Юникс: 1 января 1970 года. На момент написания этого предложения Unix time stamp равняется 1370597447 секунд – это 07.06.2013 09:30:47 GMT (+00:00).

То есть все, что нам нужно делать, это всего лишь посылать PHP заголовок с инструкцией Last-Modified и нужной датой:

Где header – это конструкция для отправки HTTP заголовка, Last-Modified – то, что мы отправляем и сразу после двоеточия идёт его значение:

В роли значения Ласт-модифайд выступает функция gmdate(), которая содержит придуманную мной переменную $last_modified_time (вы можете назвать как угодно). В переменной $last_modified_time и содержится время последнего изменения в формате Unix Time Stamp, а функция gmdate() служит нам для того, чтобы привести дату в надлежащий вид (время по Гринвичу).

Для наглядности вот вам пример: если мы в функцию gmdate() положим значение 1365003142, то на выходе получим: Wed, 03 Apr 2013 15:32:22.

Теперь, когда мы узнали, как происходит весь процесс, может возникнуть вопрос: «Это что, для каждой странице нам вручную нужно указывать время последнего изменения?». Ответ: «Да!». Лично я делаю именно так – вручную, самый надёжный вариант. Однако конкретно для данного блога я всё предусмотрел, к примеру, если появляется новый комментарий на странице, то в переменную $last_modified_time заносится время добавления этого комментария, это сделано для того, чтобы поисковые системы смогли проиндексировать новые комментарии и знали, что сайт «живой». Каждый сайт индивидуален и вам придётся придумать свой собственный алгоритм по указанию даты последнего изменения страницы, или всегда указывать её вручную.

Ещё раз подчеркну, у меня алгоритм таков:

1) я указываю дату создания материала вручную, если я меняю что-то в статье (опечатки или дописываю), то затем я опять-таки вручную вписываю новое время последнего обновления.

2) Если посетитель добавляет комментарий, то в переменную $last_modified_time автоматически, без моего ведома заносится время добавления комментария, так как фактически это и будет датой последнего изменения страницы.

Чего я не учёл: в правой колонке сайта у меня находятся свежие статьи, рекомендуемые и топ-10. Они меняются постоянно и при этом одновременно для всех страниц. Если бы я при каждом изменении правой колонки сайта менял (автоматически или вручную – не важно) дату последнего изменения страницы, то потерялся бы весь смысл этого действия. Я решил, что эти изменения отслеживать и учитывать при указании $last_modified_time не стоит, так как они не несут в себе пользы для SEO.

Как я уже писал, я не могу указать вам, как именно автоматизировать дату последнего изменения страницы, но я скажу вам, как этого делать НЕ нужно!

Ошибки при указании даты последнего изменения

Первое что может прийти в голову большинству людей, это в заголовке посылать дату последнего изменения файла с содержимым страницы. Лично у меня тексты статей лежат в файлах, а не в базе данных, так что для меня такой способ мог бы показаться отличным выходом, чтобы не вводить каждый раз Unix Time Stamp вручную. Но нет! Большинство хостингов, а может даже все, за дату последнего изменения файла берут дату его создания, они не учитывают последующие его изменения.

Я думаю, последствия в таком случаи вам понятны. Один популярный украинский хостинг провайдер (и думаю не он один) в своём FAQ пишет что-то вроде: «Вместо даты последнего изменения файла используйте функцию time(), которая возвращает текущее время в формате Unix time stamp». Вот так абсурд! Это же просто на месте застрелится! И этот хостинг-провайдер считается «одним из лучших», после того как я это прочитал, я сразу же перехотел становиться их клиентом.

Это просто анти-SEO, сами подумайте, заходит к вам на страницу поисковичёк и смотрит: «Ух ты ж-ка! Последнее время изменения страницы было только что, вот это я угадал когда прийти, класс!». Заходит он через пару дней на эту же самую страницу: «Гляди-ка, опять только что изменилась, вот это совпадение… Погодите, а почему я не вижу никаких изменений? Ладно, приду в другой раз». Приходит снова: «Ну нет мужики, это уже не смешно, доверять вам точно нельзя». Вот такая вот сказочка 🙂

А потом люди удивляются, почему результаты в поисковой выдачи не такие как хотелось бы, да потому что к вашему сайту теряется банальное доверие (trust). Прям как в притче «Про пастуха и волков».

Итак, с основными ошибками разобрались: нельзя указывать текущее время и не советую указывать время изменения файла. Теперь продолжим разбирать как это всё работает.

Настроить отсылку заголовков Last-Modified это ровно 1/3 дела, нам ещё предстоит: сделать ответ на запрос if-modified-since и включить кэширование страницы. Оба эти действия не займут много времени и строк кода.

if-modified-since

if-modified-since – это запрос клиента к вашему серверу, в нём клиент спрашивает: «не изменилась ли страница с моего последнего визита?». Если страница не изменилась, то мы должны остановить выполнение дальнейшей загрузки страницы командой:

При этом тело страницы не должно начать отрисовываться, это всё происходит ДО первого вывода чего-либо на страницу! Вместе с этим необходимо вернуть клиенту ответ сервера 304 Not Modified, тем самым сказав, что страницу нужно взять из кэша. Давайте сразу к делу:

Итак, в первой строке мы с помощью условного оператора PHP (if) проверяем, пришёл ли к нашему серверу запрос HTTP_IF_MODIFIED_SINCE, а также сразу проверяем число секунд в пришедшем HTTP_IF_MODIFIED_SINCE больше, чем в $last_modified_time или нет? Если больше, значит дата последнего визита клиента позже, чем дата последнего изменения страницы, отсюда делаем чисто логический вывод, что страница не изменилась, а значит второй строчкой отправляем ответ сервера 304 Not Modified и 3 строчкой убиваем (прекращаем) выполнение всех сценариев на странице. Другими словами прекращаем её загрузку.

Если же клиент не послал нам запрос HTTP_IF_MODIFIED_SINCE или его последний визит оказался раньше, чем дата последнего изменения страницы, то мы (по умолчанию) отдаём код 200 ОК и пятой строкой посылаем ему АКТУАЛЬНУЮ дату изменения страницы, вместо той, что была у него.

Про IF_MODIFIED_SINCE и как устроен код рассказал вам всё что нужно, кроме того, что делает функция strtotime():

Внимательный и смекалистый читатель уже мог догадаться, что эта функция конвертирует обычную дату в Unix time stamp, так как переменную $last_modified_time мы задаём именно в нём, а потому для сравнения нам необходимо привести всё к общему знаменателю общей системе измерения.

И последнее, нам остаётся только включить кэширование, это делается с помощью следующих строк:

Где число 10800 это время (в секундах) на которое мы хотим закэшировать страницу, то есть в данном примере на 3 часа.

И как всегда для тех, кто ничего не понял выкладываю всё полностью, как это устроенно у меня на блоге:

Думаю, вы могли заметить, что вся эта история с Ласт-модифайд является аналогом тега в sitemap.xml – lastmod. Так вот lastmod носит ознакомительно-рекомендательный характер, а с ответами вашего сервера никто не поспорит. Естественно, не редкость, когда lastmod в карте сайта отличается от заголовка Ласт-Модифайд, однако с этого момента они должны быть у вас одинаковы! Мы ведь теперь с вами какую науку изучили, не для того чтобы уподобляться горе-вебмастерам, которые дальше sitemap.xml не продвинулись.

Лично я в данный момент вообще не пользуюсь тегом lastmod в своих картах сайтах, возможно, позже я пересмотрю свои действия, но пока что не вижу смысла быть настолько скурпулёзным, имея правильные заголовки Last-Modified 🙂

И напоследок, проверить корректность Last-Modified и if-modified-since вы можете с помощью этого сервиса: клик.

Спасибо за ваше внимание, особая благодарность постоянно растущему числу подписчиков, для меня это наибольший стимул писать в блог чаще. Так что кто ещё не подписался на выход новых статей, добро пожаловать!

Источник

Как и зачем настраивать заголовок Last-Modified?

Зачем настраивать заголовок Last-Modified. Давайте попробуем максимально быстро и просто разобраться с настройкой заголовка Last-Modified.

Для начала скажу, что это нужно в первую очередь для снижения нагрузки на сервер и ускорения индексации страниц. Именно поэтому необходимо произвести настройку заголовка Last-Modified, особенно для крупных ресурсов с большим количеством страниц.

Цель этого заголовка — сообщить клиенту (браузеру или поисковику) информацию о последних изменениях конкретной страницы. Клиент передает серверу заголовок If-Modified-Since. Если изменений на странице не обнаружено, то от сервера возвращается заголовок «304 Not Modified». При этом страница не загружается.

Если же изменения вносились, то это будет учтено, и сервер вернет заголовок «200 OK» (страница загрузится с обновленным содержимым).

Корректная настройка Last-Modified дает следующие преимущества:

• ускоряется загрузка страниц для пользователей;
• снижается нагрузка на сервер;
• в результатах поиска отображается дата последнего обновления содержимого страницы;
• страницы при сортировке в поисковике по дате занимают более высокие позиции;
• существенно ускоряется индексация страниц.

Почему же роботы быстрее индексируют сайты с настроенным Last-Modified?

Ответ прост: если на сайте было изменено всего 20 страниц, то роботу не нужно индексировать все 500 в поисках нового контента, поскольку Last-Modified укажет страницы с изменениями.

Но это указание является рекомендательным, как и sitemap.xml, поэтому робот вначале проиндексирует обновленные страницы, а затем — все остальные.

Last-Modified особенно важен для ресурсов с большим количеством страниц, ведь на обход каждого сайта роботу отводится ограниченное количество времени, и он может не успеть дойти до нужных страниц.

Как настроить Last-Modified

Для начала необходимо проверить, настроен ли у вас этот заголовок. Для этого можно использовать сервисы varvy.com, last-modified.com или tools.seo-auditor.com.ru. Если проверка показала отсутствие заголовка, то следует приступить к его настройке.

Если у вас статический сайт, то для каждой страницы необходимо прописать код, который вы видите на экране:

После каждого изменения содержимого вручную изменяем дату в коде. И что, каждый раз так, спросите вы меня? Да, если сайт статический.

Если сайт динамический, то используем настройку в PHP. Часто встречается вот такой код:

header(«Last-Modified: » . date(‘r’,strtotime($post->post_modified)))

Его необходимо добавить в header.php. Но он будет работать только для записей и страниц и не будет срабатывать на главной. Также он недействителен для таксономий, архивов и учета новых комментариев.

В связи с этим рекомендуется использовать следующий код:

header ($_SERVER[‘SERVER_PROTOCOL’] . ‘ 304 Not Modified’);

exit;

header(‘Last-Modified: ‘ . $LastModified);

Также можно настроить заголовок, прописав две строки в файле .htaccess:

RewriteRule .* — [E=HTTP_IF_MODIFIED_SINCE:%]

RewriteRule .* — [E=HTTP_IF_NONE_MATCH:%]

Но в этом случае необходимо проверить, не возникнет ли проблем со стороны хостинга.

Чтобы не прописывать коды, можно использовать готовые решения для настройки Last-Modified. Например, для CMS WordPress есть плагины Clearfy и Last Modified Timestamp. Настройку можно выполнить с помощью плагина WP Super Cache. Для этого в расширенных настройках активируйте пункт «Ошибка 304» (поддержка ответа 304 отключена по умолчанию, так как на некоторых хостингах могут возникать проблемы). Для других CMS также существуют свои плагины, ну или в крайнем случае, можно заказать плагин у программиста.

Следует понимать, что настройка Last-Modified не всегда полезна (например, когда на каждой странице установлен «сквозной» блок информации с регулярно меняющимся контентом одинакового содержания). В этом случае поисковики могут перестать воспринимать информацию как новую и станут реже посещать ваш сайт.

В остальных случаях, настроив Last-Modified, вы получаете:

• экономию трафика;
• ускоряете работу сайта;
• выполняете рекомендации поисковиков Google и Яндекс, что значительно ускоряет индексацию и повышает видимость страниц в поиске. Особенно хорошо это заметно на ресурсах с большим количеством страниц.

Источник