Как настроить yandex xml

Что такое Yandex XML и как пользоваться сервисом. Использование XML лимитов

Процесс SEO-оптимизации невозможен без скрупулезного анализа. Изучить данные (позиции) конкурентов, результаты выдачи по ключевым запросам, собрать и вычленить полезную информацию можно с помощью удобных решений. Сервис Яндекс.XML – инструмент для отправки запросов поисковой системе напрямую и получения ответов в XML-формате с кодировкой UTF-8.

В результате работы веб-мастер или оптимизатор может решить задачи:

• выявления позиций ресурса (по регионам и конкретным ключевым словам);
• извлечения сведений о проиндексированных страницах и других параметрах веб-сайта;
• определения прямых конкурентов для разработки и корректировки стратегии раскрутки;
• парсинга подсветок сниппета и т. д.

XML – расширяемый язык разметки, текстовый формат структурирования и хранения информации в элементах и тегах.

Функционал сервиса

В контексте поисковой оптимизации Yandex.XML позволяет провести масштабное исследование выдачи, поведения пользователей и других параметров. Все делается быстро и качественно, без ввода капчи и неоправданно долгой работы с поисковой строкой Яндекса. Чем объемнее файл данных, тем меньше расхождений в XML-сведениях и результатах обычного поиска в интерфейсе.

Из полученного массива информации нужные сведения извлекаются специальным программным обеспечением – парсерами. Однако еще до парсинга в настройках Yandex.XML можно задать некоторые виды группировки и сортировки.

XML-сервис Яндекса удобен и для оперативного отслеживания позиций собственного сайта по конкретным запросам. Это способ мгновенно оценить результат работы по поисковой оптимизации.

Парсинг данных XML

При должном знании языков программирования парсер (настроенный на конкретные задачи) можно создать самостоятельно. Рекомендуется начать работу с библиотек на PHP:

1. PHP Simple HTML DOM Parser. Развернутая документация и понятный FAQ, много настроек и функций, удобство использования.
2. PHPQuery. Парсинг на
3. Nokogiri. Компактная библиотека на 150 строк с хорошим функционалом.

Для сторонников автоматизации есть известные программы с опцией парсинга:

1. Key Collector. Популярная в SEO-среде утилита для съема позиций, сбора семантики и других ключевых целей. Полная инструкция по настройке. Программа платная (стоимость лицензии – 1400-1800 р.).
2. KeyAssort. ПО для работы с СЯ, группировки и кластеризации выдачи. Стоимость – от 1990 р. Есть демо-доступ.
3. Zennoposter. Профессиональный инструмент автоматизации и парсинга. Позволяет легко определять витальные запросы. Цена программы – 3470 р.
4. Serphunt.ru – платный сервис, позволяющий в счет переданных ему лимитов бесплатно проверять позиции своего сайта.

Алгоритм настройки сервиса

Чтобы начать пользоваться Yandex.XML, необходимо:

1. Авторизоваться в Яндексе и перейти в панель настроек Yandex.XML.
2. Заполнить основные и дополнительные поля (IP, с которого пойдут запросы; согласие с лицензионным соглашением; опции поиска и сортировки). Яндекс.XML дает доступ к русскому, турецкому и мировому типам поиска.

1. Перейти в раздел «Тест», указать параметры, получить конечный запрос и испытать его на практике (вставить в адресную строку браузера).

• Get-запросы передают данные URL через ссылки (как блок «имя-значение).

• POST-запросы формирует данные в теле.

1. Создать страницу yandex.php в папке на хостинге. С помощью разметки HTML сформировать форму с полями и кнопкой для выбора региона и ввода словосочетания для поиска.
2. В созданную папку залить файл парсера.
3. Создать еще одну страницу – yandex.result.php.
4. Открыть yandex.php через адресную строку, заполнить поля и нажать кнопку «Отправить». Появится готовый XML-файл

8.Использовать парсер для извлечения требуемых данных.

XML Лимиты

Yandex.XML работает по принципу лимитирования запросов. Яндекс ввел лимиты как замену капче.

Число лимитов равно количеству допустимых запросов в день. 100 лимитов – возможность снять позиции по 100 запросам.

Количество выданных Яндексом лимитов можно посмотреть в соответствующем разделе.

Если сайтом управляют несколько авторизованных пользователей, лимиты выдаются первому человеку в списке. Ресурс должен быть зарегистрирован в Яндекс.Вебмастере.

1. Число лимитов Yandex.XML постоянно обновляется.
2. Возможны ограничения на запросы в часы-пик.
3. Лимиты можно передать другому человеку.
4. Для каждого сайта рассчитывается индивидуальное количество лимитов.
5. Одна учетная запись «прикрепляется» к одному IP-адрес.

Система защищает серверы от бесконечных запросов веб-мастеров и роботов («железным пользователям» Yandex.XML вместо ответа направляется капча). Для живых людей введены суточные и временные модели ограничений.

Открытой и понятной формулы суточного расчета Яндекс не предлагает. Ни от ИКС, ни от показателей трастовости количество напрямую не зависит (обратное не доказано).

Временная формула проста: чем больше загруженность серверов в конкретный час, тем меньше лимитов выдается веб-мастеру. Посмотреть актуальные данные по ограничениям можно на вкладке Yandex.XML «Лимиты».

Продажа и передача лимитов

Невостребованные лимиты можно передать другому специалисту или реализовать на специальных площадках обмена – XML-биржах. Сервисы предлагают посредничество за процент от сделки. Конвертируются «баллы XML» в средства, другие типы полезных инструментов и так далее. Доход от продажи минимален, но держать информацию в уме полезно. В условиях постоянного кризиса 1000 рублей лишней для веб-мастера не будет.

Важно: де-юре Яндекс не запрещает проводить операции с лимитами. В 2013 году руководитель отдела поиска Яндекса Александр Садовский назвал деятельность по продаже легальной. Де-факто на разных этапах развития Yandex.XML возможности передачи и торговли отключались для коммерческих сайтов столичного региона. Совершайте сделки вне проверенных площадок на свой страх и риск, остерегайтесь мошенников.

XML для поиска

Яндекс дает желающим доступ к специальному инструменту для формирования поискового модуля по собственному сайту (Яндекс.Поиск для сайта), но энтузиасты и программисты применяют для этих целей и XML-сервис. Если познания в PHP, ASP.NET или Peri высоки, Yandex.XML может быть полезен.

Валидация XML-файлов

Если вы выбрали формат POST-запросов, Яндекс рекомендует провести проверку во время тестирования. Так можно избежать неправильной обработки запросов в процессе дальнейшей работы и формирования неверных выводов.

Пройти валидацию можно в специальной панели Яндекс.Вебмастера (https://webmaster.yandex.ru/tools/xml-validator/).

Анализ ошибок

При неверной обработке запросов сервер представляет ответ с кодом ошибки. Воспользуйтесь расшифровкой в таблице Яндекс.XML, чтобы устранить проблемы для корректной работы сервиса.

Источник

Используем Яндекс.XML на примере парсера сниппета поисковой системы Яндекс

Что такое Яндекс.XML

Яндекс.XML — сервис, позволяющий отправлять запросы к поисковой базе Яндекса и получать ответы в формате XML.

Полезные ссылки :

Сервис является бесплатным и позволяет:

• организовать поиск по сайту или порталу;
• создать приложение, которое использует возможности поиска, например — определение позиций вашего сайта, анализ поисковой выдачи и тд.

Для того чтобы воспользоваться сервисом Яндекс.XML необходимо перейти по адресу: https://passport.yandex.ru/auth?mode=auth&retpath=https%3A%2F%2Fxml.yandex.ru%2Fsettings%2F и ввести в форме авторизации данные вашей учетной записи в поисковой системе, проще говоря — доступы от почтового ящика. После авторизации, вы окажитесь в разделе «Настройка».

Интерфейс сервиса интуитивно понятен и вам не составит труда разобраться в нём. Обратите внимание на пункт «URL для запросов». В нем вы можете увидеть следующие параметры:

• «user» — имя пользователя, которые вы ввели при авторизации;
• «key» — система автоматически сгенерирует этот параметр.

Каждый раз при отправке запросов, вам необходимо будет указывать эти параметры.

Поле «Основной IP-адрес» — вводим IP, с которого будут отправляться запросы. Например: IP-адрес домена сайта.

Яндекс.XML предоставляет доступы к трем типам поиска:

В отличие от прямого парсинга страницы поиска, Яндекс.XML предотвращает различные запреты поисковой системы в виде капчи, но существуют лимиты на запросы.

Яндекс.XML лимиты

Лимит Яндекс.XML — ограничение на количество запросов к базе поисковой системы. Каждому подтвержденному в вебмастере сайту поисковая система выделяет определенное количество лимитов, это число зависит от качества сайта.

Обращаем ваше внимание, если право на управление сайтом подтвердили несколько пользователей, лимиты получает только первый владелец сайта.

Перейдем в раздел «Лимиты». Здесь можно увидеть общее количество лимитов в день, а также количество лимитов по подтвержденным сайтам.

Также существует ограничение по количеству отправляемых запросов в сутки. Внизу страницы представлена диаграмма, в которой указано количество лимитов, которое можно потратить каждый час.

Как пользоваться Яндекс.XML: парсер поисковой выдачи Яндекс

Каждый день SEO-специалист анализирует большой объем информации с совершенно разных источников: это могут быть как сайты конкурентов, так и результаты выдачи поисковых систем и тд. Использование Яндекс.XML в своей работе может значительно упростить процесс анализа выдачи.

Для того чтобы понять принципы использования Яндекс.XML на практике мы реализуем простое и популярное приложение «Парсер подсветок сниппета», но помните — все зависит от ваших целей, поэтому анализировать выдачу можно по совершенно различным критериям.

Для реализации парсера (кроме Яндекс.XML и основ знаний по языку PHP) необходимо будет скачать библиотеку PHP Simple HTML DOM Parser. А также нам нужен домен и место на хостинге, на котором будут хранится файлы скриптов. И так, приступим.

Этап 1. Яндекс.XML: настройка

Сначала пройдите авторизацию. Для этого переходим в сервис xml.yandex.ru, нажимаем на кнопку «Начать работу» и вводим свои доступы.

Переходим в раздел «Настройки». В поле «Основной IP-адрес» вводим IP сайта с которого будут отправляться запросы, поле «Тип поиска» выбираем «русский», ставим галочку «Я принимаю условия Лицензионного соглашения» и нажимаем на кнопку «Сохранить».

2 Этап. Формирование тестового запроса

Переходим в раздел «Тестовый запрос». Формируем значения параметров и получаем конечный запрос.

В примере, мы будем использовать запрос вида: https://yandex.ru/search/xml?user=Login&key=Api-key&query=Test&lr=193

• Login — имя пользователя;
• Api-key—API-ключ;
• Test— текст поискового запроса;
• Идентификатор страны/региона поиска — по умолчанию будем использовать 193 (Воронеж).

Сформированный запрос уже можно использовать, для этого достаточно вставить его в строку браузера. Кстати, если воспользоваться данным запросом с другого IP, мы получим следующий результат:

Этап 3. Создание страницы

В папке на вашем хостинге создаем страницу (yandex.php). Для удобства пользования предусмотрим 2 поля:

• поля ввода поискового запроса;
• список для выбора региона поиска (в нашем случае их два: Москва и Воронеж).

Код страницы, который можно просто скопировать:

Этап 3. Подключение парсера

Далее в эту папку необходимо закинуть файл парсера (simple_html_dom.php), а также создать вторую страницу(yandex-result.php), ниже приложен код с комментариями (надеюсь, вопросов не возникнет).

Код страницы, который можно просто скопировать:

Этап 3. Результат

В итоге на хостинге в папке должны находиться следующие файлы:

Далее обращается к файлу на вашем хостинге с именем yandex.php, вводим необходимый поисковой запрос и выбираем регион:

После нажатия на кнопку «Отправить», в текстовом поле отобразиться результат поисковой выдачи только в формате XML:

Если мы проанализируем полученный результат мы увидим, что:

• ссылка на сайт содержится в тегах ;
• заголовок сниппета содержится в теге ;
• описание сниппета содержится в теге

;

а необходимые нам слова из подсветок содержаться в теге .

И вот теперь нам нужен парсер, который поможет получить необходимые нам значения из этих тегов. Дописываем код на нашей странице (yandex-result.php), которая будет парсить только слова в тегах .

Код страницы, который можно просто скопировать:

Вновь запускаем страницу yandex.php с теми же параметрами:

Теперь мы можем считать, что результат достигнут, мы реализовали с вами «Парсер подсветок в поисковой системе Яндекс». Для ленивых прикладываю архив со скриптами (скачать бесплатно).

Для того чтобы улучшить результат, можно привести слова к начальной форме с помощью алгоритма phpMorphy , а также исключить повторяющиеся слова.

Источник