Content Downloader — универсальный парсер контента
Content Downloader — это универсальный парсер контента с сайтов. С помощью программы вы можете получать, структурировать и обрабатывать практически любую информацию из открытых источников.
- Купить программу можно на сайте разработчика sbfactory.ru
- Задать вопросы можно на форуме пользователей.
- Найти инструкции можно в системе помощи Content DownLoader.
- Видео с реальными примерами парсинга можно найти на канале автора программы.
Если нет желания или времени вникать и разбираться, вы можете заказать настройку проекта Content DownLoader .
Описание программы Content Downloader
Порядок работы, описание основных разделов и функций программы, а также видео ролики, которые помогут понять суть работы с этими разделами.
- Сбор ссылок всех целевых страниц
Первое, что нужно сделать, собрать адреса всех целевых страниц — карточек товаров или статей, исключив рубрики и страницы «о сайте», «контакты» и т.п. Делаем это во вкладке программы «Ссылки» (справка).
Есть несколько способов сбора ссылок:
Загрузить ссылки карты сайта. Если у сайта есть карта сайта для роботов — sitemap.xml, которая обновляется и содержит ссылки на все страницы сайта, добавьте её адрес и программа сама соберёт все ссылки.
Название карты может быть любым и отличаться от sitemap.xml. Загляните в файл robots.txt, как правило, там указан адрес актуальной карты сайта для роботов.
Генерировать ссылки. Если у страниц понятная структура, например, содержащая порядковые номера (id) страниц или товаров, то можно задать шаблон и сгенерировать все возможные варианты.
Сканер сайтов. Настройте фильтрацию ссылок, указав какие ссылки включать, а какие не нужно. Запустите сканер и программа соберёт все ссылки.
Отфильтровать ссылки на целевые страницы лучше сразу, но можно это сделать после загрузки кликнув правой кнопкой в окне ссылками и выбрав пункт «Настроить фильтр», а затем «применить фильтры».
Настройка границ парсинга
В программе есть 20 обычных границ и 5 повторяющихся границ. Использовать можно повторяющие внутри обычных и наоборот.
Повторяющие границы нужны для сбора элементов, которые имеют одинаковый код. Например, парсинг картинок в галереи, строк или ячеек таблицы, списков характеристик.
Шаблон вывода контента
Здесь, Вы сможете настроить вывод/запись спарсенных блоков контента в определённой последовательности. Например, сначала вывести 5-ый блок, потом 3-й, а потом первый. Можно добавлять в шаблон произвольные слова и теги.
Загрузка и обработка картинок
Для загрузки картинок и других файлов на диск используется макрос DOWNLOADFILE, в который нужно поместить абсолютную или относительную ссылку на файл (справка).
Для вызова настройки макроса DOWNLOADFILE: SHIFT+CTRL+L
Вызов настройки обработки картинок: shift+ctrl+i
Модуль программы, который поможет обработать и импортировать контент в популярные CMS.
Редактор CSV файлов
Инструмент поможет редактировать csv файлы.
Функция html to txt
Функция позволяет очищать текст от html-тегов. Задать использование этой функции можно отдельно для каждой границы парсинга.
Настройка функции html to txt.
Здесь можно указать время и периодичность запуска парсинга сохранённых проектов.
Работа с прокси
Для парсинга можно использовать прокси. Программа имеет свой встроенный прокси чекер, который после загрузки прокси проверит их и удалит мёртвые. Также Вы можете указать, использовать прокси или нет, и если использовать, то при сканировании сайтов или при парсинге контента.
Готовые проекты Content Downloader
На форуме можно найти готовые проекты парсинга некоторых сайтов и заготовки для парсинга популярных CMS.
Страница обновляется. Здесь представлена подборка ссылок на инструкции и видео, которые помогут в освоении программы.
Если есть вопросы, на которые не требуется быстрый ответ, можете спрашивать в комментариях, но лучше это делать на форуме пользователей по ссылке выше.
Описаны не все возможности и функции программы. Пост редактируется и дополняется.
Источник
Content Downloader X1 – универсальный парсер сайтов
Если интернет – ваша работа, то Content Downloader должен стать вашими руками ©
Для получения консультаций, для заказа готовых проектов настроек по сбору товаров с интернет-магазинов или любой другой информации с сайтов напишите по Whatsap/Telegram +79833813211 (Сергей).
Парсинг в любые интернет-магазины
Возможность парсить практически все сайты
Также есть возможность использовать для парсинга браузер на основе Chromium, обернутый в нашу оболочку WBAppCEF (клик для справки). При парсинге браузер выполняет все скрипты на WEB страницах + можно эмулировать действия пользователя на WEB страницах (клики, прокрутку, вставка текста и прочее).
Множество функций и макросов для обработки данных при парсинге
Срок действия ключа универсального парсера сайтов не ограничен по времени
При покупке Content Downloader вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года или бессрочно в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)
ключ придет в течение 30 минут, максимум – 8 часов с момента оплаты
Просто оплатите нужную сумму на один из указанных ниже реквизитов и отправьте нам письмо на e-mail sbfroot@gmail.com с информацией об оплате (сумма и с какого счета/кошелька оплатили). Также желательно в примечании к переводу указать вашу почту.
- Яндекс счет 41001648375948
- QIWI +79833813211
- PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты), сумма оплаты через PayPal на 6% больше!
- Перевод на карту VISA 4276 3000 5405 7792 ( Сбербанк , Зайковский Сергей Владимирович)
СПАСИБО!
Standard: Оптимальный выбор (можно устанавливать до 20 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления
ULTIMATE: Лучший выбор, открыты все возможности! (можно устанавливать до 50 потоков при парсинге контента и до 200 потоков при сканировании сайта)
+ WBApp (имитация кликов по кнопкам WEB-страниц, прокрутка WEB-страниц вниз и многое другое)
+ Мощные макросы парсинга таблиц характеристик товаров
+ 2 года подписки на обновления!
Под потоками понимается одновременное количество параллельных запросов к сайту при парсинге.
При покупке программы вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)
Обращаем ваше внимание на то, что в стоимость Content Downloader не включены услуги по его настройке! Вы можете самостоятельно изучить программу, используя имеющиеся на сайте материалы системы помощи (http://sbfactory.ru/cd/). В обязанности технической поддержки входит только решение проблем активации программы! Ответы на остальные вопросы даются на наше усмотрение!
Также у специалистов по настройке вы можете заказать следующие платные услуги:
– Настройку парсера сайтов под определенный ресурс (или ресурсы);
– Персональное обучение работе с программой;
– Доработку ваших проектов.
Подчеркиваем, что мы не отвечаем за работу специалистов по настройке (так как это фрилансеры). Но мы давно и тесно с ними сотрудничаем, контролируем их деятельность и принимаем от вас любые комментарии по их работе.
После покупки ключа универсального парсера сайтов вы обязаны хранить его! Настоятельно рекомендуем записать код активации (ключ) и e-mail адрес (с которым вы его активировали) в “блокнот из бумаги”. Как показывает практика, это бывает очень полезно!
Одна программа для сбора любой информации с любых сайтов (весьма сильно). Да, она может показаться сложноватой в освоении, но зато какие большие возможости
2) Продукт, который развивается более 10 лет
Если ознакомиться с логом доработок (смотрите выше) станет понятно, сколько сил и труда вложено в универсальный парсер сайтов
3) Честный и полностью контролируемый универсальный парсер
Вы получаете полный контроль на каждом этапе. При сборе ссылок, парсинге и обработке контента, при публикации данных. Вы полностью управляете процессом и это позволяет делать уникальное
4) Серьезные технологии
Помимо оптимизированных многопоточных функций в Content Downloader используются достойные компоненты. Например, коммерческая библиотека для выполнения запросов Clever Internet Suite (позволяет делать запросы к любым сайтам и имеет очень большой функционал). Также в программе используется современный движок браузера Chromium (с ним можно парсить сайты, где обычные GET или POST запросы не справятся, также можно автоматизировать действия пользователя в браузере)
5) Лояльная цена
От 2000 до 5000 рублей (в зависимости от типа лицензии). Полностью функциональная версия за 3000 рублей
Есть вопрос – мы постараемся ответить на форуме. Хотите полностью настроенный проект – мы сделаем за подобающую стоимость
7) Развитая и полноценная справка
Обратите внимание на систему помощи, сколько в ней описано различных возможностей (ссылка справа в сайдбаре)
Пожалуйста, посмотрите демонстрационное видео универсального парсера сайтов (не забыв выбрать качество HD в плеере):
Описание универсального парсера сайтов Content Downloader
Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых сайтов (где это вообще возможно)
Content Downloader может применяться для:
– Парсинга товаров интернет-магазина в таблицу CSV (с любым требуемым набором столбцов на выходе)
– Парсинга статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов) в txt или htm форматы
– Парсинга телефонных номеров, e-mail адресов или любой другой контактной информации (в CSV, txt или html, как вам угодно)
– Парсинга скрытой информации, доступной только после клика, например, на кнопку “показать номер” или “показать контактные данные” (для этого требуется тип лицензии ULTIMATE, включающий в себя приложение WBApp, которое и будет имитировать клики по кнопкам)
– Парсинга скрытой информации, доступной после авторизации;
– Парсинга любых, удовлетворяющих заданным фильтрам, ссылок с сайта (до 1 миллиона)
– Парсинга любых частей кода WEB-документов и их вывод в нужном для вас формате
– Парсинга XML-карт сайтов
Парсер сайтов является универсальным! Перечислять полный список его областей применений можно очень долго, так как он ограничен лишь воображением…
Принцип работы Content Downloader очень удобен, эффективен и прост: вы указываете программе (в HTML-коде страницы), с каких частей веб-страниц брать данные, и в каком формате их выводить. Если вы хотите ознакомиться с этим более детально – пожалуйста кликните сюда.
Некоторые дополнительные возможности универсального парсера сайтов:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси (в том числе и SOCKS с авторизацией)
– Возможность задавать паузу между запросами и изменять количество потоков
– Возможность обработки данных непосредственно в процессе парсинга
– Загрузка файлов и картинок на ваш FTP-сервер прямо при парсинге контента
– Автоматическая загрузка результирующего CSV-файла на FTP-сервер после процедуры парсинга контента
– Возможность парсить разом огромное количество характеристик товаров (только для ULTIMATE-версий)
– Возможность отправки данных в базу MySQL сразу при парсинге
– Возможность подключения собственных PHP-скриптов для обработки данных при парсинге контента
– Возможность парсить через Internet Explorer (DOM) (с поддержкой выполнения различных скриптов);
Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми заданными столбцами), htm, txt, php, MySQL
Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM
Также в универсальном парсере сайтов Content Downloader есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.
С уважением к вам, администрация сайта…
PS: В тексте часто используется словосочетание универсальный парсер сайтов для определенных целей. Надеемся на ваше понимание. Спасибо!
Источник