Используя WebHarvy, вы можете легко извлекать текст, HTML, изображения, URL-адреса и электронные письма с любого веб-сайта и сохранять полученные данные в различных форматах.

Возможности WebHarvy​

Невероятно прост в использовании. WebHarvy может собирать данные с любого веб-сайта, обрабатывать вход в систему, отправку форм, навигацию, нумерацию страниц, категории и ключевые слова. Поддерживает прокси и парсинг по расписанию.

Легкий просмотр веб-страниц​

Web Scraping легко с помощью интерфейса WebHarvy «укажи и щелкни». Нет необходимости писать код или скрипты для сбора данных. Вы будете использовать встроенный браузер WebHarvy для загрузки и навигации по веб-сайтам, и вы можете выбирать данные для очистки с помощью щелчков мыши.

Интеллектуальное обнаружение шаблонов​

WebHarvy автоматически определяет шаблоны данных, встречающихся на веб-страницах. Для извлечения списка или таблицы элементов (имя, адрес, адрес электронной почты, цена и т. д.) с веб-страницы дополнительная настройка не требуется. Если данные повторяются, WebHarvy автоматически очищает их.

Сохранить в файл или базу данных​

Собранные данные могут быть сохранены в различных форматах. Текущая версия программного обеспечения WebHarvy Web Scraping позволяет сохранять очищенные данные в виде файлов Excel, XML, CSV, JSON или TSV. Вы также можете экспортировать данные в базу данных SQL.

Обработка нумерации страниц​

Часто веб-сайты отображают данные, такие как списки продуктов или результаты поиска, на нескольких страницах. WebHarvy может автоматически сканировать и очищать данные с нескольких страниц. Просто укажите «ссылку на следующую страницу», и WebHarvy автоматически соберет данные со всех страниц.

Отправить ключевые слова​

Извлекайте данные, автоматически отправляя список входных ключевых слов в формы поиска. Любое количество входных ключевых слов может быть отправлено в несколько текстовых полей ввода для выполнения поиска. Данные из результатов поиска для всех комбинаций входных ключевых слов могут быть извлечены.

Защита конфиденциальности​

Чтобы очистить данные анонимно и предотвратить блокировку программного обеспечения веб-очистки веб-серверами, у вас есть возможность доступа к целевым веб-сайтам через прокси-серверы или VPN. Можно использовать либо один прокси-сервер, либо список прокси-серверов.

Категория Скрапинг​

WebHarvy позволяет собирать данные из списка ссылок, ведущих на похожие страницы/списки на веб-сайте. Это позволяет вам очищать категории и подкатегории на веб-сайтах, используя единую конфигурацию.

Обычные выражения​

Регулярные выражения (RegEx) можно применять к текстовому или HTML-источнику веб-страниц для извлечения соответствующей части. Этот мощный метод предлагает вам больше гибкости и контроля при очистке данных.

Поддержка JavaScript​

Запустите свой собственный код JavaScript в браузере перед парсингом данных. Это можно использовать для взаимодействия с элементами страницы, изменения DOM или вызова функций JavaScript, уже реализованных на целевой странице.

Очистка изображения​

Изображения могут быть загружены или URL-адреса изображений могут быть очищены. WebHarvy может автоматически очищать несколько изображений, отображаемых на страницах сведений о продукте на веб-сайтах электронной коммерции.

Автоматизируйте задачи браузера​

WebHarvy можно легко настроить для выполнения таких задач, как переход по ссылкам , выбор параметров списка/раскрывающегося списка , ввод текста в поле , прокрутка страницы , открытие всплывающих окон и т. д.
Стоимость - 699$
FREE download for ForumManager