Готово первое обновление парсера.
Основные изменения
- Увеличилась “интеллектуальность” парсинга: скрипт в процессе работы определяет перспективность запросов, например, если по запросу blabla нет результатов, то и их и не будет на blabla site:com; более глубоко распознает ответы поисковиков, что помогает ускорить парсинг.
- В связи с этим - более подробное логирование, а так же конечный анализ парсинга, где определяется скорость, качество запросов и эффективность прокси.
- По окончанию процесса как парсинга, так и фильтрации, скрипт посылает оповещение на e-mail (это и было в первой версии, но не было упомянуто)
- Модуль Scan был существенно обновлен: теперь скрипт может проследовать по ссылкам на странице, и, если новые страницы подходят по критерию поиска - добавить их; критерий отбора ссылок для изучения задается регулярным выражением, что в совокупности дает отличный инструмент для поиска чего либо на сайте, например форм.
- В панели управления добавлены инструменты для работы с файлами, такие как соединение, разделение, уникализация файлов, удаление по подмаске и др.
- Исправлены недочеты, обновлен установщик.
Так же появился новый модуль/бонус: Snipets - он собирает первые 100 снипетов у гугла по запросу; модуль бесплатный, для тех у кого есть модуль Google.
Обновление доступно клиентам: для получении новой версии нужно нажать большую серую кнопку Download в зоне для клиентов 