Mar 30

Закончено очередное обновление парсера :) 

1. Введены подробные настройки для каждого модуля фильтрации и парсинга.

2. Проверка PR возможна с прокси, введены соответствующие настройки.

3. Обновлен скрипт сбора прокси, теперь он может работать с очень большим количеством прокси.

4. Установщик скрипта стал более гибок и универсален.

Готовится большое обновление, изменения коснуться парсинга, а так же будет создан новый модуль Trust - траст чекер. 

Mar 6

Готово первое обновление парсера.

Основные изменения

  • Увеличилась “интеллектуальность” парсинга: скрипт в процессе работы определяет перспективность запросов, например, если по запросу blabla нет результатов, то и их и не будет на blabla site:com; более глубоко распознает ответы поисковиков, что помогает ускорить парсинг.
  • В связи с этим - более подробное логирование, а так же конечный анализ парсинга, где определяется скорость, качество запросов и эффективность прокси.
  • По окончанию процесса как парсинга, так и фильтрации, скрипт посылает оповещение на e-mail (это и было в первой версии, но не было упомянуто)
  • Модуль Scan был существенно обновлен: теперь скрипт может проследовать по ссылкам на странице, и, если новые страницы подходят по критерию поиска - добавить их;  критерий отбора ссылок для изучения задается регулярным выражением, что в совокупности дает отличный инструмент для поиска чего либо на сайте, например форм. 
  • В панели управления добавлены инструменты для работы с файлами, такие как соединение, разделение, уникализация файлов, удаление по подмаске и др.
  • Исправлены недочеты, обновлен установщик. 

Так же появился новый модуль/бонус: Snipets - он собирает первые 100 снипетов у гугла по запросу; модуль бесплатный, для тех у кого есть модуль Google. 

Обновление доступно клиентам: для получении новой версии нужно нажать большую серую кнопку Download в зоне для клиентов :)