Обновление в связи с изменением в выдаче yahoo site explorer’а. Обновить можно из админки клиента, заменив папку system/explorer.
Добавлена возможность парсинга запросов через google по разным языкам - параметр lr, например: http://www.google.com/ie?q=test&start=0&num=100&hl=en&lr=lang_de.
Для этого используется макрос !lang! который нужно вставить в доп. запросы (subqueries), маскa запроса в настройках модуля, а 36 языков в файле system/google/lang.txt. В отсутствие макроса используется 1 язык - english.
Добавлен новый модуль парсинга Яндекса - www.yandex.ru, все стандартные функции модуля при нем.
Цена нового модуля - 15$.
Live изменил чуть выдачу, в связи с этим - обновление. А так же небольшое обновление самого парсера.
Готово новое обновление, которое затронуло основной модуль парсинга, проксичекер и модуль PR.
Общая оптимизация скрипта. Сделаны изменения в основном модуле, которые позволят увеличить скорость парсинга с использованием прокси, а так же отсев “вечно забаненных запросов“ для гуглa.
Обновлен проксичекер, скорость его увеличена, например, 17k прокси прочекано за 12 минут (таймаут 10 секунд)
Модуль PR так же оптимизирован и позволяет проверять pagerank не самой страницы а домена, а так же сделан вывод результатов в CSV файл.
Новые скидки для покупателей парсера aura proff! Скидку 15% получают все владельцы лицензий на A-Poster =) В свою очередь, у кого есть парсер получают скидку на A-Poster 20$.
Введена поддержка прокси с авторизацией, их нужно использовать точно так же как и обычные. Формат: login:pass@ip:port, обычные прокси по прежнему в дейставии)
Закончено очередное обновление парсера :)
1. Введены подробные настройки для каждого модуля фильтрации и парсинга.
2. Проверка PR возможна с прокси, введены соответствующие настройки.
3. Обновлен скрипт сбора прокси, теперь он может работать с очень большим количеством прокси.
4. Установщик скрипта стал более гибок и универсален.
Готовится большое обновление, изменения коснуться парсинга, а так же будет создан новый модуль Trust - траст чекер.
Готово первое обновление парсера.
Основные изменения
- Увеличилась “интеллектуальность” парсинга: скрипт в процессе работы определяет перспективность запросов, например, если по запросу blabla нет результатов, то и их и не будет на blabla site:com; более глубоко распознает ответы поисковиков, что помогает ускорить парсинг.
- В связи с этим - более подробное логирование, а так же конечный анализ парсинга, где определяется скорость, качество запросов и эффективность прокси.
- По окончанию процесса как парсинга, так и фильтрации, скрипт посылает оповещение на e-mail (это и было в первой версии, но не было упомянуто)
- Модуль Scan был существенно обновлен: теперь скрипт может проследовать по ссылкам на странице, и, если новые страницы подходят по критерию поиска - добавить их; критерий отбора ссылок для изучения задается регулярным выражением, что в совокупности дает отличный инструмент для поиска чего либо на сайте, например форм.
- В панели управления добавлены инструменты для работы с файлами, такие как соединение, разделение, уникализация файлов, удаление по подмаске и др.
- Исправлены недочеты, обновлен установщик.
Так же появился новый модуль/бонус: Snipets - он собирает первые 100 снипетов у гугла по запросу; модуль бесплатный, для тех у кого есть модуль Google.
Обновление доступно клиентам: для получении новой версии нужно нажать большую серую кнопку Download в зоне для клиентов