Готово новое обновление, которое затронуло основной модуль парсинга, проксичекер и модуль PR.
Общая оптимизация скрипта. Сделаны изменения в основном модуле, которые позволят увеличить скорость парсинга с использованием прокси, а так же отсев “вечно забаненных запросов“ для гуглa.
Обновлен проксичекер, скорость его увеличена, например, 17k прокси прочекано за 12 минут (таймаут 10 секунд)
Модуль PR так же оптимизирован и позволяет проверять pagerank не самой страницы а домена, а так же сделан вывод результатов в CSV файл.