Чтобы вывести в консоль заголовки можно использовать NODE_DEBUG=request node r01.js . Команда выглядит необычно, второй вариант NODE_DEBUG=response ... Эта опция дожна рвботать с любым модулем (?).
Показаны сообщения с ярлыком request. Показать все сообщения
Показаны сообщения с ярлыком request. Показать все сообщения
среда, 27 мая 2015 г.
воскресенье, 24 мая 2015 г.
Посмотрел "Web Scraping in Node.js" by Smitha Milli и скопировал сюда код из видео
А как парсить HTML страницы с Nodejs? Это вопрос не давал покоя. Здесь базовые видео Web Scraping in Node.js by Smitha Milli и ссылка на библиотеки. Идея с использованием nodejs + Request + Cheerio зацепила. Особенно после того, как в книге (Бибо, Каца) jQuery я обнаружил тот же код, что и в видео.
вторник, 3 июня 2014 г.
Готовимся к проверке кода для ротирования списка словарей "Python Requests And Proxies"
Объект Requests (см. Python Requests And Proxies) позволяет создать словарь прокси-серверов по типам(http,https,ftp), если в запросе requests.get(url, proxies=proxy) указать ссылку на словарь (proxy), то, в зависимости от типа url запроса подключится тот или иной прокси. А если сформировать список словарей, то его можно ротировать и подключать разные прокси. Здесь есть соответсвующие примеры кода, ссылки на сервисы hidemyass, whatismyproxy. Все готово к проверке кода.
Подписаться на:
Сообщения (Atom)