Поиск по блогу

Показаны сообщения с ярлыком twisted. Показать все сообщения
Показаны сообщения с ярлыком twisted. Показать все сообщения

вторник, 14 октября 2014 г.

Читаю "Введение в асинхронное программирование и Twisted" ...чтобы понять Scrapy Request

Нашел перевод Введение в асинхронное программирование и Twisted отличного учебного пособия (с кодом на Github). Испытал серврер slowpoetry, из книги постарался запомгнить три важных понятия: асинхронная однопоточная модель, Reactor, Defferer

воскресенье, 12 октября 2014 г.

Ссылки из процесса поиска ПРОКСИ и изучения "DownloadHandler for scrapy that uses socksipy connections"

Я буду пробовать два варианта работы с прокси: 1) TOR - переключение сущностей, 2) Списки прокси... Здесь ссылки на страницы, котрые я не хотел закрывать в течение двух недель... Потом понял, что еще две недели руки до них не дойдут... Поэтому здесь есть и txsocksx, PySocks Github, и Twisted Core, и Socket Programming HOWTO, и telnetlib python example, github scrapy-examples,

пятница, 18 апреля 2014 г.

Первая попытка установить Portia оказалась неудачной. Пришлось отложить...

Не хочется тратить слишком много времени на задачи, которые пока плохо понятны. Заинтересовал пакет Portia ....использует Scrapy, Scrapely, Twisted... Все это надо изучать, потому попытался установить пакет, но не смог "сходу" разобраться с virtualenv... Ну и ладно, чтобы любопытство не стало пороком.... Отложил задачу до лучших времен. Может быть у них документация поприличней появится... или установщик нормальный напишут.