Поиск по блогу

Показаны сообщения с ярлыком dmoz. Показать все сообщения
Показаны сообщения с ярлыком dmoz. Показать все сообщения

четверг, 22 мая 2014 г.

Продолжаю изучать randomproxy (но решаю, что начинать надо с простых примеров из документации Scrapy)

Попытки выполнить код по частям привели к выводу о том, что сначала надо бы прочитать всю документацию Scrapy. Там много работающих примеров. Я еще плохо знаю Python, поэтому надо разбирать работающий код с хорошей документацией, а не ломать голову над упражнениями неизвестных авторов.

среда, 21 мая 2014 г.

Здесь распечатаны файлы к RandomProxy с пауком dmoz

Решил, что далее изучать Scrapy нужно с RandomProxy (найти ошибки, о которых я написал месяц назад), решил в этом посте все распечатать. А в следующем уже экспериментировать...

понедельник, 21 апреля 2014 г.

Изучаем документацию к Scrapy, структуру папок и файлов на примере сакраментального паука 'dmoz' (dirboot)

Вчера я спозаранку решил просто "дочитать" документацию к Scrapy. Здесь хочу остановиться на двух "открытиях", которые помогли мне почувствовать, что я что-то понимаю. Первое - архитектура Scrapy engine, второе - структура папок проектов. Все файлы из папок собраны здесь.