Планируем дальнейшие действия (Сегодня 24 мая 2014)

Здесь собраны очень хорошие ссылки на urllib (штук 5), 77 videos Python Tutorials, scrapy CSVFeedSpider ... По сути, темы разные, и я решил порассуждать о планах дальнейшей работы.

Пора начинать планировать! Уровень моих знаний уже достиг высот студента-троечника, обучающегося программированию. Знаю я по-прежнему очень мало, но о многом слышал... и даже кое-что запомнил. А значит, можно попробовать расставить приоритеты.

Проблемы, которые на самом деле называютcя "Infrastructure supporting"

Моя борьба за обновление дистрибутива. Nbconvert -> PanDoc -> pip -> Ipython -> Tornado... Копипаст из консоли. Так как же следить за обновленияями?

Казалось бы, вопрос о том, как "ухаживать" за своей сборкой Linux я давно решил. Берешь чужую сборку типа "ScyLinux" или "Kali" вместо "Centos" или "Debian".

RetryChangeProxyMiddleware... Можно переключать IP в Tor с помощью Python telnetlib

Здесь небольшой фрагмент кода для смены IP на основании данных ответа в Telnet. Автор вопроса использовал платный Proxy Mesh. Ему подали идею создавать новые запросы через Tor с помощью "переговоров" с Telnet... Идея понравилась, надо пробовать...

Идея о таком переключении "instance" в Tor понравилась, но была не очень понятна. Некоторое прояснение наступило после того, как прочитал в документации Scrapy о telnet console...

Продолжаю изучать randomproxy (но решаю, что начинать надо с простых примеров из документации Scrapy)

Попытки выполнить код по частям привели к выводу о том, что сначала надо бы прочитать всю документацию Scrapy. Там много работающих примеров. Я еще плохо знаю Python, поэтому надо разбирать работающий код с хорошей документацией, а не ломать голову над упражнениями неизвестных авторов.

Штатные серверы Python и немного о python-proxy-rotator

Здесь я начал было изучать файлы Python Proxy Rotator, потом нашел ссылки на документацию Python. При беглом знакомстве с объектами BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, SocketServer... завяз, но нашел видео "Create a simple custom HTTPServer with Python" и решил, что все это надо записать для будущего изучения.

Здесь распечатаны файлы к RandomProxy с пауком dmoz

Решил, что далее изучать Scrapy нужно с RandomProxy (найти ошибки, о которых я написал месяц назад), решил в этом посте все распечатать. А в следующем уже экспериментировать...

Первый удачный запуск связки proxychains+Tor

Как все это запустить? Проще не бывает, если конечно запускать из консоли, а не из notebook. Был у меня провереный паук Dmoz. Скопировал его (со всеми остальными скриптами в Kali). И запустил из папки "spiders" командой "proxychains scrapy crawl dmoz". Правда, сначала пришлось запустить Tor из папки с демонами "/etc/init.d/tor start".
Здесь же собраны ссылки на файлы с настройками Tor, Polipo (альтернатива?) и документацию к Telnet

Возвращаемся к изуению Scrapy. Начинаем с shell

Здесь 10-минутный ролик и ссылка на документацию. Лучше читать документацию. Все изложено кратко и понятно.

Обновление Kali и вопросы доустановки программ

Вторая установка дистрибутива на 16Г флешку прошла успешно. Поскольку делать это приходится нечасто, то время сэкономят инструкции, например такие, как найти программу для скринкаста. Если посчитать все время, которое я потратил на поиск таких программ...

Этот черновик я публикую на месяц позже. Сегодня я отказался от идеи - работать только с флешки. Оказалось, что установить Kali (Debian) как вторую OS очень просто. А тогда я еще не столкнулся с "тормозами" и надеялся на технологию "persistence"

Как я вспомнил об about:about и попробовал оценить распределение памяти Firefox

Здесь две темы. Первая возникла, когда я задумался над тем, как устроен кэш браузера. После того, как понаблюдал за непомерным трафиком Chrome. Чего он там читает и пишет? Здесь распечатка "information about the Cache Service"
А вторая тема - это список опций браузера about:about

Коммментарии к видео "Telnet client and server demonstration in Windows Vista and XP"

Решил освоить Telnet под Windows. Обнаружил помимо клиента еще и сервер. В 9-минутном видео показаны процессы установки и активации службы Server. Мониторинг подключения клиента к серверу (два компьютера в локальной сети с помощью Wireshark.

Комментарии к cmd net и видео "Basics of ipconfig, ping, tracert, nslookup, and netstat "

В первом видеоролике "How to configure networking for Windows XP and Vista" показано, как найти настройки IP адресов для компьютеров XP, Vista, 7... Материал известный, потому я добавил второе вдиео, так что здесь справки по всем этим "сетевым" cmd-командам.

Справочное руководство Nmap Man Page (есть ссылки на русский перевод)

Сканировать хосты и порты - все подряд. Дело трудоемкое, но выполнимое, если использовать Nmap. Я увидел действие этой утилиты в ролике про Proxychains... и решил разместить здесь ссылки и краткую справку.

Как запустить Proxychains and Tor и посмотреть на это в Telnet и w3m

Видео "Kail Linux : T0r And Proxychains" я понял не сразу, а после того, как проосмотрел похожие... Proxychains может обойтись двумя ссылками на socks4 spcks5 TOR. Здесь только два ролика, а еще небольшие фрагманты справки по Telnet и w3m. В первом ролике показано, как Nmap сканирует порты..., впечатляет.

Видео про sockets Python c WireShark и Scapy

Запсиси при просмотре 60-минутного видео. Месяц назад мне понравилось видео для хакеров про сокеты. Этот пост - продолжение поста, в который я загрузил код сервера и клиента. Я вернулся к этому практикуму после того, как прочитал про объект "Socket"...
В конце ролика отличные примеры работы со Scapy.

Today I`m learning "Socket Programming HOWTO" and improve my English

I have read Socket programming Python Docs... There are two objects in Python 2.7 I insert to this post helpl(socket) and Soxypy readme.txt
There are 7 links here ...and huge help(socket) file... and SocksiPy link and readme.txt ... And the question "Who use the SocketServer object" is still a charade for me...

Sphinx - три отличные ссылки и два посредственных видео

Sphinx - это фреймворк для создания статичных сайтов. Его используют не только для создания мануалов с фрагментами кода, но и для написания книг. Я давно ищу варианты не только для книг, но и для совместных исследований... Здесь можно использовать простые текстовые шаблоны страниц... и много чего еще...

По мотивам ролика "Python tutorial: How to use Pydoc"

Берет комментарии из кода и "pydoc - Generate Python documentation in HTML or text for interactive use". Можно распечатать документацию из командной строки, а можно из консоли. Об этом видеоролик. Я и распечатал здесь help(pydoc)

Конспект: "Создаём своё первое приложение с Django, часть 1"

Выполняем команды мануала вслед за аторами. Отвлекаемся на %PYTHONPATH% (sys.path). Создаем первый сайт. Запускаем серврер... Но останавливаемся после создании базы данных для суперпользователя с паролем ... здесь есть напоминалки...
Зачем мне эти таблицы БД, если я еще не решил, чего хочу... Прежде, чем грызть Django, потратим пару дней на Pydoc и Sphinx (следующие посты)

Распечатаем справку и переменные среды из sys.path и Windows 8 (PATH, SET, SYSTEMINFO)

Процедура формирования переменных окружения Python - это песня акына на английском языке (os.py). Сначала я нашел (и скопировал сюда) все способы работы с переменными окружения Windows, а потом прочитал про то, что вытворяет Python, но начинать читаь лучше с "how sys.path is populated on Windows"... А примеры решений в ссылке "How to add to the pythonpath in windows 7?"

Мои попытки разобрать стек вызовов гибрида scrapy crawl dmoz (dmoz + randomproxy) вылились в упражнение с дебаггером

Здесь мы вставляем в разные модули "import pdb; pdb.set_trace()" и учимся разбирать чужой код. Конечно, хорошо бы проникнуть в замыслы автора, или, хотя бы, понять структуру папок... Но пока легко удается при помощи "where" только находить и просматривать модули стека. Но, чтобы понять принципы работы программы, логику...
Поскольку замыслами все довольно сложно, потому надо бы изучить правила для папок Django (которые многие используют)... может быть это поможет?

Скрипт для импорта RSSS c delicious.com и первые неудачные попытки вызывать его из модуля

Здесь я дублирую скрипт (patterns), который написал ранее. Почему эти десять десять строчек кода нужно каждый раз копировать и вставлять в ячейку? Проще запускать их из собственного модуля. Здесь я распечатываю манул по команде %run?, но последующая попытка запустить модуль оканчивается ошибкой. Спустя три дня (изучив PYTHONPATH) возвращаюсь к этой работе и пробую прописать переменные окружения... Но сначала надо прочитать %run? Некогда. Пост не дописан..., но публикую.

Код из RandomProxy выдает ошибку с пауком dmoz

В предыдущем посте я опубликовал сообщения из консоли при успешном запуске dmoz. Здесь мы добавим к этому работающему коду вставки от randomproxy (scrapy middleware), получим ошибки парсинга строк в модуле... и решим не реанимировать модуль, а посмотреть другие.

Запускаем пример паука Scrapy dmoz из "Crawling Scrapy Tutorial" все работает

Сюда я скопировал текст из консоли после выполнения команды "scrapy crawl dmoz". Дабы был пример, что видно в консоли в случае успешной работы. Сам паук находится у меня в компьютере W8 (C:). Далее начну с ним экспериментировать...

К статье "Python Packages and Environments with conda"

Второй раз сталкиваюсь с "A Virtual Environment", что это такое и зачем оно ? How to use Python virtualenv?
"...put simply, is an isolated working copy of Python which allows you to work on a specific project without worry of affecting other projects"
Оказывается, что для сборки Anaconda нужно использовать специальные команды утвновщика Conda

Пробую использовать "patterns" для импорта RSS в мои конспекты

Здесь пробуем, как patterns парсит delicious. Вариант скрипта работает, но "на коленке". Пока надо осмыслить, что можно (и нужно ли) делать с разовой загрузкой RSS в пост.
По крайней мере, теперь можно собирать ссылки с разных компьютеров, а потом вставлять подборки ссылок в посты.

Два файла "Random proxy middleware for Scrapy "

В проекте Scrapy структура папок стандартизирована. В нее можно добавить всего два файла для ротации текстового прокси-листа с сайта hidemyass.com Внизу ссылки и копипаст кода с GitHub

Ранее я опробовал комбайн Pyproxy (управление из командной строки, сбор адресов с десятков сайтов со списками формата IP:Port), а здесь более простой вариант.

Заметки при чтении главы "Modules" документации Python

Модули в Python - это файлы. Из модулей можно импортировать классы. Импорт сначала осуществляется из текущего модуля, а потом из подпапок. Если ничего не найдено, то из путей sys.path

Изучаем документацию к Scrapy, структуру папок и файлов на примере сакраментального паука 'dmoz' (dirboot)

Вчера я спозаранку решил просто "дочитать" документацию к Scrapy. Здесь хочу остановиться на двух "открытиях", которые помогли мне почувствовать, что я что-то понимаю. Первое - архитектура Scrapy engine, второе - структура папок проектов. Все файлы из папок собраны здесь.

Пробуем PyProxy - комбайн 2010 года для сбора и проверки адресов

Простой модуль Python. Надеюсь, что он работает. В любом случае, начинать надо с простых примеров. Скачать можно PyProxy здесь. ...pyproxy is a Proxy hunter and Tester a high-level cross-protocol proxy-hunter python library.