Пример подключения proxy с urllib.urlopen выдал ошибку 403, пришлось задавать HTTP-заголовки с urllib2

Решил пробовать здесь код из видеоролика с urllib.urlopen('http://www.whatismyip.com/',proxies=proxy2) но получил в ответ ошибку 403, посмотрел еще 3 видео про urllib, пришел к выводу, что лучше использовать urlib2 - скопировал пример кода и загрузил страницу (но без прокси). В следующем посте продолжу экспериментировать с urllib2.headers.headers ... proxy и посмотрю видео

Ссылки на видео и код "[Python] Simple network Sniffer"

Понравилось все 6 роликов (но разрешение плохое)Python Simple network Sniffer. Здесь на всякий случай копирую исходный код, чтобы разобрать пример позже.
У этого же автора есть еще ролики Downloading and Parsing possibilities of Python. As an example website was taken http://xkcd.com/

Планируем дальнейшие действия (Сегодня 24 мая 2014)

Здесь собраны очень хорошие ссылки на urllib (штук 5), 77 videos Python Tutorials, scrapy CSVFeedSpider ... По сути, темы разные, и я решил порассуждать о планах дальнейшей работы.

Пора начинать планировать! Уровень моих знаний уже достиг высот студента-троечника, обучающегося программированию. Знаю я по-прежнему очень мало, но о многом слышал... и даже кое-что запомнил. А значит, можно попробовать расставить приоритеты.

Проблемы, которые на самом деле называютcя "Infrastructure supporting"

Моя борьба за обновление дистрибутива. Nbconvert -> PanDoc -> pip -> Ipython -> Tornado... Копипаст из консоли. Так как же следить за обновленияями?

Казалось бы, вопрос о том, как "ухаживать" за своей сборкой Linux я давно решил. Берешь чужую сборку типа "ScyLinux" или "Kali" вместо "Centos" или "Debian".

RetryChangeProxyMiddleware... Можно переключать IP в Tor с помощью Python telnetlib

Здесь небольшой фрагмент кода для смены IP на основании данных ответа в Telnet. Автор вопроса использовал платный Proxy Mesh. Ему подали идею создавать новые запросы через Tor с помощью "переговоров" с Telnet... Идея понравилась, надо пробовать...

Идея о таком переключении "instance" в Tor понравилась, но была не очень понятна. Некоторое прояснение наступило после того, как прочитал в документации Scrapy о telnet console...

Продолжаю изучать randomproxy (но решаю, что начинать надо с простых примеров из документации Scrapy)

Попытки выполнить код по частям привели к выводу о том, что сначала надо бы прочитать всю документацию Scrapy. Там много работающих примеров. Я еще плохо знаю Python, поэтому надо разбирать работающий код с хорошей документацией, а не ломать голову над упражнениями неизвестных авторов.

Штатные серверы Python и немного о python-proxy-rotator

Здесь я начал было изучать файлы Python Proxy Rotator, потом нашел ссылки на документацию Python. При беглом знакомстве с объектами BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, SocketServer... завяз, но нашел видео "Create a simple custom HTTPServer with Python" и решил, что все это надо записать для будущего изучения.

Здесь распечатаны файлы к RandomProxy с пауком dmoz

Решил, что далее изучать Scrapy нужно с RandomProxy (найти ошибки, о которых я написал месяц назад), решил в этом посте все распечатать. А в следующем уже экспериментировать...

Первый удачный запуск связки proxychains+Tor

Как все это запустить? Проще не бывает, если конечно запускать из консоли, а не из notebook. Был у меня провереный паук Dmoz. Скопировал его (со всеми остальными скриптами в Kali). И запустил из папки "spiders" командой "proxychains scrapy crawl dmoz". Правда, сначала пришлось запустить Tor из папки с демонами "/etc/init.d/tor start".
Здесь же собраны ссылки на файлы с настройками Tor, Polipo (альтернатива?) и документацию к Telnet

Возвращаемся к изуению Scrapy. Начинаем с shell

Здесь 10-минутный ролик и ссылка на документацию. Лучше читать документацию. Все изложено кратко и понятно.

Обновление Kali и вопросы доустановки программ

Вторая установка дистрибутива на 16Г флешку прошла успешно. Поскольку делать это приходится нечасто, то время сэкономят инструкции, например такие, как найти программу для скринкаста. Если посчитать все время, которое я потратил на поиск таких программ...

Этот черновик я публикую на месяц позже. Сегодня я отказался от идеи - работать только с флешки. Оказалось, что установить Kali (Debian) как вторую OS очень просто. А тогда я еще не столкнулся с "тормозами" и надеялся на технологию "persistence"

Как я вспомнил об about:about и попробовал оценить распределение памяти Firefox

Здесь две темы. Первая возникла, когда я задумался над тем, как устроен кэш браузера. После того, как понаблюдал за непомерным трафиком Chrome. Чего он там читает и пишет? Здесь распечатка "information about the Cache Service"
А вторая тема - это список опций браузера about:about

Коммментарии к видео "Telnet client and server demonstration in Windows Vista and XP"

Решил освоить Telnet под Windows. Обнаружил помимо клиента еще и сервер. В 9-минутном видео показаны процессы установки и активации службы Server. Мониторинг подключения клиента к серверу (два компьютера в локальной сети с помощью Wireshark.

Комментарии к cmd net и видео "Basics of ipconfig, ping, tracert, nslookup, and netstat "

В первом видеоролике "How to configure networking for Windows XP and Vista" показано, как найти настройки IP адресов для компьютеров XP, Vista, 7... Материал известный, потому я добавил второе вдиео, так что здесь справки по всем этим "сетевым" cmd-командам.

Справочное руководство Nmap Man Page (есть ссылки на русский перевод)

Сканировать хосты и порты - все подряд. Дело трудоемкое, но выполнимое, если использовать Nmap. Я увидел действие этой утилиты в ролике про Proxychains... и решил разместить здесь ссылки и краткую справку.

Как запустить Proxychains and Tor и посмотреть на это в Telnet и w3m

Видео "Kail Linux : T0r And Proxychains" я понял не сразу, а после того, как проосмотрел похожие... Proxychains может обойтись двумя ссылками на socks4 spcks5 TOR. Здесь только два ролика, а еще небольшие фрагманты справки по Telnet и w3m. В первом ролике показано, как Nmap сканирует порты..., впечатляет.

Видео про sockets Python c WireShark и Scapy

Запсиси при просмотре 60-минутного видео. Месяц назад мне понравилось видео для хакеров про сокеты. Этот пост - продолжение поста, в который я загрузил код сервера и клиента. Я вернулся к этому практикуму после того, как прочитал про объект "Socket"...
В конце ролика отличные примеры работы со Scapy.

Today I`m learning "Socket Programming HOWTO" and improve my English

I have read Socket programming Python Docs... There are two objects in Python 2.7 I insert to this post helpl(socket) and Soxypy readme.txt
There are 7 links here ...and huge help(socket) file... and SocksiPy link and readme.txt ... And the question "Who use the SocketServer object" is still a charade for me...

Sphinx - три отличные ссылки и два посредственных видео

Sphinx - это фреймворк для создания статичных сайтов. Его используют не только для создания мануалов с фрагментами кода, но и для написания книг. Я давно ищу варианты не только для книг, но и для совместных исследований... Здесь можно использовать простые текстовые шаблоны страниц... и много чего еще...

По мотивам ролика "Python tutorial: How to use Pydoc"

Берет комментарии из кода и "pydoc - Generate Python documentation in HTML or text for interactive use". Можно распечатать документацию из командной строки, а можно из консоли. Об этом видеоролик. Я и распечатал здесь help(pydoc)

Конспект: "Создаём своё первое приложение с Django, часть 1"

Выполняем команды мануала вслед за аторами. Отвлекаемся на %PYTHONPATH% (sys.path). Создаем первый сайт. Запускаем серврер... Но останавливаемся после создании базы данных для суперпользователя с паролем ... здесь есть напоминалки...
Зачем мне эти таблицы БД, если я еще не решил, чего хочу... Прежде, чем грызть Django, потратим пару дней на Pydoc и Sphinx (следующие посты)