Первый сайт на Sphinx (sphinx-quickstart, make html, make clear)

Возвращение к изучению Sphinx потребовало повторного чтения тех же самых страниц документации. Потом я попрактиковался и создал сайт "aksiomatic" (file:///C:/Users/kiss/Documents/sphinx/aksiomatic/build/html/genindex.html). Здесь я записал основные команды и шаги... и распечатал основные файлы Make.bat, index.rst, conf.py .

Прочитал статью "How To Make Your Own Proxy Using Google App Engine"

Здесь помимо прокси-сервера есть хороший пошаговый практикум по Google App Engine. Почти решил обзавестись собственным прокси, но нашел proxypython7 чужой уже работающий сервис. Здесь же "Web Server Gateway Interface" - статья из Википедии с изрядным списком ссылок "Веб-фреймворки и серверы приложений"

ProxyFire и косноязычный юноша с pshacks-crew.com

Косноязычный юноша не только снял плохое видео о том, как собирать прокси-листы "Как ставить на брут, соберать прокси.", но и выложил софт. Я не смог пройти мимо...
Понравилась возможность собирать огромные прокси-листы (несколько тысяч прокси) и тут же их проверять. Более того, я недавно поставил, но не попробовал толком "ProxyFire" - делает все то же, что и в ролике... Да там еще обновления автоматизировать можно... Подробности в видео "Обзор ProxyFire"

Осваиваем Google Application Engine - Hello, World

Ну вот и дошли руки до Google Application Engine. Здесь мы выполняем инструкции по установке SDK Python и начинаем знакомится с содержимым папки google_appengine и кликаем по ярлыкам ...Launcher, и запускаем первое приложение.

Список ссылок на все случаи работы с PROXY

Три десятка ссылок Scrapy+Tor, Privoxy, Polipo, Netsh Commands for Windows, Удалённый MAC-адрес по IP и наоборот и размышления о моей системе работы с прокси... Публикую этот пост после сбора ссылок в текстовый файл (при серфинге в Kali)

О модели OSI и стеке протоколов TCP/IP... Все ссылки на rfc собраны здесь

В 2002г. я купил книгу "Технологии защиты информации....". Пришлось перечитать... Семиуровневая модель OSI - это красиво. Она легка и понятна, если поиграть с WireShark. Но задачка о http-заголовках к прокси-серверу будет решена позже. Зато здесь картинки к TCP, IP... и видео про WireShark

Видео о Privoxy -> Стандарты HTTP/1.1 -> Proxy_server forensicswiki -> Apache Module mod_proxy

В конфиг Privoxy можно навтыкать HTTP-заголовков. Это окрытие сподвигло меня на розыски стандарта HTTP/1.1 rfc2616. Оказалось, что там нет вызовов к прокси-серверу... да и заголовки "Proxy-Connection" применяются нестандартные... Масла в огонь подлил Fiddler... Здесь ссылки на уйму стандартов, но окончательный ответ так и не найден

В документации к Hypertext Transfer Protocol -- HTTP/1.1 rfc2616 есть немного о прокси-серверах в разделе 14.10 Connection

Готовимся к проверке кода для ротирования списка словарей "Python Requests And Proxies"

Объект Requests (см. Python Requests And Proxies) позволяет создать словарь прокси-серверов по типам(http,https,ftp), если в запросе requests.get(url, proxies=proxy) указать ссылку на словарь (proxy), то, в зависимости от типа url запроса подключится тот или иной прокси. А если сформировать список словарей, то его можно ротировать и подключать разные прокси. Здесь есть соответсвующие примеры кода, ссылки на сервисы hidemyass, whatismyproxy. Все готово к проверке кода.

Пример подключения proxy с urllib.urlopen выдал ошибку 403, пришлось задавать HTTP-заголовки с urllib2

Решил пробовать здесь код из видеоролика с urllib.urlopen('http://www.whatismyip.com/',proxies=proxy2) но получил в ответ ошибку 403, посмотрел еще 3 видео про urllib, пришел к выводу, что лучше использовать urlib2 - скопировал пример кода и загрузил страницу (но без прокси). В следующем посте продолжу экспериментировать с urllib2.headers.headers ... proxy и посмотрю видео

Ссылки на видео и код "[Python] Simple network Sniffer"

Понравилось все 6 роликов (но разрешение плохое)Python Simple network Sniffer. Здесь на всякий случай копирую исходный код, чтобы разобрать пример позже.
У этого же автора есть еще ролики Downloading and Parsing possibilities of Python. As an example website was taken http://xkcd.com/

Планируем дальнейшие действия (Сегодня 24 мая 2014)

Здесь собраны очень хорошие ссылки на urllib (штук 5), 77 videos Python Tutorials, scrapy CSVFeedSpider ... По сути, темы разные, и я решил порассуждать о планах дальнейшей работы.

Пора начинать планировать! Уровень моих знаний уже достиг высот студента-троечника, обучающегося программированию. Знаю я по-прежнему очень мало, но о многом слышал... и даже кое-что запомнил. А значит, можно попробовать расставить приоритеты.

Проблемы, которые на самом деле называютcя "Infrastructure supporting"

Моя борьба за обновление дистрибутива. Nbconvert -> PanDoc -> pip -> Ipython -> Tornado... Копипаст из консоли. Так как же следить за обновленияями?

Казалось бы, вопрос о том, как "ухаживать" за своей сборкой Linux я давно решил. Берешь чужую сборку типа "ScyLinux" или "Kali" вместо "Centos" или "Debian".

RetryChangeProxyMiddleware... Можно переключать IP в Tor с помощью Python telnetlib

Здесь небольшой фрагмент кода для смены IP на основании данных ответа в Telnet. Автор вопроса использовал платный Proxy Mesh. Ему подали идею создавать новые запросы через Tor с помощью "переговоров" с Telnet... Идея понравилась, надо пробовать...

Идея о таком переключении "instance" в Tor понравилась, но была не очень понятна. Некоторое прояснение наступило после того, как прочитал в документации Scrapy о telnet console...

Продолжаю изучать randomproxy (но решаю, что начинать надо с простых примеров из документации Scrapy)

Попытки выполнить код по частям привели к выводу о том, что сначала надо бы прочитать всю документацию Scrapy. Там много работающих примеров. Я еще плохо знаю Python, поэтому надо разбирать работающий код с хорошей документацией, а не ломать голову над упражнениями неизвестных авторов.

Штатные серверы Python и немного о python-proxy-rotator

Здесь я начал было изучать файлы Python Proxy Rotator, потом нашел ссылки на документацию Python. При беглом знакомстве с объектами BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, SocketServer... завяз, но нашел видео "Create a simple custom HTTPServer with Python" и решил, что все это надо записать для будущего изучения.

Здесь распечатаны файлы к RandomProxy с пауком dmoz

Решил, что далее изучать Scrapy нужно с RandomProxy (найти ошибки, о которых я написал месяц назад), решил в этом посте все распечатать. А в следующем уже экспериментировать...

Первый удачный запуск связки proxychains+Tor

Как все это запустить? Проще не бывает, если конечно запускать из консоли, а не из notebook. Был у меня провереный паук Dmoz. Скопировал его (со всеми остальными скриптами в Kali). И запустил из папки "spiders" командой "proxychains scrapy crawl dmoz". Правда, сначала пришлось запустить Tor из папки с демонами "/etc/init.d/tor start".
Здесь же собраны ссылки на файлы с настройками Tor, Polipo (альтернатива?) и документацию к Telnet

Возвращаемся к изуению Scrapy. Начинаем с shell

Здесь 10-минутный ролик и ссылка на документацию. Лучше читать документацию. Все изложено кратко и понятно.

Обновление Kali и вопросы доустановки программ

Вторая установка дистрибутива на 16Г флешку прошла успешно. Поскольку делать это приходится нечасто, то время сэкономят инструкции, например такие, как найти программу для скринкаста. Если посчитать все время, которое я потратил на поиск таких программ...

Этот черновик я публикую на месяц позже. Сегодня я отказался от идеи - работать только с флешки. Оказалось, что установить Kali (Debian) как вторую OS очень просто. А тогда я еще не столкнулся с "тормозами" и надеялся на технологию "persistence"

Как я вспомнил об about:about и попробовал оценить распределение памяти Firefox

Здесь две темы. Первая возникла, когда я задумался над тем, как устроен кэш браузера. После того, как понаблюдал за непомерным трафиком Chrome. Чего он там читает и пишет? Здесь распечатка "information about the Cache Service"
А вторая тема - это список опций браузера about:about

Коммментарии к видео "Telnet client and server demonstration in Windows Vista and XP"

Решил освоить Telnet под Windows. Обнаружил помимо клиента еще и сервер. В 9-минутном видео показаны процессы установки и активации службы Server. Мониторинг подключения клиента к серверу (два компьютера в локальной сети с помощью Wireshark.

Комментарии к cmd net и видео "Basics of ipconfig, ping, tracert, nslookup, and netstat "

В первом видеоролике "How to configure networking for Windows XP and Vista" показано, как найти настройки IP адресов для компьютеров XP, Vista, 7... Материал известный, потому я добавил второе вдиео, так что здесь справки по всем этим "сетевым" cmd-командам.

Справочное руководство Nmap Man Page (есть ссылки на русский перевод)

Сканировать хосты и порты - все подряд. Дело трудоемкое, но выполнимое, если использовать Nmap. Я увидел действие этой утилиты в ролике про Proxychains... и решил разместить здесь ссылки и краткую справку.

Как запустить Proxychains and Tor и посмотреть на это в Telnet и w3m

Видео "Kail Linux : T0r And Proxychains" я понял не сразу, а после того, как проосмотрел похожие... Proxychains может обойтись двумя ссылками на socks4 spcks5 TOR. Здесь только два ролика, а еще небольшие фрагманты справки по Telnet и w3m. В первом ролике показано, как Nmap сканирует порты..., впечатляет.

Видео про sockets Python c WireShark и Scapy

Запсиси при просмотре 60-минутного видео. Месяц назад мне понравилось видео для хакеров про сокеты. Этот пост - продолжение поста, в который я загрузил код сервера и клиента. Я вернулся к этому практикуму после того, как прочитал про объект "Socket"...
В конце ролика отличные примеры работы со Scapy.

Today I`m learning "Socket Programming HOWTO" and improve my English

I have read Socket programming Python Docs... There are two objects in Python 2.7 I insert to this post helpl(socket) and Soxypy readme.txt
There are 7 links here ...and huge help(socket) file... and SocksiPy link and readme.txt ... And the question "Who use the SocketServer object" is still a charade for me...

Sphinx - три отличные ссылки и два посредственных видео

Sphinx - это фреймворк для создания статичных сайтов. Его используют не только для создания мануалов с фрагментами кода, но и для написания книг. Я давно ищу варианты не только для книг, но и для совместных исследований... Здесь можно использовать простые текстовые шаблоны страниц... и много чего еще...

По мотивам ролика "Python tutorial: How to use Pydoc"

Берет комментарии из кода и "pydoc - Generate Python documentation in HTML or text for interactive use". Можно распечатать документацию из командной строки, а можно из консоли. Об этом видеоролик. Я и распечатал здесь help(pydoc)

Конспект: "Создаём своё первое приложение с Django, часть 1"

Выполняем команды мануала вслед за аторами. Отвлекаемся на %PYTHONPATH% (sys.path). Создаем первый сайт. Запускаем серврер... Но останавливаемся после создании базы данных для суперпользователя с паролем ... здесь есть напоминалки...
Зачем мне эти таблицы БД, если я еще не решил, чего хочу... Прежде, чем грызть Django, потратим пару дней на Pydoc и Sphinx (следующие посты)

Распечатаем справку и переменные среды из sys.path и Windows 8 (PATH, SET, SYSTEMINFO)

Процедура формирования переменных окружения Python - это песня акына на английском языке (os.py). Сначала я нашел (и скопировал сюда) все способы работы с переменными окружения Windows, а потом прочитал про то, что вытворяет Python, но начинать читаь лучше с "how sys.path is populated on Windows"... А примеры решений в ссылке "How to add to the pythonpath in windows 7?"