Строку URL запроса можно не набирать руками, а формировать программно. Матчасть (urllib) надо изучать систематически

Просматривая urllib обнаружил в локументации два примера со свойством .urlencode для запроса GET и POST. Хотел просто посмотреть, что получится, а загрузил две старницы с сайта http://www.musi-cal.com

Разбираем, что делает в Scrapy "downloadermiddleware\httpproxy.py"

В справке к urllib.getproxies() нашел "It scans the environment for variables named _proxy ...and when it cannot find it... looks for proxy information from ... Windows Systems Registry ..." ... и поумнел... По сути httpproxy.py этим только и занимается. Поскольку он включен по умолчанию, то надо попробовать "set (export) http_proxy"

Первый вариант паука XMLFeedSpider (без pipelines)

Пишу первого паука для парсинга XML фида. Сначала я прочитал документацию и попытался разобраться с основными понятиями. Этот процесс отразился в посте "Читаю документацию XMLFeedSpider", а вот здесь попробовал записать процесс работы над пауком. В итоге работающий полуфабрикат.

Читаю документацию XMLFeedSpider

Вспоминаю про пространство имен по примеру от Google, запоминаю, что не надо строить все дерево DOM для длинного фида, распечатываю класс XMLFeedSpider

Читаю "Введение в асинхронное программирование и Twisted" ...чтобы понять Scrapy Request

Нашел перевод Введение в асинхронное программирование и Twisted отличного учебного пособия (с кодом на Github). Испытал серврер slowpoetry, из книги постарался запомгнить три важных понятия: асинхронная однопоточная модель, Reactor, Defferer

Читаю серию из 5-ти статей "five life jackets..." - подробный пример Scrapy

Здесь много полезного. Начиная с пауков, советов типа $x(//div), подробно расписан процесс подключения Postgres... Скачал репозиторий. Посмотрел ссылки из статей, добавил "Scrapy Contracts Evolution"... Здесь только ссылки (штук 20)

Ссылки из процесса поиска ПРОКСИ и изучения "DownloadHandler for scrapy that uses socksipy connections"

Я буду пробовать два варианта работы с прокси: 1) TOR - переключение сущностей, 2) Списки прокси... Здесь ссылки на страницы, котрые я не хотел закрывать в течение двух недель... Потом понял, что еще две недели руки до них не дойдут... Поэтому здесь есть и txsocksx, PySocks Github, и Twisted Core, и Socket Programming HOWTO, и telnetlib python example, github scrapy-examples,

Попробовав NMAP я понял, что могу наконец составить список утилит для полной диагностики сети

Этот именно тот софт, который включает набор утилит... и для Windows. На сайте nmap.org помимо сканнера хостов nmap -v -sn 192.168.1.* | grep -v down и портов nmap -sS -v 192.168.1.15 есть набор необходимых инструментов, например, ncat (продвинутый клон nc), здесь примеры сканирования моей локальной сети и ссылки на справочники... есть и GUI - Zenmap ... очень удобная штука, сама генерирует командную строку...

NetCat or socat - Multipurpose relay (SOcket CAT)

Изучая Netcat (nc), я попробовал было загрузить для Windows какой-то левый файл, но Comodo заблокировал его, как опасный. Потом я нашел "netcat++" (extended design, new implementation) и решил было, что надо изучать его (он поддерживается). Но, кроме того, обнаружил, что netcat интегрирован в nmap... "Ncat is our modern reinvention of the venerable Netcat (nc) tool released by Hobbit in 1996" и прекрасно документирован ...и видео есть... Установил nmap на w8 и получил ncat в довесок

Распечатал справку cmd /?

Есть несколько "застарелых" инфраструктурных настроек, до которых не доходят руки (потому, что не хватает знаний), надо их решать (учиться) систематически и "маленькими порциями". Для этого здесь публикую распечатку cmd /?
Надо бы знать, что такое, например, "отложенное расширение переменных среды"

Осознаем откровения из статьи"Создание SSH-туннелей с помощью PuTTY"

Чтобы настроить туннелирование с Putty нужны небольшие ухищрения. Начинаем с пошагового видео о подключении к удаленному рабочему столу Windows (RDP) и не забываем про ссылки на статью (на русском) о пробросах портов (там еще 94 комменария)

Посмотрел видео о взаимодействии telnetlib с netcat и нашел Python Sock сервер для тестов... и настроил под него Putty

Чтобы попрактиковаться с telnet+lib можно использовать netcat (sudo nc host port), в видео для этого открыты две консоли, и обмен строками текста впечатляет..., но искать вариант netcat (без вирусов) для windows лень. Проще написать sock сервер на Python. Здесь все ссылки для этого и готовый код. И справка по опциям netcat (ее надо поюзать в Kali)... И первые результатыэкспериментов с Putty и telnetlib

Танцы с бубном Telnet

После того, как я прочитал, что альтернативой Stem (SIGNAL NEWNYM ... Python API Tor) может служить telnetlib, стало очевидным, что надо понимать, как работает (и юзается) Telnet. Здесь собраны ответы на все (почти) мои вопросы... даже по работе с "кривой" консолью в w8.

DownloadHandler for scrapy that uses socksipy connections

Первое впечатление такое, что это именно то, что я искал. Потому здесь полный копипаст. Поскольку подход автора "I simply copied the code for HTTP11DownloadHandler" очень понравился. Все это понадобится мне в ближайшее время.

Документация и код "SocksiPy - Python SOCKS module"

Чтобы вспомнить сокеты читаем сначала документацию Python "Socket Programming HOWTO", 17.2, а потом импортированный сюда readme.txt SocksiPy WHAT IS A SOCKS PROXY?
A SOCKS proxy is a proxy server at the TCP level. In other words, it acts as a tunnel, relaying all traffic going through it without modifying it.

Перечитал "Сокеты в Python для начинающих" ... обратил внимание на комментарии

Это статья на Хабре. Там простые примеры, а в комментариях есть сетования, что серверу обычно нужно читать заголовки (заголовок, длинна, тело) и прикреплена красивая картинка со схеомй работы протокола TCP. Скопировал сюда картинку и ссылки на документацию Python... И код сервера, и код клиента...

Пробуем выполнить код из TOR With Python Tutorial #2 ( видео 2)

Смотрим второе видео, в котором к простому примеру (из первого видео, которое я посмотрел в мае) добавляется метод def newIdentity(). В примерах использовались библиотеки socket, socks, httplib . Исправляем ошибки и запускаем пример из первого видео - connectTor(), но поменять IP newIdentity() здесь не удается - raise SOCKS5Error("{:#04x}: {}".format(status, error))

Начинаем изучать "Stem is a Python controller library for Tor"

На сайте Tor нашел сылки на библиотеку (здесь A Tor control protocol (Version 1)), обновления свежие... Надо изучать. Сюда соберу все ссылки... Stem is a Python controller library for Tor. Like its predecessor, TorCtl, it uses Tor's control protocol to help developers program against the Tor process, enabling them to build things similar to Vidalia and arm. Stem's latest version is 1.2.2 (released June 7th, 2014).

Читаем wiki netbeans и смотрим видео "HTML5 Testing and Debugging..."

К поискам редактора для js и nodejs. Здесь ссылки на прекрасную документации к HTML5 NetBeans. Я посмотрел три видео, со странице по первой ссылке можно скачать файлы примеров, прочитать статьи к видео.

Чтение статьи "Обмен данными для документов с разных доменов" и мысли о NetBeans PHP

Кроссдоменные взаимодействия до недавнего времени были запрещены. С удовольствием прочитал две статьи Ильи Кантора на javascript.ru Изменения в XMLHTTPRequest 2 все упростили.
На том же сайте нашел и статью про редакторы, в комментариях десятки ссылок. Рассматривая документаци к NetBeans нашел Руководство "Debugging and Testing JavaScript" А там можно (вроде бы) перехватывать скрипты из Google Chrome...

Распечатаем код analytics.js (Google) и разделы документации к библиотеке

В документации написано: "Мы разработали новый фрагмент кода JavaScript для отслеживания поведения посетителей на сайте – analytics.js. Он работает по такому же принципу, что и предыдущая версия, ga.js, но дает разработчикам больше гибкости в настройке".
И здесь решил я начать юзать этот сервис. Как они используют AJAX POST?

Measurement Protocol Reference (копипаст Google devguides)

Постижение того, что для отслеживания действий пользователя можно испоьзовать AJAX Post запросы далось мне только после того, как сегодня утром я нашел описание в "JavaScript" Джона Рейсинга. Я туп, но не безнадежен, поскольку прочитав вчера "Measurement Protocol Reference", решил, что надо "освежить" AJAX...
Здесь (от избытка чувств) размещаю копипаст документации и ничего больше.

Функция User ID и Сервис Universal Analytics ... и справка Google Analitics

Здесь собраны сылки и фрагменты из документации. Объясняется, в частности, как пользователь Денис пьет чай 31 минуту, а у него умирает кука **__utmb** ... По умолчанию библиотека analytics.js использует всего один файл cookie, **_ga, для сохранения уникального идентификатора клиента.
Копаем глубже в веб-отслеживание (analytics.js) И открываем велосипед: как вот это POST /collect HTTP/1.1 Host: www.google-analytics.com** используется вместо куки?

Здесь мы возвращаемся к вопросу о переключени "инстансов" (IP) в TOR

Нагуглил два подхода: с Telnet и с библиотекой Python. Библиотек несколько, например Stem, TorCtl, TxTorCon, JTorCtl, PHPTorCtl Надо будет выбрать... И Telnet надо будет опробовать

Собираем здесь все типы файлов cookie в Google, ... классификация cookie и даже букмарклеты...

Решил соборать в однм месте справки о куках Google, Google Analitics. А в chrome, оказывается, можно отключать сторонние куки, запускаться в режиме инкогнито, настраивать исключения для отдельных доменов.

Вспоминаем про document.cookie, собираем ссылки про куки от Universal Analytics в Google Analytics

Здесь собираю ссылки на принципы работы с cookie ( Wikipedia, jQuery plugins, IT безопасность). Нахожу в справках Гугла описания многочисленных недостандартов куки... Пробую java script и нахожу плагины jQuery. Их хвалят на Stackoverflow... Не надо пренебрегать javascript. Отдельно отметим ссылку на "желтый сайт" Are you trying to get to Google? А всего здесь ссылок 30-ть... Изрядно

Читаю про .pac файлы для настройки и перключения прокси

Пробовал Proxy SwitchySharp, обнаружил там возможности работы с .pac файлами, оказалось, что и в браузерах есть такие фозможности. Здесь около двух десятков ссылок на материалы, которые я прочитал, но плохо запомнил. Так что пока не решил, как их лучше использовать... и в Fiddler тоже...

Второе впечатление о Fiddler2

Здесь ссылки на видеоподборки, которые я просмотрел. Есть и видеолист YouTube... Fiddler отлично взаимодействует с IE (WinHTTP)

Здесь видео о настройке stream index Wireshark

Находим в параметрах TCP поле [stream index], создаем (правой кнопкой) столбец. Это видео подтвердило то, что я "открыл" сам. Потому констатирую, что прекращаю смотреть все подряд, посольку вышел на уровень уверенного чайника Wireshark.

Wireshark tcp.hdr_len<27 в дайтаграмме переговоров о соединении - это плохо!

В этом видео показано, как использовать фильтр tcp.hdr_len<27&&tcp.flags.syn ==1. Запомним подход - фильтровать можно и по длине фрагмента, заголовка..., после этого видео я пошел искать книги по WireShark, где были бы собраны такие примеры...