DownloadHandler for scrapy that uses socksipy connections

Первое впечатление такое, что это именно то, что я искал. Потому здесь полный копипаст. Поскольку подход автора "I simply copied the code for HTTP11DownloadHandler" очень понравился. Все это понадобится мне в ближайшее время.

Документация и код "SocksiPy - Python SOCKS module"

Чтобы вспомнить сокеты читаем сначала документацию Python "Socket Programming HOWTO", 17.2, а потом импортированный сюда readme.txt SocksiPy WHAT IS A SOCKS PROXY?
A SOCKS proxy is a proxy server at the TCP level. In other words, it acts as a tunnel, relaying all traffic going through it without modifying it.

Перечитал "Сокеты в Python для начинающих" ... обратил внимание на комментарии

Это статья на Хабре. Там простые примеры, а в комментариях есть сетования, что серверу обычно нужно читать заголовки (заголовок, длинна, тело) и прикреплена красивая картинка со схеомй работы протокола TCP. Скопировал сюда картинку и ссылки на документацию Python... И код сервера, и код клиента...

Пробуем выполнить код из TOR With Python Tutorial #2 ( видео 2)

Смотрим второе видео, в котором к простому примеру (из первого видео, которое я посмотрел в мае) добавляется метод def newIdentity(). В примерах использовались библиотеки socket, socks, httplib . Исправляем ошибки и запускаем пример из первого видео - connectTor(), но поменять IP newIdentity() здесь не удается - raise SOCKS5Error("{:#04x}: {}".format(status, error))

Начинаем изучать "Stem is a Python controller library for Tor"

На сайте Tor нашел сылки на библиотеку (здесь A Tor control protocol (Version 1)), обновления свежие... Надо изучать. Сюда соберу все ссылки... Stem is a Python controller library for Tor. Like its predecessor, TorCtl, it uses Tor's control protocol to help developers program against the Tor process, enabling them to build things similar to Vidalia and arm. Stem's latest version is 1.2.2 (released June 7th, 2014).

Читаем wiki netbeans и смотрим видео "HTML5 Testing and Debugging..."

К поискам редактора для js и nodejs. Здесь ссылки на прекрасную документации к HTML5 NetBeans. Я посмотрел три видео, со странице по первой ссылке можно скачать файлы примеров, прочитать статьи к видео.

Чтение статьи "Обмен данными для документов с разных доменов" и мысли о NetBeans PHP

Кроссдоменные взаимодействия до недавнего времени были запрещены. С удовольствием прочитал две статьи Ильи Кантора на javascript.ru Изменения в XMLHTTPRequest 2 все упростили.
На том же сайте нашел и статью про редакторы, в комментариях десятки ссылок. Рассматривая документаци к NetBeans нашел Руководство "Debugging and Testing JavaScript" А там можно (вроде бы) перехватывать скрипты из Google Chrome...

Распечатаем код analytics.js (Google) и разделы документации к библиотеке

В документации написано: "Мы разработали новый фрагмент кода JavaScript для отслеживания поведения посетителей на сайте – analytics.js. Он работает по такому же принципу, что и предыдущая версия, ga.js, но дает разработчикам больше гибкости в настройке".
И здесь решил я начать юзать этот сервис. Как они используют AJAX POST?

Measurement Protocol Reference (копипаст Google devguides)

Постижение того, что для отслеживания действий пользователя можно испоьзовать AJAX Post запросы далось мне только после того, как сегодня утром я нашел описание в "JavaScript" Джона Рейсинга. Я туп, но не безнадежен, поскольку прочитав вчера "Measurement Protocol Reference", решил, что надо "освежить" AJAX...
Здесь (от избытка чувств) размещаю копипаст документации и ничего больше.

Функция User ID и Сервис Universal Analytics ... и справка Google Analitics

Здесь собраны сылки и фрагменты из документации. Объясняется, в частности, как пользователь Денис пьет чай 31 минуту, а у него умирает кука **__utmb** ... По умолчанию библиотека analytics.js использует всего один файл cookie, **_ga, для сохранения уникального идентификатора клиента.
Копаем глубже в веб-отслеживание (analytics.js) И открываем велосипед: как вот это POST /collect HTTP/1.1 Host: www.google-analytics.com** используется вместо куки?

Здесь мы возвращаемся к вопросу о переключени "инстансов" (IP) в TOR

Нагуглил два подхода: с Telnet и с библиотекой Python. Библиотек несколько, например Stem, TorCtl, TxTorCon, JTorCtl, PHPTorCtl Надо будет выбрать... И Telnet надо будет опробовать

Собираем здесь все типы файлов cookie в Google, ... классификация cookie и даже букмарклеты...

Решил соборать в однм месте справки о куках Google, Google Analitics. А в chrome, оказывается, можно отключать сторонние куки, запускаться в режиме инкогнито, настраивать исключения для отдельных доменов.

Вспоминаем про document.cookie, собираем ссылки про куки от Universal Analytics в Google Analytics

Здесь собираю ссылки на принципы работы с cookie ( Wikipedia, jQuery plugins, IT безопасность). Нахожу в справках Гугла описания многочисленных недостандартов куки... Пробую java script и нахожу плагины jQuery. Их хвалят на Stackoverflow... Не надо пренебрегать javascript. Отдельно отметим ссылку на "желтый сайт" Are you trying to get to Google? А всего здесь ссылок 30-ть... Изрядно

Читаю про .pac файлы для настройки и перключения прокси

Пробовал Proxy SwitchySharp, обнаружил там возможности работы с .pac файлами, оказалось, что и в браузерах есть такие фозможности. Здесь около двух десятков ссылок на материалы, которые я прочитал, но плохо запомнил. Так что пока не решил, как их лучше использовать... и в Fiddler тоже...

Второе впечатление о Fiddler2

Здесь ссылки на видеоподборки, которые я просмотрел. Есть и видеолист YouTube... Fiddler отлично взаимодействует с IE (WinHTTP)

Здесь видео о настройке stream index Wireshark

Находим в параметрах TCP поле [stream index], создаем (правой кнопкой) столбец. Это видео подтвердило то, что я "открыл" сам. Потому констатирую, что прекращаю смотреть все подряд, посольку вышел на уровень уверенного чайника Wireshark.

Wireshark tcp.hdr_len<27 в дайтаграмме переговоров о соединении - это плохо!

В этом видео показано, как использовать фильтр tcp.hdr_len<27&&tcp.flags.syn ==1. Запомним подход - фильтровать можно и по длине фрагмента, заголовка..., после этого видео я пошел искать книги по WireShark, где были бы собраны такие примеры...

Списки плагинов для Chrome (подбирал по темам cookie, proxy, REST)

Это было начало работы по подбору плагинов для работы со Scrapy. Классический случай, когда приходится перелопачивать уйму информации понимая, что знаний не хватает. А в плагинах должно быть собрано все самое лучшее (например, как бы я узнал про .pac файлы для proxy)

В Wireshark cуществует опция "Allow subdissector to reassemble TCP streams", она помогает оценить длительность HTTP загрузки

Как осуществляется инкапсуляция, когда HTML страничка "длинная"?  Её, естественно разбивают на фрагменты, каждый из фрагментов затем запихивают в область данных TCP контейнера. Здесь короткие видеоролике о том, как построить график длительностей загрузок

Два примера использования Regex в Wireshark из видеоролика

В видео "Use Regex to Filter for a Group of Phrases" объясняется, что в строке фильтра можно использовать регулярные выражения типа http.request.uri matches "(attachment|tar|exe|zip)"
Ограничиваем область поиска и задаем фильтр...

Data в Sequre Sockets Layer - это всегда подозрительно, Wireshark Protocol Hierarchy Statistics

Посмотрел видео, добавил сюда еще и текст и картинку из моего компьютера. Видео надо будет просмотреть еще раз, там есть упоминания о том, что это за ""Data"...

Data в протоколе TCP являются подозрительными. Откроем Statistics -> Protocol Hierarchy, отфильтруем, при клике правой кнопкой по строчке открывается контекстное меню... потом снова откроем...

Диагностируем ошибки TCP по этим видео... Потом пытаемся понять, что за ошибки имела в виду Laura Chappell

Здесь я заготовил два видео с текстом "Create the "Golden Graph", "Find TCP Problems Fast ..." in Wireshark (Correlate Low Bandwidth with TCP Errors)". Хочу выяснить, что автор считает "TCP Errors". Оказывается, их можно скопировать из "Coloring Rules" ... В итоговый график включить обычный TCP и отфильтрованый... и использовать логарифмический масштаб, как на картинке из видео1...
А из второго видео пытаемся понять, что это за фильтр: tcp.analysis.flags && !tcp.analysis.window_update

Как оценить TTL (TCP Options) задержку ответа... видео о TimeStsmps в Wireshark

Квадратные скобки, например [Time since first frame in this TCP stream: 0.073505000 seconds] в раздела TCP wireshark означают, что это не стандартный параметр протокола TCP, а интерпретация Wireshark.
Здесь в 7-минутном ролике @laurachappell показывает, как добавить два варианта столбцов Timestamps в общую таблицу. А во втором фрейме TCP Extensions for High Performance rfc1323

При запуске NETSH (в Windows) программа рекомендовала мне использовать Power Shell, а потом я прочитал About WinHTTP

Netsh позволяет настраивать параметры сетей. В частности netsh winhttp show proxy (в предыдущем посте есть картинка о связи Fiddler и winhttp) ... Сюда я скопировал из консоли несколько справок (на русском) и мой первый запуск Power Shell... и с десяток ссылок: "Общие сведения о командах Netsh"... "How to Start Windows PowerShell on Windows 8" ...Netsh.exe and ProxyCfg.exe Proxy Configuration Tools

Fiddler - все ссылки и видеоролики. Особенности - WinHTTP, CryptoIP, WinINET... и Internet Explorer

Скрипач может через IE мониторить трафик 127.0.0.1 (Monitor traffic to localhost from IE or .NET) и расшифровывать HTTPS трафик, в остальном работает, как и большинство снифферов, как прокси-сервер (:8889), может встраиваться в цепочки прокси..., в браузерах нахально прописывается сам ...