Распечатаем код analytics.js (Google) и разделы документации к библиотеке

В документации написано: "Мы разработали новый фрагмент кода JavaScript для отслеживания поведения посетителей на сайте – analytics.js. Он работает по такому же принципу, что и предыдущая версия, ga.js, но дает разработчикам больше гибкости в настройке".
И здесь решил я начать юзать этот сервис. Как они используют AJAX POST?

Measurement Protocol Reference (копипаст Google devguides)

Постижение того, что для отслеживания действий пользователя можно испоьзовать AJAX Post запросы далось мне только после того, как сегодня утром я нашел описание в "JavaScript" Джона Рейсинга. Я туп, но не безнадежен, поскольку прочитав вчера "Measurement Protocol Reference", решил, что надо "освежить" AJAX...
Здесь (от избытка чувств) размещаю копипаст документации и ничего больше.

Функция User ID и Сервис Universal Analytics ... и справка Google Analitics

Здесь собраны сылки и фрагменты из документации. Объясняется, в частности, как пользователь Денис пьет чай 31 минуту, а у него умирает кука **__utmb** ... По умолчанию библиотека analytics.js использует всего один файл cookie, **_ga, для сохранения уникального идентификатора клиента.
Копаем глубже в веб-отслеживание (analytics.js) И открываем велосипед: как вот это POST /collect HTTP/1.1 Host: www.google-analytics.com** используется вместо куки?

Здесь мы возвращаемся к вопросу о переключени "инстансов" (IP) в TOR

Нагуглил два подхода: с Telnet и с библиотекой Python. Библиотек несколько, например Stem, TorCtl, TxTorCon, JTorCtl, PHPTorCtl Надо будет выбрать... И Telnet надо будет опробовать

Собираем здесь все типы файлов cookie в Google, ... классификация cookie и даже букмарклеты...

Решил соборать в однм месте справки о куках Google, Google Analitics. А в chrome, оказывается, можно отключать сторонние куки, запускаться в режиме инкогнито, настраивать исключения для отдельных доменов.

Вспоминаем про document.cookie, собираем ссылки про куки от Universal Analytics в Google Analytics

Здесь собираю ссылки на принципы работы с cookie ( Wikipedia, jQuery plugins, IT безопасность). Нахожу в справках Гугла описания многочисленных недостандартов куки... Пробую java script и нахожу плагины jQuery. Их хвалят на Stackoverflow... Не надо пренебрегать javascript. Отдельно отметим ссылку на "желтый сайт" Are you trying to get to Google? А всего здесь ссылок 30-ть... Изрядно

Читаю про .pac файлы для настройки и перключения прокси

Пробовал Proxy SwitchySharp, обнаружил там возможности работы с .pac файлами, оказалось, что и в браузерах есть такие фозможности. Здесь около двух десятков ссылок на материалы, которые я прочитал, но плохо запомнил. Так что пока не решил, как их лучше использовать... и в Fiddler тоже...

Второе впечатление о Fiddler2

Здесь ссылки на видеоподборки, которые я просмотрел. Есть и видеолист YouTube... Fiddler отлично взаимодействует с IE (WinHTTP)

Здесь видео о настройке stream index Wireshark

Находим в параметрах TCP поле [stream index], создаем (правой кнопкой) столбец. Это видео подтвердило то, что я "открыл" сам. Потому констатирую, что прекращаю смотреть все подряд, посольку вышел на уровень уверенного чайника Wireshark.

Wireshark tcp.hdr_len<27 в дайтаграмме переговоров о соединении - это плохо!

В этом видео показано, как использовать фильтр tcp.hdr_len<27&&tcp.flags.syn ==1. Запомним подход - фильтровать можно и по длине фрагмента, заголовка..., после этого видео я пошел искать книги по WireShark, где были бы собраны такие примеры...

Списки плагинов для Chrome (подбирал по темам cookie, proxy, REST)

Это было начало работы по подбору плагинов для работы со Scrapy. Классический случай, когда приходится перелопачивать уйму информации понимая, что знаний не хватает. А в плагинах должно быть собрано все самое лучшее (например, как бы я узнал про .pac файлы для proxy)

В Wireshark cуществует опция "Allow subdissector to reassemble TCP streams", она помогает оценить длительность HTTP загрузки

Как осуществляется инкапсуляция, когда HTML страничка "длинная"?  Её, естественно разбивают на фрагменты, каждый из фрагментов затем запихивают в область данных TCP контейнера. Здесь короткие видеоролике о том, как построить график длительностей загрузок

Два примера использования Regex в Wireshark из видеоролика

В видео "Use Regex to Filter for a Group of Phrases" объясняется, что в строке фильтра можно использовать регулярные выражения типа http.request.uri matches "(attachment|tar|exe|zip)"
Ограничиваем область поиска и задаем фильтр...

Data в Sequre Sockets Layer - это всегда подозрительно, Wireshark Protocol Hierarchy Statistics

Посмотрел видео, добавил сюда еще и текст и картинку из моего компьютера. Видео надо будет просмотреть еще раз, там есть упоминания о том, что это за ""Data"...

Data в протоколе TCP являются подозрительными. Откроем Statistics -> Protocol Hierarchy, отфильтруем, при клике правой кнопкой по строчке открывается контекстное меню... потом снова откроем...

Диагностируем ошибки TCP по этим видео... Потом пытаемся понять, что за ошибки имела в виду Laura Chappell

Здесь я заготовил два видео с текстом "Create the "Golden Graph", "Find TCP Problems Fast ..." in Wireshark (Correlate Low Bandwidth with TCP Errors)". Хочу выяснить, что автор считает "TCP Errors". Оказывается, их можно скопировать из "Coloring Rules" ... В итоговый график включить обычный TCP и отфильтрованый... и использовать логарифмический масштаб, как на картинке из видео1...
А из второго видео пытаемся понять, что это за фильтр: tcp.analysis.flags && !tcp.analysis.window_update

Как оценить TTL (TCP Options) задержку ответа... видео о TimeStsmps в Wireshark

Квадратные скобки, например [Time since first frame in this TCP stream: 0.073505000 seconds] в раздела TCP wireshark означают, что это не стандартный параметр протокола TCP, а интерпретация Wireshark.
Здесь в 7-минутном ролике @laurachappell показывает, как добавить два варианта столбцов Timestamps в общую таблицу. А во втором фрейме TCP Extensions for High Performance rfc1323

При запуске NETSH (в Windows) программа рекомендовала мне использовать Power Shell, а потом я прочитал About WinHTTP

Netsh позволяет настраивать параметры сетей. В частности netsh winhttp show proxy (в предыдущем посте есть картинка о связи Fiddler и winhttp) ... Сюда я скопировал из консоли несколько справок (на русском) и мой первый запуск Power Shell... и с десяток ссылок: "Общие сведения о командах Netsh"... "How to Start Windows PowerShell on Windows 8" ...Netsh.exe and ProxyCfg.exe Proxy Configuration Tools

Fiddler - все ссылки и видеоролики. Особенности - WinHTTP, CryptoIP, WinINET... и Internet Explorer

Скрипач может через IE мониторить трафик 127.0.0.1 (Monitor traffic to localhost from IE or .NET) и расшифровывать HTTPS трафик, в остальном работает, как и большинство снифферов, как прокси-сервер (:8889), может встраиваться в цепочки прокси..., в браузерах нахально прописывается сам ...

Ссылки на RawCap и Powershell script чтобы отслеживать localhost (127.0.0.1) в Wireshark

Перехватчик процессов GTK+ не отслеживает localhost (127.0.0.1)Как преодолеть этот недостаток wireshark? Я использовал RawCap ... но есть еще способ "Powershell script to enable windows to capture localhost traffic in wireshark" Я здесь на всякий случай скопировал код из этого блога

Видеоуроки по меню Statistics Wireshark и ссылки на две подборки (8+13) видеоуроков

Здесь три часовых ролика, ссылки на подборки вилдео, ссылки на разные ресурсы, среди которых и Wireshark filter syntax and reference, и КОМПЬЮТЕРНЫЕ СЕТИ

Здесь советы по использованию переменной окружения HTTP_PROXY (HTTPS_PROXY)

Загнать всех в цепочку прокси можно переменной окружения HTTP_PROXY (HTTPS_PROXY) Из консоли выполняем в windows - set, в Linux - export... Но значит ли это, что все TCP/IP соединения начнут использовать прокси автоматически? Выходит, что таки да. Есть даже переменная "no_proxy" Но я, однако, сомневаюсь... но проще попробовать, чем искать ответ в сети... Не забыть опубликовать ответ в комментариях.

Копия статьи "Фильтры захвата ...tcpdump, Wireshark, Paketyze

Здесь просто тупая копия статьи с Хабра. Статья хорошая, в оригинале есть еще опрос и комментарии

Wiki, developer`s guide, первые подборки видео и отборные статьи для практикумов по WireShark

Очень понравилась статья "Wireshark — приручение акулы". Здесь просто ссылка на нее и несколько видео, которые я посмотрел до этого. Потом я нашел подборки на статей Хабре... "Первые несколько миллисекунд HTTPS соединения", "EFF рекомендует сниффер против нечестных провайдеров", "Фильтры захвата для сетевых анализаторов (tcpdump, Wireshark, Paketyzer)", потом обнаружил wiki Wireshark. А там, например, Wireshark Loopback capture setup

RawCap - может захватывать 127.0.0.1, Proxy/spider tool suites, sequrity tools - ссылки на обзоры

Здесь ссылки на снифферы и обзоры. Задавшись вопросом о том, что мне нужны инструменты для просмотра http заголовков, я начал пробовать Telnet... понял, что надо понимать и заголовки tcp, ip, ethernet... Вспомнил про книгу "Технологии защиты информации в интернете" Попытался найти ее электронную версию, не нашел сразу... но нашел потом (см. более поздние посты).

Не нашел, как решить проблему сброса Telnet в Windows, но в Linux все работает, даже примеры с telnetlib

Тупая проблема с Telnet в windows. Соединение закрывается. Тупая потому, что надо найти где и на что нажимать. Консоль просто подвисает... Здесь штук 20 ссылок - процесс поиска решения... Но вот я догадался попробовать telnet в Linux... и все заработало. Зачем вообще разбираться с тем, как при помощи Telnet имитировать заголовки и запросы браузера? Пожалуй только потому, что Python позволяет читать ответы и программировать разные варианты переговоров. В конце поста примеры с telnetlib и многочисленные ссылки, например, есть упоминание "...Another method is to use netcat" .

Как работать в Scrapy shell через прокси. Поски привели к request.meta Последующие эксперименты с TOR озадачили

Объект shell request - обертка для реклизации класса Request. Пример работы с объектом из оболочки здесь Problem logging into Facebook with Scrapy, а в этом посте мои эксперименты с request response, settings... Пост кончается тем, что я соединился с проверочным сервисом TOR (через Privoxy - TOR), а он мне сказал SORRY...

Распечатываем scrapy и scrapy.crawler.Crawler.settings

Рассматриваем страницу руководства Core API и читаем там, что есть настройки по умолчанию. А эти настройки можно переопределить при вызове из консоли, в файле settings.py проекта в конкретном пауке (из папки spider). А как менять такие параметры, как proxy из shell? Сразу не разберешь, потому здесь распечатываю файлы дефолтных настроек и фрагменты документации "Core API", "Requests and Responses".

Понял, как подменять user-agent Scrapy shell...

Как менять параметры запроса в Scrapy shell? При запуске shell можно менять константы (объекта) settings, а при работе из запущенной оболочки shell можно менять параметры (словаря) объекта запроса response в команде fetch(myresponse). В первом случае надо найти в документации, как пишется -s USER_AGENT, а во втором распечатать словарь объекта request.headers { ... 'User-Agent': 'Scrapy/0.20.1 (+http://scrapy.org)'}

Проба запустить паука через TOR была отложена из-за того, что IDE Spyder не увидел новую папку. Раз способности ослабевают, ...

...надо дробить процесс на маленькие элементы - потому отложу TOR и попрактикую Scrapy shell. В середине недели пришлось отложить подключение TOR и прочитать IDE Spyder ... Оказалось, что этот редактор показывает (во всех эксплорерах) содержимое подпапки проекта, но при работе в редакторе вызов из модуля (или консоли) обычного импорта объекта из другого модуля выдает ошибку... оказывается, я просто забыл про init() в папке

Установка privoxy на windows для работы с TOR

Попытки найти файл для установки Polipo на Windows заняли много времени, поскольку разработчики предлагали скомпилировать экзешник самостоятельно. Скачал чей-то готовый для пробы, но пришла в голову мысль - посмотреть Privoxy. Его и установил... Здесь копия конфигурационного файла.