Ссылки на RawCap и Powershell script чтобы отслеживать localhost (127.0.0.1) в Wireshark

Перехватчик процессов GTK+ не отслеживает localhost (127.0.0.1)Как преодолеть этот недостаток wireshark? Я использовал RawCap ... но есть еще способ "Powershell script to enable windows to capture localhost traffic in wireshark" Я здесь на всякий случай скопировал код из этого блога

Видеоуроки по меню Statistics Wireshark и ссылки на две подборки (8+13) видеоуроков

Здесь три часовых ролика, ссылки на подборки вилдео, ссылки на разные ресурсы, среди которых и Wireshark filter syntax and reference, и КОМПЬЮТЕРНЫЕ СЕТИ

Здесь советы по использованию переменной окружения HTTP_PROXY (HTTPS_PROXY)

Загнать всех в цепочку прокси можно переменной окружения HTTP_PROXY (HTTPS_PROXY) Из консоли выполняем в windows - set, в Linux - export... Но значит ли это, что все TCP/IP соединения начнут использовать прокси автоматически? Выходит, что таки да. Есть даже переменная "no_proxy" Но я, однако, сомневаюсь... но проще попробовать, чем искать ответ в сети... Не забыть опубликовать ответ в комментариях.

Копия статьи "Фильтры захвата ...tcpdump, Wireshark, Paketyze

Здесь просто тупая копия статьи с Хабра. Статья хорошая, в оригинале есть еще опрос и комментарии

Wiki, developer`s guide, первые подборки видео и отборные статьи для практикумов по WireShark

Очень понравилась статья "Wireshark — приручение акулы". Здесь просто ссылка на нее и несколько видео, которые я посмотрел до этого. Потом я нашел подборки на статей Хабре... "Первые несколько миллисекунд HTTPS соединения", "EFF рекомендует сниффер против нечестных провайдеров", "Фильтры захвата для сетевых анализаторов (tcpdump, Wireshark, Paketyzer)", потом обнаружил wiki Wireshark. А там, например, Wireshark Loopback capture setup

RawCap - может захватывать 127.0.0.1, Proxy/spider tool suites, sequrity tools - ссылки на обзоры

Здесь ссылки на снифферы и обзоры. Задавшись вопросом о том, что мне нужны инструменты для просмотра http заголовков, я начал пробовать Telnet... понял, что надо понимать и заголовки tcp, ip, ethernet... Вспомнил про книгу "Технологии защиты информации в интернете" Попытался найти ее электронную версию, не нашел сразу... но нашел потом (см. более поздние посты).

Не нашел, как решить проблему сброса Telnet в Windows, но в Linux все работает, даже примеры с telnetlib

Тупая проблема с Telnet в windows. Соединение закрывается. Тупая потому, что надо найти где и на что нажимать. Консоль просто подвисает... Здесь штук 20 ссылок - процесс поиска решения... Но вот я догадался попробовать telnet в Linux... и все заработало. Зачем вообще разбираться с тем, как при помощи Telnet имитировать заголовки и запросы браузера? Пожалуй только потому, что Python позволяет читать ответы и программировать разные варианты переговоров. В конце поста примеры с telnetlib и многочисленные ссылки, например, есть упоминание "...Another method is to use netcat" .

Как работать в Scrapy shell через прокси. Поски привели к request.meta Последующие эксперименты с TOR озадачили

Объект shell request - обертка для реклизации класса Request. Пример работы с объектом из оболочки здесь Problem logging into Facebook with Scrapy, а в этом посте мои эксперименты с request response, settings... Пост кончается тем, что я соединился с проверочным сервисом TOR (через Privoxy - TOR), а он мне сказал SORRY...

Распечатываем scrapy и scrapy.crawler.Crawler.settings

Рассматриваем страницу руководства Core API и читаем там, что есть настройки по умолчанию. А эти настройки можно переопределить при вызове из консоли, в файле settings.py проекта в конкретном пауке (из папки spider). А как менять такие параметры, как proxy из shell? Сразу не разберешь, потому здесь распечатываю файлы дефолтных настроек и фрагменты документации "Core API", "Requests and Responses".

Понял, как подменять user-agent Scrapy shell...

Как менять параметры запроса в Scrapy shell? При запуске shell можно менять константы (объекта) settings, а при работе из запущенной оболочки shell можно менять параметры (словаря) объекта запроса response в команде fetch(myresponse). В первом случае надо найти в документации, как пишется -s USER_AGENT, а во втором распечатать словарь объекта request.headers { ... 'User-Agent': 'Scrapy/0.20.1 (+http://scrapy.org)'}

Проба запустить паука через TOR была отложена из-за того, что IDE Spyder не увидел новую папку. Раз способности ослабевают, ...

...надо дробить процесс на маленькие элементы - потому отложу TOR и попрактикую Scrapy shell. В середине недели пришлось отложить подключение TOR и прочитать IDE Spyder ... Оказалось, что этот редактор показывает (во всех эксплорерах) содержимое подпапки проекта, но при работе в редакторе вызов из модуля (или консоли) обычного импорта объекта из другого модуля выдает ошибку... оказывается, я просто забыл про init() в папке

Установка privoxy на windows для работы с TOR

Попытки найти файл для установки Polipo на Windows заняли много времени, поскольку разработчики предлагали скомпилировать экзешник самостоятельно. Скачал чей-то готовый для пробы, но пришла в голову мысль - посмотреть Privoxy. Его и установил... Здесь копия конфигурационного файла.

Добавим к пауку CSV модули для формирования start_urls (На примере topmailru)

Здесь копии двух файлов из паука GitMyScrapycsv2 (компьютер W8). Заданы кортежи для BASE_URL .csv topmailru

Первый спайдер-сырец с тремя объектами pipeline (работающий четвертьфабрикат)

Снова подправил mail_csv_2_1.py Получил почти окончательный вариант паука, который парсит csv, и добавляет поле rtesponse.url. Потом первый объект pipeline убирает первые две строчки, а второй pipeline из поля URL выбираеит нужные подстроки. Сначала мы записываем все поля в файл, используя опцию (scrapy crawl mail_csv_2_1 -o items_2_2.csv -t csv), а потом дописываем модуль'scrapy_csv_2.pipelines_tofile.CsvWriterPipeline' Этот пост - решение всех задачек, которые возникали в предыдущих постах.