Ссылки из процесса поиска ПРОКСИ и изучения "DownloadHandler for scrapy that uses socksipy connections"

Я буду пробовать два варианта работы с прокси: 1) TOR - переключение сущностей, 2) Списки прокси... Здесь ссылки на страницы, котрые я не хотел закрывать в течение двух недель... Потом понял, что еще две недели руки до них не дойдут... Поэтому здесь есть и txsocksx, PySocks Github, и Twisted Core, и Socket Programming HOWTO, и telnetlib python example, github scrapy-examples,

Пробуем выполнить код из TOR With Python Tutorial #2 ( видео 2)

Смотрим второе видео, в котором к простому примеру (из первого видео, которое я посмотрел в мае) добавляется метод def newIdentity(). В примерах использовались библиотеки socket, socks, httplib . Исправляем ошибки и запускаем пример из первого видео - connectTor(), но поменять IP newIdentity() здесь не удается - raise SOCKS5Error("{:#04x}: {}".format(status, error))

Начинаем изучать "Stem is a Python controller library for Tor"

На сайте Tor нашел сылки на библиотеку (здесь A Tor control protocol (Version 1)), обновления свежие... Надо изучать. Сюда соберу все ссылки... Stem is a Python controller library for Tor. Like its predecessor, TorCtl, it uses Tor's control protocol to help developers program against the Tor process, enabling them to build things similar to Vidalia and arm. Stem's latest version is 1.2.2 (released June 7th, 2014).

Здесь мы возвращаемся к вопросу о переключени "инстансов" (IP) в TOR

Нагуглил два подхода: с Telnet и с библиотекой Python. Библиотек несколько, например Stem, TorCtl, TxTorCon, JTorCtl, PHPTorCtl Надо будет выбрать... И Telnet надо будет опробовать

Не нашел, как решить проблему сброса Telnet в Windows, но в Linux все работает, даже примеры с telnetlib

Тупая проблема с Telnet в windows. Соединение закрывается. Тупая потому, что надо найти где и на что нажимать. Консоль просто подвисает... Здесь штук 20 ссылок - процесс поиска решения... Но вот я догадался попробовать telnet в Linux... и все заработало. Зачем вообще разбираться с тем, как при помощи Telnet имитировать заголовки и запросы браузера? Пожалуй только потому, что Python позволяет читать ответы и программировать разные варианты переговоров. В конце поста примеры с telnetlib и многочисленные ссылки, например, есть упоминание "...Another method is to use netcat" .

Проба запустить паука через TOR была отложена из-за того, что IDE Spyder не увидел новую папку. Раз способности ослабевают, ...

...надо дробить процесс на маленькие элементы - потому отложу TOR и попрактикую Scrapy shell. В середине недели пришлось отложить подключение TOR и прочитать IDE Spyder ... Оказалось, что этот редактор показывает (во всех эксплорерах) содержимое подпапки проекта, но при работе в редакторе вызов из модуля (или консоли) обычного импорта объекта из другого модуля выдает ошибку... оказывается, я просто забыл про init() в папке

Установка privoxy на windows для работы с TOR

Попытки найти файл для установки Polipo на Windows заняли много времени, поскольку разработчики предлагали скомпилировать экзешник самостоятельно. Скачал чей-то готовый для пробы, но пришла в голову мысль - посмотреть Privoxy. Его и установил... Здесь копия конфигурационного файла.

Список ссылок на все случаи работы с PROXY

Три десятка ссылок Scrapy+Tor, Privoxy, Polipo, Netsh Commands for Windows, Удалённый MAC-адрес по IP и наоборот и размышления о моей системе работы с прокси... Публикую этот пост после сбора ссылок в текстовый файл (при серфинге в Kali)

Первый удачный запуск связки proxychains+Tor

Как все это запустить? Проще не бывает, если конечно запускать из консоли, а не из notebook. Был у меня провереный паук Dmoz. Скопировал его (со всеми остальными скриптами в Kali). И запустил из папки "spiders" командой "proxychains scrapy crawl dmoz". Правда, сначала пришлось запустить Tor из папки с демонами "/etc/init.d/tor start".
Здесь же собраны ссылки на файлы с настройками Tor, Polipo (альтернатива?) и документацию к Telnet

Как запустить Proxychains and Tor и посмотреть на это в Telnet и w3m

Видео "Kail Linux : T0r And Proxychains" я понял не сразу, а после того, как проосмотрел похожие... Proxychains может обойтись двумя ссылками на socks4 spcks5 TOR. Здесь только два ролика, а еще небольшие фрагманты справки по Telnet и w3m. В первом ролике показано, как Nmap сканирует порты..., впечатляет.

GTunnel is the latest of our FREEWARE client software offerings. Download GTunnel?

Я полагал, что должны быть сервисы - налоги Tor, и вот нашел "Garden Networks For Information Freedom", а нашел по запросу "linux redsocks". Ссылки даны ниже.
Одна маленькая ложка дегтя: в новостях на главной странице описаны пробемы сервиса (ограничения скорости, только китайские IP... в 2011г. последняя новость...).

Achieving Anonymity with Tor Part 5:Tor Bridges and Hidden Services ... Комментарии к статье

Когда в стране заблокирован сам сервис Tor, то можно использовать "Tor Bridges", которые ведут к компьютерам волонтеров "Tor relays". Пока мне это все ни к чему, но сама идея может быть использована...

Achieving Anonymity with Tor Part 4:Tor Relays ... Комментарии к статье

В этой статье речь идет о создании "Tor relay" - установке на домашний компьютер специального софта, позволяющего другим пользователям сети использовать ваш IP для своих благородных целей. Здесь простой копипаст. Свои мысли (если появятся) буду писать в комментариях.

Achieving Anonymity with Tor Part 3: Torbutton and Tsocks... Комментарии к статье

Здесь рассматривается Torbutton и установка Tsocks. Последняя библиотека позволяет подключать к Tor любые приложения. Так что, эту статью обязательно надо изучить без спешки.

Achieving Anonymity with Tor Part 2: Proxies and DNS servers Комментарии к статье

Это вторая часть курса (всего пять). Здесь есть красивая картинка несколько вариантов связки двух proxy, второй из которых всегда Tor. В качестве альтернативных прокси рассматриваются BURP, Polipo, Privoxy

Achieving Anonymity with Tor Part 1: ... Комментарии к статье

В первой части статьи автор показывает, как установить и настроить Top вручную, а потом демонстрирует и обычную установку, когда скрипт устанавливает Tor, privoxy, Vidalia...
Потом идет введение в концепцию безопасности Tor, все шифруется...

Промежуточные итоги (и ссылки) по теме PROXY

Количество найденных статей превосходит уровень моих знаний. Навязчивая ...идея-фикс: найти сервер, который бы ротировал free proxy при выполнении задач big data, а не scraping`a ... Я уже нашел уйму вариантов с TOR, параллельно нашел десятки прокси-серверов..., зачем их вообще столько напридумывали?
И раз их так много, то должны быть и те, которые мне нужны. И чем меня не устраивают серверы на Python?

При первом запуске vidalia Tor выдает предупреждения

Update март 2015: Уже более года Vidalia можно не устанавливать. Инсталлировать Tor-Browser стало проще. Новые инструкции и ссылки в комментариях к посту. Далее текст првоначального поста. Depricated: Здесь мы решаем проблемы с утановкой vidalia и TorBrowser на Debian. О настройке vidalia есть мануал c картинками на сайте
После установки в Debian не сразу нашел луковицу(иконнку программы) в трее наверху, но обнаружил "vidalia" в разделе меню "Intenet". При открытии программа выдала предупреждение и попросила прочитаь лог:

Разбираем статью "How to create an advanced proxy server using Tor, Privoxy, and Squid"

Еще одна отлична статья и еще один автор, сейчас разбирать некогда, поэтому просто копирую сюда с сайта Mighty Computers ~ Deliverance, Diligence and Expertise

TOR With Python Tutorial #1 (С модулями socks socket ...по мотивам видеоролика и нового репозитория Pysocks на GitHub)

Этот пост можно понять только, если освоил сокеты. У меня это процесс как раз проходит (см. пост с видео про сокеты ), потому здесь дадим основные ссылки для самообучения. Сначала то, что я просмотрел (в порядке просмотра), потом неудачная попытка выполнить код из ролика.