Промежуточные итоги (и ссылки) по теме PROXY

Количество найденных статей превосходит уровень моих знаний. Навязчивая ...идея-фикс: найти сервер, который бы ротировал free proxy при выполнении задач big data, а не scraping`a ... Я уже нашел уйму вариантов с TOR, параллельно нашел десятки прокси-серверов..., зачем их вообще столько напридумывали?
И раз их так много, то должны быть и те, которые мне нужны. И чем меня не устраивают серверы на Python?

Очевидно, что надо прекратить поиски и подключить TOR... а дальше поэксперементировать с Brup, например...
Но сначала здесь сохраним многочисленные ссылки

http://doc.scrapy.org/en/0.16/intro/tutorial.html
These are guides contributed by the Scrapy community
Собираем данные с помощью Scrapy - a lot of comments... it is habrahabr
video Scraping Web Pages with Scrapy

Scrapy – Web Crawling with a Proxy Network

Use scrapy with a list of proxies generated from proxynova.com - The first run will generate the list of proxies from http://proxynova.com and store it in the cache. It will individually check each proxy to see if they work and remove the ones that timed out or cannot connect to.

proxynova.com Proxy Articles

Using Scrapy with proxies
Random proxy middleware for Scrapy - Processes Scrapy requests using a random proxy from list to avoid IP ban and improve crawling speed. Get your proxy list from sites like http://www.hidemyass.com/ (copy-paste into text file and reformat to http://host:port format)

Серверы, которые меня заинтересовали¶

How to connect to https site with Scrapy via Polipo over TOR?

Scrapy: Run Using TOR and Multiple Agents
Scrapy: Run Using TOR and Multiple Agents Part 2

Make Scrapy work with socket proxy
The scrapy has provided HttpProxyMiddleware to support http proxy, if you want to make your web crawler to go through proxy, the first thing you need to do is modify your setting file just like this

Polipo - Because it has primitive filtering capabilities, Polipo can be used in place of ad-filtering, privacy-enhancing proxies such as Junkbuster, Privoxy or WWWOFFLE. As Polipo has much more refined HTTP support, it doesn't impose the speed tax usually associated with such proxies.

Privoxy wiki
Privoxy 3.0.21 User Manual

Getting Started With Burp Suite
Squid Cache

Статьи о нестандартных связках (bundle) TOR разных авторов и ссылки на серверы, которые они используют¶

How to create an advanced proxy server using Tor, Privoxy, and Squid

Running Your Own Anonymous Rotating Proxies DeleGate HAProxy

Multiple Circuit Tor Solution
Tor MongoDB PyMongo SocksiPy Python
Running Your Own Anonymous Rotating Proxies
Tor DeleGate HAProxy

Прежде чем продолжать, пойдем и установим TOR¶

Даже на Windows захотелось установить связку (прочитал - понравилось). Потом можно быстренько добавить Polipo (он запускается без установки)... Да и Scrapy у меня стоит..., и Brup уже скачал...

Посты чуть ниже также могут вас заинтересовать