Список ссылок на все случаи работы с PROXY

Три десятка ссылок Scrapy+Tor, Privoxy, Polipo, Netsh Commands for Windows, Удалённый MAC-адрес по IP и наоборот и размышления о моей системе работы с прокси... Публикую этот пост после сбора ссылок в текстовый файл (при серфинге в Kali)

Как надо решать задачу о прокси-серверах? Для начала - сформулировать, что мне, собственно, надо.¶

Мне нужно, чтобы "продвинутые сайты" не банили моих пауков. При этом я не хочу решать задачу "по мере появления", а хочу найти самый простой и удобный механизм-систему. Такой суперкомбайн, в котром все уже решено теми, кто эти задачи уже решил.
Потому начнем с мехенизма бана.

Мой робот должен либо работать, как бот и подчинятся правилам (robots.txt), либо притворятся "Мозиллой" Подменять IP-адреса Подменять http-заголовки (user-agent...), Как-то работать с cooki, Что еще? https - механизм представляю довольно смутно MAC-adress - сервис-провайдер (ISP) идентифицрует меня по mac-адресу? ...не знаю точно..., кто еще...

Сразу о Mac-адресах...¶

см. "Тотальный БАНан, или чудеса подмены мак адреса в Win7" и две ссылки под этой. Глобальное "открытие" - десктопные приложения..., особенно браузеры все могут стырить... А если это сопоставить с гигабайтами внутреннего чтения-записи..., словом, надо бы вплотную занятся изучением работы и файлов chrome

Change browser proxy settings from Python¶

И системными командами Windows... В основе лежит идея смены настройки системного прокси... первые ссылки с сайтов Microsoft

Scrapy + TOR¶

Около десятка ссылок посвящено этой теме. С них и начнем. Надо будет еще понять и проверить механизм переключения прокси-серверов.

А если работать со списком прокси?¶

Можно ли менять родительские прокси для Polipo? Да. А для Privoxy можно и заголовки менять... Либо из командной строки (параметры), либо в конфигурационный файл писать... И то и другое не лучший вариант.

У тестировщиков есть похожие задачи и софт¶

ССылки на Connection Manager Administration Kit Operations Guide и Security/Projects/MinionMolina

В конце списка ссылки на подзабытые проекты¶

In [1]:

%load proxy_reg.txt

Change browser proxy settings from Python?
How can I configure proxy settings for all apps, system, IE etc?
In Windows 7, how to change proxy settings from command line?
User Proxy settings showing up in Local System Account - Correct way to apply Proxy settings
How to run Windows 8 Apps (Modern UI) Store behind College Proxy server.
How to configure proxy server settings in Windows 8

Netsh.exe and ProxyCfg.exe Proxy Configuration Tools
Netsh Commands for Windows Hypertext Transfer Protocol (WINHTTP)
Networking
Set Proxy Server via Windows Command Line

Tor Basic configuration
Scrapy and proxies
Setting Scrapy proxy middleware to rotate on each request

Scrapy middlewares for random agent list and proxy server usage.
Scrapy: Scraping CSV File - not getting any output
how to download and save a file with scrapy
scrapylib


does anybody know how to use TOR with scrapy in ubuntu?
When we combine Scrapy with Tor, we can have more control over our crawler privacy
Scraping Web Pages With Scrapy


Connection Manager Administration Kit Operations Guide
Security/Projects/Minion
Configuring Firefox to use a proxy from the command line
Script for Proxy Server Settings in Firefox
firefox proxy settings via command line

Environment Proxy
Privoxy superuser
How to run Privoxy from command line on Windows?
Privoxy The Main Configuration File

Polipo archlinux
Polipo 3.10.1 HTTP parent proxies


Proxy Changer V2
Fast IP Changer for Windows

Тотальный БАНан, или чудеса подмены мак адреса в Win7
Удалённый MAC-адрес по IP и наоборот
Как узнать свой IP-адрес и MAC-адрес

Посты чуть ниже также могут вас заинтересовать