Как подключить системный прокси. In Windows 7 proxycfg.exe has been replaced with the netsh command

Почему "не хочет" работать команда set http_proxy. Именно поэтому. Здесь ссылки, инструкции и примеры для netsh.exe winhttp import proxy source=ie (начинать надо с show proxy). Прокси в Windows можно настроить через WinINET, WinHTTP, использовать WAP - протокол автоматической настройки прокси, или тупо изменить запись в реестре (скриптом).
Здесь ссылки на все случаи проксижизни... и ghbvths команд netsh.

Работна над ошибкой http_proxy="http://127.0.0.1:8118" довела до реестра Windows Registry

Глупости мы делаем, когда спешим или думаем о другом. Когда неопытный кодер обнаруживает в "продакшене" ошибку, то надо сначала хладнокровно следовать правилу: НЕ ДУМАЙ, а тупо проверь, подключено ли питание к твоему компьютеру.

Исправляем код "Random proxy middleware for Scrapy" и открываем способ поиска в форках

Здесь в качестве упражнения разбираем хрестоматийный пример Random proxy middleware for Scrapy и находим ошибки в устаревшем коде. Результат - рабочий код... и и десяток ссылок для его рефаеторинга. Сложный поиск на GitHub не нашел в форках ... того, что удалось найти по запросу process_exception(self, request, exception, spider) proxy

Читаем статью "Проксирование в Scrapy" ... и знакомимся с middleware из проекта "tutorial"

Здесмь я якобы систематизирую мои представления о Scrapy middleware. Читать документацию - дело утомительное. Мне удалось найти короткие статьи на русском, в которых дается три рецепта: 1) http_proxy, 2) Spider settings 3) download middlewatr

Разбираем, что делает в Scrapy "downloadermiddleware\httpproxy.py"

В справке к urllib.getproxies() нашел "It scans the environment for variables named _proxy ...and when it cannot find it... looks for proxy information from ... Windows Systems Registry ..." ... и поумнел... По сути httpproxy.py этим только и занимается. Поскольку он включен по умолчанию, то надо попробовать "set (export) http_proxy"

Ссылки из процесса поиска ПРОКСИ и изучения "DownloadHandler for scrapy that uses socksipy connections"

Я буду пробовать два варианта работы с прокси: 1) TOR - переключение сущностей, 2) Списки прокси... Здесь ссылки на страницы, котрые я не хотел закрывать в течение двух недель... Потом понял, что еще две недели руки до них не дойдут... Поэтому здесь есть и txsocksx, PySocks Github, и Twisted Core, и Socket Programming HOWTO, и telnetlib python example, github scrapy-examples,

Посмотрел видео о взаимодействии telnetlib с netcat и нашел Python Sock сервер для тестов... и настроил под него Putty

Чтобы попрактиковаться с telnet+lib можно использовать netcat (sudo nc host port), в видео для этого открыты две консоли, и обмен строками текста впечатляет..., но искать вариант netcat (без вирусов) для windows лень. Проще написать sock сервер на Python. Здесь все ссылки для этого и готовый код. И справка по опциям netcat (ее надо поюзать в Kali)... И первые результатыэкспериментов с Putty и telnetlib

Читаю про .pac файлы для настройки и перключения прокси

Пробовал Proxy SwitchySharp, обнаружил там возможности работы с .pac файлами, оказалось, что и в браузерах есть такие фозможности. Здесь около двух десятков ссылок на материалы, которые я прочитал, но плохо запомнил. Так что пока не решил, как их лучше использовать... и в Fiddler тоже...

Списки плагинов для Chrome (подбирал по темам cookie, proxy, REST)

Это было начало работы по подбору плагинов для работы со Scrapy. Классический случай, когда приходится перелопачивать уйму информации понимая, что знаний не хватает. А в плагинах должно быть собрано все самое лучшее (например, как бы я узнал про .pac файлы для proxy)

Здесь советы по использованию переменной окружения HTTP_PROXY (HTTPS_PROXY)

Загнать всех в цепочку прокси можно переменной окружения HTTP_PROXY (HTTPS_PROXY) Из консоли выполняем в windows - set, в Linux - export... Но значит ли это, что все TCP/IP соединения начнут использовать прокси автоматически? Выходит, что таки да. Есть даже переменная "no_proxy" Но я, однако, сомневаюсь... но проще попробовать, чем искать ответ в сети... Не забыть опубликовать ответ в комментариях.

Как работать в Scrapy shell через прокси. Поски привели к request.meta Последующие эксперименты с TOR озадачили

Объект shell request - обертка для реклизации класса Request. Пример работы с объектом из оболочки здесь Problem logging into Facebook with Scrapy, а в этом посте мои эксперименты с request response, settings... Пост кончается тем, что я соединился с проверочным сервисом TOR (через Privoxy - TOR), а он мне сказал SORRY...

Прочитал статью "How To Make Your Own Proxy Using Google App Engine"

Здесь помимо прокси-сервера есть хороший пошаговый практикум по Google App Engine. Почти решил обзавестись собственным прокси, но нашел proxypython7 чужой уже работающий сервис. Здесь же "Web Server Gateway Interface" - статья из Википедии с изрядным списком ссылок "Веб-фреймворки и серверы приложений"

ProxyFire и косноязычный юноша с pshacks-crew.com

Косноязычный юноша не только снял плохое видео о том, как собирать прокси-листы "Как ставить на брут, соберать прокси.", но и выложил софт. Я не смог пройти мимо...
Понравилась возможность собирать огромные прокси-листы (несколько тысяч прокси) и тут же их проверять. Более того, я недавно поставил, но не попробовал толком "ProxyFire" - делает все то же, что и в ролике... Да там еще обновления автоматизировать можно... Подробности в видео "Обзор ProxyFire"

Список ссылок на все случаи работы с PROXY

Три десятка ссылок Scrapy+Tor, Privoxy, Polipo, Netsh Commands for Windows, Удалённый MAC-адрес по IP и наоборот и размышления о моей системе работы с прокси... Публикую этот пост после сбора ссылок в текстовый файл (при серфинге в Kali)

Пример подключения proxy с urllib.urlopen выдал ошибку 403, пришлось задавать HTTP-заголовки с urllib2

Решил пробовать здесь код из видеоролика с urllib.urlopen('http://www.whatismyip.com/',proxies=proxy2) но получил в ответ ошибку 403, посмотрел еще 3 видео про urllib, пришел к выводу, что лучше использовать urlib2 - скопировал пример кода и загрузил страницу (но без прокси). В следующем посте продолжу экспериментировать с urllib2.headers.headers ... proxy и посмотрю видео

RetryChangeProxyMiddleware... Можно переключать IP в Tor с помощью Python telnetlib

Здесь небольшой фрагмент кода для смены IP на основании данных ответа в Telnet. Автор вопроса использовал платный Proxy Mesh. Ему подали идею создавать новые запросы через Tor с помощью "переговоров" с Telnet... Идея понравилась, надо пробовать...

Идея о таком переключении "instance" в Tor понравилась, но была не очень понятна. Некоторое прояснение наступило после того, как прочитал в документации Scrapy о telnet console...

Штатные серверы Python и немного о python-proxy-rotator

Здесь я начал было изучать файлы Python Proxy Rotator, потом нашел ссылки на документацию Python. При беглом знакомстве с объектами BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, SocketServer... завяз, но нашел видео "Create a simple custom HTTPServer with Python" и решил, что все это надо записать для будущего изучения.

Как запустить Proxychains and Tor и посмотреть на это в Telnet и w3m

Видео "Kail Linux : T0r And Proxychains" я понял не сразу, а после того, как проосмотрел похожие... Proxychains может обойтись двумя ссылками на socks4 spcks5 TOR. Здесь только два ролика, а еще небольшие фрагманты справки по Telnet и w3m. В первом ролике показано, как Nmap сканирует порты..., впечатляет.

Код из RandomProxy выдает ошибку с пауком dmoz

В предыдущем посте я опубликовал сообщения из консоли при успешном запуске dmoz. Здесь мы добавим к этому работающему коду вставки от randomproxy (scrapy middleware), получим ошибки парсинга строк в модуле... и решим не реанимировать модуль, а посмотреть другие.

Запускаем пример паука Scrapy dmoz из "Crawling Scrapy Tutorial" все работает

Сюда я скопировал текст из консоли после выполнения команды "scrapy crawl dmoz". Дабы был пример, что видно в консоли в случае успешной работы. Сам паук находится у меня в компьютере W8 (C:). Далее начну с ним экспериментировать...