Из базовой статьи "Scraping One Million Points A Day, Here's How (TUTORIAL)" - перечисление всех инструментов.

Статью Scraping One Million Points A Day, Here's How (TUTORIAL) я посчитал настолько важной, что решил закопипастить ее по частям и добавить свои комментарии.
Но после прочтения решил, что здесь будет только первая часть со всеми ссылками на сервисы и софт.

Размышления (и ссылки) о неизбежности прокси-сервера, Proxyfire , scrapy, grab

Вчера был именно тот день, когда я сказал себе: "Еслия я хочу регулярно "граббить" сайты, то буду заваливать их запросами... Они меня легко "вычислят" и забанят. Причем, вычислят не просто "легко", а "показательно легко" ... Кардинальное решение проблемы - анонимайзер ...??? И я решил разобраться, как это делают другие?

Витание в облаках... установка и первые шаги с GitHub ... а как работать с нескольких компьютеров с разными OS?

Это второй пост, который я пишу с компьютера с ОS Debian... Именно этот дистрибутив я запустил вчера с USB Stick и проверил в режиме persistence. Именно IPython я поставил с помощью apt get ... и был счастлив, когда после перезагрузки "ipython notebook" нашелся и запустился (об этом предыдущий пост). Во второй части поста я создал свой репозитоий на GitHub, потом попробовал его синхронизировать с локальным Debian..., сразу не получлось, пришлось смотреть видео... Потом я еще три дня читал книгу Последняя версия перевода книги за 24.03.2013 доступна в форматах pdf, epub и mobi.

Как я бросил все и стал читать книжки PRO GIT... и придумал три классификатора.

Этот пост начинается с рассуждений о важности инфраструктуры... системе принятия решений..., потом я планировал здесь разобрать пример работы переводчиков book progit, однако решил написать о процессах самообучения на примере progit.
Получилось несколько простых классификаций (работа с открытыми проектами, стадии изучения, стадии завершенности проекта обучения), которые надеюсь использовать

Удачный видеоролик "Kali Live USB with Persistence (Non Amnesic)

Здесь, устанавливая и настраивая Kali Live USB вслед за автором видео, я продвинулся в понимании "persistence" Видео настолько хорошо закоментировано, что я просто скопировал в текст со ссылками.
В итоге я "таки это сделал"... Скачал Win32 Disk Imager, загрузил Kali, записал на флешку... При помощи gparted создал на usb ext4 раздел и смонтировал его... и стало все "persistence". Здесь только HowTo, продолжение следует...

Статья "Web Scraping" - заготовка для изучения библиотеки Patterns и ... lxml, requests, Scrapy, Beautiful Soup

Случайно нашел библиотеку Patterns... Пришел в щенячий восторг, скопировал в локальный GitHub, там примеров (сотни ?). Если учесть материалы на сайте разработчика CLIPS The module is free, well-document and bundled with 50+ examples and 350+ unit tests. Но в ближайшее время надо осваивать другие темы, потому здесь тупо копирую статью, которую надо будет разобрать тщательнейшим образом.

TOR With Python Tutorial #1 (С модулями socks socket ...по мотивам видеоролика и нового репозитория Pysocks на GitHub)

Этот пост можно понять только, если освоил сокеты. У меня это процесс как раз проходит (см. пост с видео про сокеты ), потому здесь дадим основные ссылки для самообучения. Сначала то, что я просмотрел (в порядке просмотра), потом неудачная попытка выполнить код из ролика.

A few things that work best/only at the IPython terminal or Qt console clients (10) "... SciPy2013 Tutorial, Part 3 of 3"

На 15 минуте 40 секунде решили поговорить о консольных командах. В перовом примере был записан на диск файл "%%file script.py", а потом выполнен "%run script" ... Во втором примере был также записан файл с делением на ноль и импортом модуля, при остановке "where the notebook still lags the terminal and qt consoles" ... В видео показывается, что qt console подключена к пространству имен ядра и может его изменять.... Справка по %run ... Пример с %debug (только в видео на 22 минуте) Потом "The %gui magic enables the integration of GUI event loops with the interactive execution loop" ... %connect_info %logstart %notebook

Customizing IPython - Extensions (9) "... SciPy2013 Tutorial, Part 3 of 3"

Это практикум по раширениям (extensions) IPython - модулям со специальными функциями. Видео для этой темы нет..., только файл. Его я просто скопировал (на будущее). Здесь есть %load_ext module, %%cython ...let's create an extension...

Customizing IPython - Magics (8) "IPython in Depth, SciPy2013 Tutorial, Part 3 of 3"

Customizing IPython - Magics (8) "IPython in Depth, SciPy2013 Tutorial, Part 3 of 3"¶

На 90-й минуте (третьего) видеоролика речь зашла о настройке пользовательских %magic. Начинвется пост с примера "%timeit A=numpy.random.random((1000,1000))", потом определяются "Define %tic and %toc magics, which can be use for simple timings"... Затем "load a notebook into memory using IPython.nbformat."... После этого можно было оперировать объектом notebook, как dictionary.... Потом "Now I can run all of the code cells with get_ipython().run_cell"... И наконец "write and register an %nbrun line magic to run a notebook"

Configuring IPython (7) "IPython in Depth, SciPy2013 Tutorial, Part 3 of 3"

Третий (36-минутный)видеоролик начинается с рекомендаций по получению помощи (help), далее излагаются принципы работы с конфигурационными файлами, создается дополнительный профиль, разбираются команды консоли и %config magic ...приводится пример с построением синусоиды с Numpy и перенастройкой формата вывода картинки "%config InlineBackend.figure_format = 'svg'". Затем рассматривается пример "Start Up files"

Defining Custom Display Logic for Your Own Objects (7) "IPython in Depth, SciPy2013 Tutorial, Part 2 of 3"

На 74 минуте мы дошли до примеров того, как ... "how you can add custom display logic to your own classes". В процессе были написаны примеры классов с использованием repr, Pandas, Sympy, %Matplotlib

IPython's Rich Display System (6) "IPython in Depth, SciPy2013 Tutorial, Part 2 of 3"

На 60-ой минуте речь зашла о "from IPython.display import display" ... получился длиннющий пост. Разбираем images, video, HTML, Javascript, Pandas, SymPy, Iframe, Latex... Примеров много, скрипты javascript читают и записывают файлы..., строят SVG картинку ... впечатляет импорт аудиоплеера.

Python for Hackers - Networkers Primer (Sockets, Webserver)

В подборке "видео для хакеров". Очень хорошо ребята излагают. Надо не забыть пересмотреть все видеоролики (у них еще есть). Здесь я подготовил файлы с кодом "один в один"... Код не работает. Наверное, надо пробовать "современный" вариант из /docs.python.org ,,, и пробовать в Linux, поскольку в Windows есть какие-то ограничения. В предыдущем посте я пытался освоить API Tor, здесь - сокеты..., но ничего не получается..., дальше будем осваивать Python with Linux

Здесь я нашел примеры кода (вроде бы) для видео внизу. Есть еще второе видео (продолжение). Но лучше использовать примеры с официального сайта docs.python.org

Как настроить показ видео YouTube (объект iFrame ...&start=34)

Как сделать так, чтобы встроеный в блог видеоплеер начинал воспроизведение не с начала, а с определенного момента времени? Задачка решается очень просто. Вот справка от Google YouTube Embedded Players and Player Parameters, которую я использовал. Здесь есть не только параметры, но и javascripts, и видео на 22 минуты.

Typesetting Math (5) "IPython in Depth, SciPy2013 Tutorial, Part 2 of 3"

На 59-ой минуте ролика (5) "IPython in Depth, SciPy2013 Tutorial, Part 2 of 3" зашла речь о LaTeX ...Здесь несколько примеров и ссылки MathJax website

Markdown Cells (4) SciPy2013 Tutorial, Part 2 of 3

Третья часть ролика начинается с 46 минуты (3 IPython in Depth, SciPy2013 Tutorial, Part 2 of 3) иллюстрирует язык разметки Markdown. В конце поста рекомендации о том, как обезопасить работу сервера с файлами.

IPython Notebook Basics (3) SciPy2013 Tutorial, Part 2 of 3

Здесь пример использования 'from IPython.nbformat import current' из текущего файла считываются содержание первых пяти ячеек в формате json, как распечатать содержание ячеек по индексу... Это начал о видеоролика IPython in Depth, SciPy2013 Tutorial, Part 2 of 3

Running Code in the IPython Notebook (2) SciPy2013 Tutorial, Part 2 of 3

Здесь (2) продолжение видео "IPython in Depth, SciPy2013 Tutorial, Part 2 of 3" (до 46 минуты). Пример работы с %load, загружаем скрипт с [matplotlib.org] (http://matplotlib.org/examples/api/histogram_path_demo.html) и выполняем его получаем гистограмму в отдельном окне редктора

IPython in Depth, SciPy2013 Tutorial, Part 1 of 3 "IPython: beyond plain Python"

Видео надо смотреть с 25-ой минуты (IPython in Depth, SciPy2013 Tutorial, Part 1 of 3 )... Как получать помощь (? ?? %quickref ...), история , i, _7, %history -n 1-5, files=!ls, !echo