Jupyter и IPython - заметки при первом беглом чтении документации

Заинтересовался темой Making kernels for IPython. Нашел описание This section focuses on IPython and Jupyter notebook and how they interact. Однако времени на изучение нет. Здесь фрагменты и ссылки, для будущих упражнений.
И видео (немного не оп теме) "Real time Collaborative Jupyter Notebook in Escherpad"

Устанавливаем kernel R essentials для Jupyter Notebook

После того, как я научился команде activate py35 (см. предыдущие посты), захотелось попробовать Jupyter Notebook c ядром nodejs, но не получилось, зато ядро R установил без проблем.

Упражняемся с Conda (Anaconda) и учимся переключать окружение Python

Год назад я попробовал разобраться с настройкой переменных окружения для переключения между версиями iPython, но навалился фронтенд (с заказами), так что пришлось "вспоминать" javascript и осваивать nodejs... Здесь я возвращаюсь к этой задачке (в плане софт для статичтических исследований, а он под Python 3). Проверил актуальност старого поста, нашел "новую" документацию. Все наладил при помиощи activate py35, jupyter notebook

Видеокурс "Разработка веб-сайтов с использованием Python и Django"

На сайте Microsoft Virual Academy собраны бесплатные видеокурсы. Здесь первый видеоролик, естественно, на английском, а подстрочник на русском (!?)

Свежие видео о Ipython Notebook JuPyter

Я год не заглядывал в документацию, а зря все развивается очень бурно. Здесь видео с обзорами, а к ним код с nbviewer.ipython.org Интерактивные виджеты, Параллельные вычисления, Кастомизация, использование компонетов в других приложениях...

Создаем для JuPyter возможность одновременной работаты c Python 2.7 Python 3.4

Одолели мысли по поводу использования notebook для отладки Javascript. Обнаружил, что с третьим питоном делать это можно очень просто. Здесь научился создавать пространство имен для python 3 conda create -n py3k python=3 anaconda, но долго не получалось запустить notebook так, чтобы в ней появились опции выбора переключения версий ядра между 2-ым и 3-им питоном. Надо было перегрузить компьютер. Здесь видео и с 10-к ссылок... на документацию. Там все просто...

Копипаст IPython Notebook: Javascript/Python Bi-directional Communication

После беглого прочтения статья показалась мне очень интересной, потому и скопировал к себе в черновики. Потом прочитал о новых возможностях juPyter, и отложил дальнейшее изучение... Однако "...Nevertheless, I thought folks might be interested to hear what I've learned"

This notebook originally appeared as a post on Pythonic Perambulations by Jake Vanderplas.

Между делом: надо не забывать про "conda update conda"

Смотрел видео про виджеты в Питоне. Там авторитетные люди начали с того, что обновили версии. Захотел, чтобы и у меня было, как у людей. Обновился, а "ipython notebook" выдает No module named notebook.notebookapp. Пришлось гуглить... Как бы мне научиться планировать инфраструктурные задачи...

Здесь пытался понять, как лучше использовать Jupyter для отладкт javascript

Надо было подобрать и настроить ява скрипты для сайта. Если делать это в NOtebook, то можно сразу и отладить и записать варианты настройки. Заманчиво... но как это сделать? Как загружать на страницу jypyter кастомные js скрипты и стили? Оказывается, что вариантов несколько, в зависимости от того, что нам надо. Для глобальных задач есть специальная папка .ipython\profile_default\static\custom\custom.js, файл custom.js автоматически вставляется в тег head страницы. Для тетирования фрагментов кода предусмотрены объекты в IPython.display (Display, HTML, Javascript, IFrame ...), а еще есть магики %%html %%javascript В сочетании с возможностью загрузки внешних скриптов $.getScript('/static/custom/util.js'); и обращения к element.append(myvar) (Use the element variable for printing in the cell output area) все это надо осваивать. Здесь примеры и ссылки.

Выбираем (в Pandas) инструменты для экспресс-анализа истории поисковых запросов

Хорошо было бы иметь методику анализа поисковых запросов, над ней еще предстоит поразмышлять, а здесь я попробовал не расчитывать, а сразу строить нормировки (на графиках процессов), диаграммы рассеяния и коэффициенты корреляции. Получилась вот такая последовтельность:
Копипастим таблицу "История запрсов" Yandex-Direct в ячейку ipython notebook,
Чистим и редактируем содержание ячейки (кириллица, копипастим разделители)
Считываем содержание в DataFrame (Pandas) .read_csv(StringIO(posobie_c),sep=" ", ...)
Заменяем элементы в подстроках и конвертируем строки в числа .str.replace(',','.').astype('float')
Для удаления части подстроки используем регулярные выражения .str.replace(r'.+ - ','')
Или просто разбиваем строку на подстроки и оставляем подстроку f.Period.str.split(' ').str[2]
Назначаем индекс .set_index('Period') (понадобится ось X для диаграмм)`
Строим две зависимости на одной диаграмме f.set_index('Period').nabs2.plot(secondary_y=True, style='g')
Строим диаграммы рассеяния (scatterplot)
Рассчитываем коэффициенты корреляции

Как легально скачать и установить обновленный Windows 8.1 на VMare и загрузочную флешку

Предстояло иметь дело с сомнительным софтом, и я вспомнил о "простаивающей" виртуальной машине. Поначалу поытался найти способ сделать из моего дистрибутива ISO-образ, но оказалось, что ntgthm можно скачать новенький дистрибутив Windows. Здесь я собрал ссылки на статьи, в которых рассказывается , как
1. Скачать ISO-образ с "Create installation media for Windows 8.1"
2. Узнать свой ключ активации.
3. Установить Windows (с моим ключом активации) на виртуальную машину VMware.
4. Сделать из ISO-образа загрузочную флешку (пусть будет).

Инструкция по подключению дебаггера "Using A Remote Debugger With CasperJS and PhantomJS"

Ну очень понравилось... Особенно после того, как я помучился с node-inspector. Здесь механизм тот же. Используется мощнейший дебаггер браузера (webkit). Запуск PhantomJS скрипта возможен с опцией --remote-debugger-port=9000. Таким образом можно загрузить в любой "внешний" браузер (но только webkit, естественно) не только сам скрипт (из фантома), но и html страницы, и файлы, которые запрашивает Phantomjs.
Похвалюсь, описание настройки дебаггера нагуглил по собственной инициативе... в документации попалась только опция. Здесь же ссылка Description of the V8 debugger JSON based protocol.

Устанавливаем Casperjs на Debian (Kali) из GitHub и находим способ "phantomjs casperscript.js"

Установка простая, если не считать того, что CasperJS version 1.1.0-beta3 at /usr/local/share/casperjs, using phantomjs version 1.9.8 (Casper пока рабтает только с предыдущей версия Phantom). Кроме того, я решил выполнять скрипты casper из консоли REPL, для этого учусь запускать касперскрипты в командной строке phantomjs.
Хотя, пробовать будем потом, здесь только краткие фрагменты из документации.

Устанавливаем Phantomjs на Debian (Kali) так, чтобы потом установить Casperjs

На моент написания поста последняя версия Casperjs соответствовала предыдущему релизу Phantomjs. Так что мне пришлось искать в репозитории версию phantomjs-1.9.8-linux-i686 и устанавливать ее. Здесь подробный лог установки. Надо запомнить прием создания символической ссылки ln -sf /usr/local/share/$PHANTOM_JS/bin/phantomjs /usr/local/bin

Почему редактор brackets не работает на машине с Kali, буду юзать его под windows

После установки Google Chrome я полагал, что редактор наконец заработает, но не тут-то было. Вот такая ошибочка вышла version 'GLIBC_2.15' not found required by /opt/brackets/lib/libcef.so . У меня хватило ума прервать мои вечерние упражнения с установкой новых программ, и сегодня с утра я сказал себе: "Обновить центровую графическую библиотеку всей сборки? Оно тебе надо?" Как там у классика? Кажется: "Люди потеряли дух авантюризма..." И я тоже... Старею, однако... Но здесь три ссылки с решением для авантюристов и логи моих безрезультатных экзерсисов...

Как установить Google Chrome Stable Version On Kali (Debian, Ubuntu)

Этот тот случай, когда надо бы использовать репозиторий разработчика. Но не везло мне с репозиторием Гугла. Не хотел дистрибутив Chrome устанавливаться без ошибок. Наверное, не очень то мне и хотелось... Но вот приспичило, и установил с помощью волшебного удара в бубен apt-get install -f. Надо его запомнить.

Размышляем на тему Python + Cron

Пока я не придумал ничего лучше, чем Cron. И, дабы не переписывать расписание, настроенного под Linux на Windows, меня устроила бы обертка того и другого..., например python-crontab.
Всего здесь с десяток ссылок ...для дальнейших размышлений...

Пробуем команды debugger; чтобы исследовать модуль request nodejs

Чтобы вывести в консоль заголовки можно использовать NODE_DEBUG=request node r01.js . Команда выглядит необычно, второй вариант NODE_DEBUG=response ... Эта опция дожна рвботать с любым модулем (?).

Правим код к видео "Web Scraping in Node.js". Правило: Видео - документация - stakoverflow

Три дня назад я опубликова пост "Посмотрел Web Scraping in Node.js ...". У меня тогда не получилось выполнить код из видео. Оказалось, что синтаксис команды var url = this.attr('href'); теперь такой var url = $(this).attr("href");. Gjlhj. На странице Cheerio все хорошо документированио, на StackOverFlov тоже есть примеры. Здесь не только ссылки, но и записан процесс поиска ошибки, и обоснование правила: видео - документация - stackoverflow, немного о jQuery...

Nodejs. Смотрю видео, запоминаю три приема с debugger, а проба node-inspector в комментариях

И все это на машине с Kali (Debian). Очередная попытка установить софт "между делом" не прошла. Дело: смотрю видео (от Кантора) дабы освоить дебаггер, тупо устанавливаю node-inspector, а он сообщает мне, что не находит Chrome, действительно, нет на этой машине ни одного вебкита.
Между делом:Нахожу в инете мануал How to Install Google Chrome in Kali Linux, но оказывается, что дело это хлопотное... Спрашивается, зачем я это сделал? Думать было некогда!