Поиск по блогу

среда, 26 февраля 2014 г.

Где прочитать о том, как работает IPython kernel и сервер Tornado

Когда я захочу изучить тонкости Read-Evaluate-Print Loop (REPL), в частности, как работает сервер Tornado, IPython kernel, как работать с сокетами..., zeromq - Distributed Computing Made Simple я использую ссылки из этого поста...

Справочники по объектам HTML Javascript в IPython Notebook, и немного о %magic и корне сервера.

Здесь мы собрали справки по %%html %%javascript, потом загрузили from IPython.display import Javascript и распечали справку help(Javascript) ... Потом нашли справочники js и вставили их во фреймы, потом нашли корневую папку сервера http://127.0.0.1:8888/ и научились грузить во фреймы локальные файлы... Как и следовало ожидать, магические команды - это вызовы функции javascript(self, line, cell)...

понедельник, 24 февраля 2014 г.

Как получить справку в IPython... о %magic

Здесь мы рассмотрим примеры различных вариантов вызова справки help(), ?, object?, %quickref, (you can use the magic commands) %pdoc, %pdef, %psource and %pfile, а также распечатаем все возможные %magic команды (%lsmagic). А про клавишу 'TAB' не забудем никогда.

среда, 19 февраля 2014 г.

Короткий пост об обновлении Anaconda "Conda update conda"

При обновлении Anaconda возникла проблема (формирования ... стека?) В процессе изысканий я решил сделать лог (см.ниже). А вот прямая ссылка в Google Drive

Introduction to Pandas and Vincent

Этот ролик Махди Юсуфа, в предыдущем посте я "законспектировал" его пример, а этот пост тоже оправдал ожидания. Здесь есть примеры: создания индекса по времени DatetimeIndex, ресемплинга (resampling)временных рядов... и пример импорта курса акций c Yahoo.finance. Вот только визуализация (vincent)не получилась

пятница, 14 февраля 2014 г.

Pandas Data Frames and Kevin Durant 2012-13 Game Log with Mahdi Yusuf

Махди Юсуф записал 20-ти минутный скринкаст с данными, которые мне удалось найти по имени файла Kevin Durant 2012-13 Game Log Он анализирует действия игрока Кевина Дюранта...
Файл csv пришлось предварительно отредактировать, создание новой таблицы, процедура замены строки "40:00" числом (секунд) -2400, группировка... Пост заканчивается диаграммой, построенной с помощью модуля vincent - Vega

четверг, 13 февраля 2014 г.

How can I sort in a DataFrame in Pandas

Импортируем csv -> DataFrame (бейсболисты 1952 строки), строим таблицу .Year.value_counts(), выбираем 2010 год - Create a subset of mlb dataset for Year 2010, сортируем по индексу (его можно задать разными способами), строим диаграмму доходов top-10 игроков в 2010году.
Python for Data Analysis Lightning Tutorials Pandas Cookbook Series

The groupby operation with Pandas

В видеоролике: groupby=split->analize->combine, потом загружаем список бейсболистов (год,имя, доход,амплуа, клуб), группируем его по годам (DataFrameGroupBy), сортируем каждый год по доходам, из каждого года выбираем игрока с максимальным доходом (generator object). Строим диаграмму Доход/год... Проверяем при этом команду импорта %pylab inline(Populating the interactive namespace from numpy and matplotlib)

DataFrame object in Pandas

DataFrame object - это таблица с индексом. Задаем список дат (datetime), при помощи словаря задаем четыре столбца таблицы, вырезаем один столбец (Series)... следующий пример (Titanic): читаем csv-> DataFrame, еще пример "Olympic Medalists"
Python for Data Analysis Lightning Tutorials is a series of tutorials in Data Analysis, Statistics, and Graphics using Python. The Pandas Cookbook series of tutorials provides recipes for common tasks and moves on to more advanced topics in statistics and time series analysis.

среда, 12 февраля 2014 г.

How to Create a Series Object in Pandas... Key take away

Объект Series обладает своиствами списка, массива и словаря. На первый взгляд это именно то, что надо для работы с CSV файлами. Потому здесь изучаем 20-минутный видеоролик.

Видеоролик: как использовать Panadas для работы с CSV файлом

После длиннющих мануалов мне так понравилось начало этого видеоролика, что я скачал похожий файл (baby-names.csv) и решил поупражняться вместе с автором видео. Пока не знаю, подойдет ли файл... имена в Великобритании. Здесь я попробовал (наконец-то) использовать относительный путь при импорте csv файла в объект (frameset)Pandas (см. In[4])

Первое знакомство с Pandas импорт серий Yahoo и World Bank

Вот подробная документация (ниже две ссылки на один и тот же сайт). Я с ней познакомился, когда искал варианты работы с csv файлами. Причем, просто мне чем-то не понравились PyTables. Так что первая ссылка на csv-объект. 10 Minutes to Pandas, pandas: powerful Python data analysis toolkit

вторник, 11 февраля 2014 г.

Пример из руководства по PyTabes

Здесь мы рассмотрим второй пример из PyTables Tutorials. Код этого и других примеров можно найти в репозитории GitHub PyTables
Для того, чтобы понять, чего не могут PyTables, нужно прочитать Hints for SQL users. Здесь ясно можно проследить аналогии: файл .h5 это база данных, классы или словари таблиц - это определение бполей БД..., а вот с перекрестными запросами проблемы...

воскресенье, 9 февраля 2014 г.

Устанавливаем PyTables и получаем проблемы с Pandas и NumPy... Вся сборка под угрозой... Что делать?

Универсальный способ собрать стек - переустановить последние версии. После чтения постов про компиляцию и перекомпиляцию... было найдено универсальное средство - неофициальная библиотека экзешников для установки дополнений. Поскольку на эти грабли я наступил второй раз (использовал эту библиотеку и забыл про это), то публикую этот пост в назидание самому себе.

четверг, 6 февраля 2014 г.

«The Zen of Python» и мои AGILE комплексы привели к неожиданным выводам

С чего начать? С моих проблем или с цитирования? Пожалуй, сначала найду и скопирую философию Пайтона и AGILE манифест. Именно в них я хочу найти быстрые ответы. А потом, пользуясь возможностями редактора, добавлю перед ними свои рассуждения...

среда, 5 февраля 2014 г.

Проба кода grab и furl для задачи "Процессинг csv таблиц"

У меня в репозитории ждут своего часа с десяток бибилиотек для парсинга html страниц. Здесь мы посмотрим, как работает grab.
С одной стороны, автор старается быть последовательным: сначала мы подготовили соглашение о наименованиях (файлов и директорий), потом, вот уже третий пост, последовательно кодируем процессы работы с файлами CSV.
Здесь подошла очередь процесса сохранения скачаных файлов. Очевидно, что сначала файлы нужно скачать. Потому здесь рассмотрим пример с библиотекой grab.

понедельник, 3 февраля 2014 г.

Кодировка UTF-8 Или, как дружить с объектами Str и Unicode Pyton 2.x

А не замахнуться ли нам на UTF-8 и прочий Unocode, головоломки с ASCII, Latin-1, cp1251, !chcp 65001, encode('cp1251'), unicodedata, codecs.open(filepath, encoding='cp1251')... и еще line.encoding, repr() - посмотреть кодировку, ord(),chr(),hex(),bin()