Файлы таблиц могут иметь разное число столбцов, столбцы разное форматирование, если использовать DataFrame Pandas, то эти задачки решаются очень просто. Здеся я попытался использовать возможности Notebook, PDB, чтобы совместить выполнение кода, тестирование, документирование, логирование...
Сначала "ставим задачу", потом последовательно выполняем в итераторе импорт файлов со столбцами "Brandt 2014y 2013y 1413y 2014m 2013m 1413m Datem", добавляем столбец, читстим и преобразуем два столбца object в Float64, преобразуем строки в даты... Сохраняем все на диск и в инфо-файл.
01.Импортируем модули и библиотеки¶
import os
import pandas as pd
02. Зададим все константы в этом разделе (дописывать только сюда)¶
# Path to dir with files Must end with traling slash '/'
DIRPATH = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv/1aug2/'
# Insert my columns names in Dataframe objects
COLNAMES =['Brandt', '2014y', '2013y', '1413y', '2014m', '2013m', '1413m', 'Datem']
# Filter only filenames with
filterfilenames = 'eng_car-sales-in'
# При считывании каждого файла во фрейм нужно будет добавлять столбец дат,
# для этого мы используем список и словарь:
months = ['january', 'febrary', 'march', 'april', 'may', 'jun',
'july', 'august','september', 'october','november', 'december']
dict = {'january':'31-1', 'febrary':'28-2', 'march':'31-1',
'april':'30-4', 'may':'31-5', 'june':'30-6',
'july':'31-7', 'august':'31-8','september':'30-9',
'october':'31-10','november':'30-11', 'december':'31-12'}
# Path to save dir for new fles Must end with traling slash '/'
#DIRPATH = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv/1aug2/'
newpath = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new/'
#COLNAMES =['Brandt', '2014y', '2013y', '1413y', '2014m', '2013m', '1413m', 'Datem']
1. Выбор исходных данных. Рабочие папки с файлами, просмотрим и решим, что делать?¶
В предыдущем посте на эту тему мы закончили тем, что создали папку и записали в нее два файла, однако главный файл не записался. Потому из предыдущего поста убираем все лишнее, чтобы сделать шаблон для работы
!ls /media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new
# %load /media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new/2014_info.txt
"""Записал первый вариант сводного файла за 2014 год из папки
DIRPATH = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv/1aug2/'
Здесь пока только 9 месяцев...
"""
Внимание!!! Получается, что исходных папок несколько, как минимум, две... Мне сначала нужно будет записать сборку из 9 файлов (исправить ошибку предыдущей работы), а потом в эту новую папку поместить сборку из оставшихся трех файлов... а какоето время спустя надо будет все склеивать с 2015 годом... Пока думаю, что все проще делать тупо по годам, и на каждый чих (сборку) создавать свой отдельный файл .ipnb ...Получается, что здесь все, исходники, резултаты, методы... и еще и лог
####2 Куда и как будем сохранять результаты
2.1 Подготовим информационный файл (вот в такой вид), но сохраним его в последнюю очередь.¶
# Don`t forget to create folder
!mkdir /media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new
Этот код запустить после всех исправелний и проверок. Сюда мы переходим после того, как сформирован и почищен объект pdall.
%%file /media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new/2014_info.txt
resources folder: /media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv
filters: if csvfile.startswith filterfilenames = 'eng_car-sales-in'
concatent sourcefiles: 9
eng_car-sales-in-april-2014.csv
eng_car-sales-in-august-2014.csv
eng_car-sales-in-december-2014.csv
eng_car-sales-in-july-2014.csv
eng_car-sales-in-june-2014.csv
eng_car-sales-in-may-2014.csv
eng_car-sales-in-november-2014.csv
eng_car-sales-in-october-2014.csv
eng_car-sales-in-september-2014.csv
headers: COLNAMES =['Brandt', '2014y', '2013y', '1413y', '2014m', '2013m', '1413m', 'Datem']
results: newpath = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new/2014.txt'
help: [Первый рабочий пример конкатенции таблиц с преобразованием форматов столбцов object -> float]
http://pythonr.blogspot.ru/2015/04/object-float.html
weblog: http://pythonr.blogspot.ru/2015/04/pandas.html
2.2 Проверим опции для сохранения объекта pdall в файл, но выполним код в ячейках в предпоследнюю очередь.¶
# Path to dir with files
#DIRPATH = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv/1aug2/'
#newpath = '/media/MYLINUXLIVE/Documents/Xpdf/aerbu_2014_all_csv_new'
# Columns in pdall
#COLNAMES =['Brandt', '2014y', '2013y', '1413y', '2014m', '2013m', '1413m', 'Datem']
print newpath
print COLNAMES
pdall.to_csv(newpath + '2014.csv',
sep=';',
#float_format='%.8f',
columns=COLNAMES,
index=False)
Итак, подготовка закончилась, начнем процесс обработки, потом снова вернемся к пп.2 и сохраним результаты¶
3. Просмотрим файлы в папке с исходными файлами и выберем подходящие¶
Сначала получим список файлов, его можно распечатать, а можно загнать в список(?) Чтобы потом легче было просмтривать здесь или вызывать.
#filelist =[]
for csvfile in os.listdir(DIRPATH):
if csvfile.startswith('eng_car-sales-in'):
print csvfile
# fullcsvfile = DIRPATH + csvfile
#filelist.append(fullcsvfile)
Тест: просмотреть файлы можно здесь (для этого надо раскомментировать три строки в коде выше)¶
Можно все просматривать старым дедовским способом - при помощи текстового редактора. Можно импортировать таблицу в объект DataFrame Pandas, но, как показывает опыт - объект может просто не открыться... , наконец, можно в цикле загрузить все в отдельную Notebook... из всех этих идей здесь пробуем вот такой вариант:
%load filelist['0']
4. Настроим фильтры для отбора исходных файлов в папке¶
Не надо забывать про проект правил, там все написано Проект соглашения с самим собой об обработки файлов таблиц AEBto3tables
Здесь можно проверять варианты фильтров, а константы надо записывать в начало поста, вот, что я уже использовал **# Filter only filenames with filterfilenames = 'eng_car-sales-in'** Этаконстанта есть в начале.
5. В процессе просмотра сюда копируем проблемные фрагмены¶
Фрагменты строк с проблемами для последующего планирования чистки
"Dodge*******","-","10","-","26","184","-86%",
"Izh","-","31","-","19","678","-97%",
"FAW","n/a","513","-","2,164","3,739","-42%",
"cars","9,322","12,625","-26.2%","103,119","129,847","-20.6%",
"vans","973","1,310","-25.7%","10,381","12,882","-19.4%",
"BENZ cars","4,240","4,157","2.0%","40,673","36,200","12.4%",
"BENZ vans","1,178","489","140.9%","6,795","3,911","73.7%",
Смотрим на строки... и планируем все действия. На первый раз я просто выделил два класса задач и записал только эту:
Сделать при импорте файла в DataFrame¶
Привести пропущенные значения, разделители тысяч, обозначить, что каждое значение в кавычках... можно в цикле считывания при импорте csv в один фрейм
# Заменить все "-", "n/a" одним Nan
# Убрать запятые- разделители разрядов "12,625" - coma
# Учесть, что каждое значение в кавычках '"'
Сделать обработку столбцов¶
- Добавить новый столбец даты, а дату взять из имени файла,
- Убрать в двух столбцах % и конвертировать значения в числа. При этом надо было проконтролироать отрицательные значения, не убрались ли "неодинокие" знаки "минус".
Далее мы возвращаемся к параметрам импорта¶
Соберем их здесь все вместе, пока не знаю точно, вставлять ли их в инфо-файл, но я чуть не забыл "В первом файле убрать строку заголовков !!!!! "
Часть имени для фильтра Да
Строки В первом файле убрать строку заголовков !!!!!
Количество строк Неодинаковое число строк в фалах
Пропуск плохихи строк error_bad_lines=False
Nan na_values=['-','n/a']
CSV quotechar='"', sep=',',
Разделитель разрядов thousands=','
6. Теперь каждый файл читаем в цикле и сначала распечатываем, что получилось, а потом осуществляем конкатенцию¶
# Для длинных файлов можно использовать такую печать
print (csvfile)
pdtemp.head(5)
print '...'
pdtemp.tail(3)
Поскольку это не боевой код, а скорее учебный, то я позволю себе такой убогий прием, как комментирование-раскомментирование строк. Комментари исправа омечают, как Раскоментировать для печати
Почему я документирую столь примитивный код? Потому, что в дальнейшем не хочу думать, надеюсь просто тупо выполнять элементарные действия.
6.0 Прежде, чем запускать это код надо выполнить метод addDatem() в ячейке под этой¶
Если сразу все не распечатается,то код используем для пофайловой отладки (печати)
#import pdb; pdb.set_trace() #Если раскоментировать, то можно испоьзовать паузы
pdall = pd.DataFrame()
for csvfile in os.listdir(DIRPATH):
if csvfile.startswith(filterfilenames):
csvfile_path = os.path.join(DIRPATH, csvfile)
pdtemp = pd.read_csv(csvfile_path, error_bad_lines=False, \
names=COLNAMES, na_values=['-','n/a'], \
quotechar='"', sep=',', thousands=',')
pdtemp['Datem'] = addDatem(csvfile) #Закомментировать
pdall = pd.concat([pdall, pdtemp], ignore_index=True) #Закомментировать
#print (csvfile) #Раскомментировать
#print (pdtemp) #Раскомментировать
print(pdall) #Закомментировать
6.1. Тест: После того, как объект pdall сформирован, проверим визуально¶
# Как сформирован столбец дат, мы его сами слепили...
# Как осуществлена конкатенция
Для справки: метод addDatem()¶
def addDatem(csvfile):
# Parse month name from filename
namen = csvfile.split('-')[3] # 'april' for example
# Replace strings with dict 'april':'30-4',
datstr = dict[namen] + '-2014' # '30-4-2014'
return datstr
Для справки: Тест для addDatem. Можно проверить, как все работает¶
csvfile = 'eng_car-sales-in-april-2014.csv'
addDatem(csvfile)
7 Выполнить только если использовал выше дебаггер и хочешь сохранить его записи выше.¶
Точнее, если выше пришлось изменить код и печатать исходные файлы, а не создавать обект pdall, то здесь создадим и распечатаем этот pdall.
#import pdb; pdb.set_trace() #Если раскоментировать, то можно испоьзовать паузы
pdall = pd.DataFrame()
for csvfile in os.listdir(DIRPATH):
if csvfile.startswith(filterfilenames):
csvfile_path = os.path.join(DIRPATH, csvfile)
pdtemp = pd.read_csv(csvfile_path, error_bad_lines=False, \
names=COLNAMES, na_values=['-','n/a'], \
quotechar='"', sep=',', thousands=',')
pdtemp['Datem'] = addDatem(csvfile) #Закомментировать
pdall = pd.concat([pdall, pdtemp], ignore_index=True) #Закомментировать
#print (csvfile) #Раскомментировать
#print (pdtemp) #Раскомментировать
print(pdall) #Закомментировать
####Итак, все исходные файлы теперь в одном объекте. начнем чистить и преобразовывать столбцы
8. Удалить '%' и сменить формат на числовой (Важно! )¶
У нас осталось две строки процентов, надо убрать из них знаки "%" и перевести в формат float
ИЗ Python for Data Analysis
Часть данных имеет вид целых, а в части есть 888.555 точка. В процессе предыдущих экспериментов я пытался все перевести в формат Int, но мне не попадались дроби..., только посмотрев (распечатав выше) все данные, понял, почему выскакивала ошибка.
Так что просто выполним код:
pdall['1413y'] = pdall['1413y'].str.replace('%','').astype(float)
pdall['1413m'] = pdall['1413m'].str.replace('%','').astype(float)
Тест Важно! тип столбцов должен быть "float64" (а был "object")¶
pdall.info(verbose=True, buf=None, max_cols=None, memory_usage=True, null_counts=True)
9. Нужно ли убирать в первом столбце '*' ??? Пока не знаю. Отредактирую эту строчку, если решу убирать¶
# Тест
pdall['Brandt'].str.replace('*','').astype(object)
pdall['Brandt'].tail()
II Если мы хотим редактировать или использовать столбец дат¶
И нам нужно, чтобы столбец строк, который мы добавили в объект читался, как столбец дат... то можно использовать метод .to_datetime
#### Тест: Конвертация строки в объект даты
pd.to_datetime(pdall.Datem).tail() # == pd.to_datetime(pd001['Datem'])
II.1 Теперь можно изменить столбец Datem (осторожно, лучше просто создать копию !!!):¶
pdall.Datem = pd.to_datetime(pdall.Datem) #pd.Datem(pd001.dat) # == pd.to_datetime(pd001['dat'])
Если мы записываем промежуточный файл, то менять формат категорически не рекомендуется. Мы можем забыть, что что-то изменили...
III Проверка результатов (перед сохранением в файл)¶
Осталось проверить trailing spaces, но Pandas за такимим мелочами следит сам (в чем я не уверен)
III Тест_1: Визуальный контроль фрагментов¶
pdall.head(), pdall[30:40], pdall.tail(5)
III Тест_2: Контроль форматов столбцов¶
pdall.info(verbose=True, buf=None, max_cols=None, memory_usage=True, null_counts=True)
Осталось только сохранить объект Dateframe в файл¶
Для это не мешкая вернемся к пп.2 обязательно проверим, отредактируем параметры записи и запишем два файла: Сначала сохраним объект pdall в файл csv, Потом запишем информационный файл.
Посты чуть ниже также могут вас заинтересовать
Комментариев нет:
Отправить комментарий