В процессе постановки задачи сначала в Постановка задачи "обработка файлов в папках, а потом в заключительной части поста Постановка задачи "Процессинг csv таблиц" (итерация 1) мы почти определились со структурой папок проекта. Вот те диаграммы, которые мы использовали в упомянутых постах:
In []:
# Первоначальное пронимание структуры папок
----Projects
!----Project auto
!----Nissan
!----Ford
!----2008
!----jan
!----man < 18
!----
!----
In []:
# Изменение порядка и структуры папок (в итерации 1)
auto with gender (you have to use weights) src (сайт1+счетчик1)
\ / /
period = (month) -----------------------------> without age and gender -----> src(сайт1+счетчик2)
\
with age (you have to use weights)
\\\\\\\\
src (18) (25 35 40
После того, как мы первый раз "прошли" предполагаемый процесс обработки файлов, наше мнение кардинально изменилось, ниже нарисуемокончательный вариант:
In []:
#Вот новая структура папок проектов
./project/auto/period/month/site/auto.ru/counter/mru/parametrs/2013/bymonth-bygender-bypage/
f_catlogue-nissan_y_2013_m_1-2-3-4_g_m-w_a_18-30-45-60_cm_comment_
В процессе моделирования вариантов использования структуры папок быстрос стало ясно, что ответить на вопросы: 1. Какова оптимальная очередность (вложенность ) папок? 2. Куда записыват промежуточные и суммарные файлы? 3. Как не "пропустить" важные параметры (год, марку авто...) однозначно нельзя. Даже использование "Free Mind" не прояснило картину, вот, что получилось:
In [6]:
from IPython.display import Image
Image(filename='C:\\Users\\kiss\\Pictures\\for_blogs\\csv_dir1.PNG')
Out[6]:
Очевидно, что не стоит пытаться выстроить некую универсальную структуру папок. Уповать на сквозной поиск тоже нельзя. Как же быть?
Попробуем использовать log-файлы. Т.е., попробуем записывать текстовые файлы... дадим им расширение .info и .log
1. Файл .info - это файл с поисаниями проектов - план проекта, идеи по обработке, параметры, структура папок... все то, что мы пишем при планировании проекта... Особенно, если мы решили собрать новый проект из имеющихся файлов и докачать что-нибудь...
2. Файлы .log - это запись действий..., что сделано, что не получилось....
Попробуем использовать log-файлы. Т.е., попробуем записывать текстовые файлы... дадим им расширение .info и .log
1. Файл .info - это файл с поисаниями проектов - план проекта, идеи по обработке, параметры, структура папок... все то, что мы пишем при планировании проекта... Особенно, если мы решили собрать новый проект из имеющихся файлов и докачать что-нибудь...
2. Файлы .log - это запись действий..., что сделано, что не получилось....
Идеальным был бы вариант, когда мы дублируем наши записи в интернет... Поэтому почему бы не попробовать Сначалал ве писать в notebook, а потом из некоторых ячеек делать текстовые файлы - прикреплять содержание ячейки в конец текстового файла.
Если посмотреть на этот процесс сдругой стороны, то iPython Notebook - редактор для файлов .info .log
Если посмотреть на этот процесс сдругой стороны, то iPython Notebook - редактор для файлов .info .log
Комментариев нет:
Отправить комментарий