Здесь собраны очень хорошие ссылки на urllib (штук 5), 77 videos Python Tutorials, scrapy CSVFeedSpider ... По сути, темы разные, и я решил порассуждать о планах дальнейшей работы.
Пора начинать планировать! Уровень моих знаний уже достиг высот студента-троечника, обучающегося программированию. Знаю я по-прежнему очень мало, но о многом слышал... и даже кое-что запомнил. А значит, можно попробовать расставить приоритеты.
Инфраструктура¶
Итак, python стоит на трех компьютерах и двух флешках USB-persistence.
Есть одно решение для обеспечения анонимности, но надо отладить еще два варианта.
Продумать инфраструктуру для работы с библиотеками пауков.
В сентябре понадобятся движки для публикации результатов (таблиц и диаграмм) - это отдельная большая тема, ее надо обсуждать..., может быть пока ограничится блогом? Альтернативы - управление проектами, Ipython notebook, Rapid miner...
Не надо отказываться от сервиса для сотрудничества (здесь я перебрал много вариантов bugtracers, github..., project management... polls..., crowdfinding..., но так ничего и не решил)
Нужно облако, для складирования и накопления результатов (таблицы, перекрестные запросы...) ... но пока я не знаю даже, какие метериалы я буду накапливать... Об этом надо отдельно подумать...
Есть одно решение для обеспечения анонимности, но надо отладить еще два варианта.
Продумать инфраструктуру для работы с библиотеками пауков.
В сентябре понадобятся движки для публикации результатов (таблиц и диаграмм) - это отдельная большая тема, ее надо обсуждать..., может быть пока ограничится блогом? Альтернативы - управление проектами, Ipython notebook, Rapid miner...
Не надо отказываться от сервиса для сотрудничества (здесь я перебрал много вариантов bugtracers, github..., project management... polls..., crowdfinding..., но так ничего и не решил)
Нужно облако, для складирования и накопления результатов (таблицы, перекрестные запросы...) ... но пока я не знаю даже, какие метериалы я буду накапливать... Об этом надо отдельно подумать...
Лавина организационных (и инфраструктурных) проблем¶
Далее идут вопросы рекламы и продажи. Они будут на первом месте уже осенью, как только начнутся соответствующие процессы... Нужны новые (гениальные) рекламные идеи.
Пожалуй, надо срочно начинать представительский блог. Его надо бы наполнить к октябрю. Минимальные требования - универсальный формат (форматы под компьютер-айпад).
Как это сделать так, чтобы он подошел под любой вариант продаж? Рекламировать себя? Вариант портфолио? Хорошо бы еще и темы были бы привлекательные. Можем оценить привлекательность тем? Можно ли использовать преимущества нового вида бизнеса? Нужны новые кадры..., новые услуги, новые виды заказов...
Здесь тоже есть наработки, планируем 5 часов в неделю думать на эту тему...
Пожалуй, надо срочно начинать представительский блог. Его надо бы наполнить к октябрю. Минимальные требования - универсальный формат (форматы под компьютер-айпад).
Как это сделать так, чтобы он подошел под любой вариант продаж? Рекламировать себя? Вариант портфолио? Хорошо бы еще и темы были бы привлекательные. Можем оценить привлекательность тем? Можно ли использовать преимущества нового вида бизнеса? Нужны новые кадры..., новые услуги, новые виды заказов...
Здесь тоже есть наработки, планируем 5 часов в неделю думать на эту тему...
Эксперименты с пауками¶
Можно начинать, поскольку есть связка "Tor+Proxychains".
Нужно начинать, поскольку надо практиковать Scrapy, Grub...
Нужно начинать, поскольку надо практиковать Scrapy, Grub...
Практикумы и теория¶
Именно так, практикумы на первом месте. Это мое слабое место. Каждый день - кодинг. Есть готовое решение - короткие видеоролики каждый день. Поиск видео-библиотек..., как минимум, раз в неделю.
Proxy to surf the web anonymously
Very importat post with examples of code for urllib proxy rotating Python: AssertionError: proxies must be a mapping
urllib: подключиться через proxy с логином/паролем
How can I open a website with urllib via proxy? [Python]
20.5. urllib — Open arbitrary resources by URL
20.6. urllib2 — extensible library for opening URLs
Short video with simple examplePython [urllib] 04 Proxy
77 videos Python Tutorials
Python urllib proxy access function - Coverage of possible proxy scenarios
how to use scrapy CSVFeedSpider to crawl a feed that has commas in its values?
Scrapy crawler not able to crawl data from multiple pages
Video Scrape the web using Scrappy by Anuvarat Parasha
Very importat post with examples of code for urllib proxy rotating Python: AssertionError: proxies must be a mapping
urllib: подключиться через proxy с логином/паролем
How can I open a website with urllib via proxy? [Python]
20.5. urllib — Open arbitrary resources by URL
20.6. urllib2 — extensible library for opening URLs
Short video with simple examplePython [urllib] 04 Proxy
77 videos Python Tutorials
Python urllib proxy access function - Coverage of possible proxy scenarios
how to use scrapy CSVFeedSpider to crawl a feed that has commas in its values?
Scrapy crawler not able to crawl data from multiple pages
Video Scrape the web using Scrappy by Anuvarat Parasha
Посты чуть ниже также могут вас заинтересовать
Комментариев нет:
Отправить комментарий