Поиск по блогу

Показаны сообщения с ярлыком grab. Показать все сообщения
Показаны сообщения с ярлыком grab. Показать все сообщения

воскресенье, 30 марта 2014 г.

Размышления (и ссылки) о неизбежности прокси-сервера, Proxyfire , scrapy, grab

Вчера был именно тот день, когда я сказал себе: "Еслия я хочу регулярно "граббить" сайты, то буду заваливать их запросами... Они меня легко "вычислят" и забанят. Причем, вычислят не просто "легко", а "показательно легко" ... Кардинальное решение проблемы - анонимайзер ...??? И я решил разобраться, как это делают другие?

среда, 5 февраля 2014 г.

Проба кода grab и furl для задачи "Процессинг csv таблиц"

У меня в репозитории ждут своего часа с десяток бибилиотек для парсинга html страниц. Здесь мы посмотрим, как работает grab.
С одной стороны, автор старается быть последовательным: сначала мы подготовили соглашение о наименованиях (файлов и директорий), потом, вот уже третий пост, последовательно кодируем процессы работы с файлами CSV.
Здесь подошла очередь процесса сохранения скачаных файлов. Очевидно, что сначала файлы нужно скачать. Потому здесь рассмотрим пример с библиотекой grab.