Возвращаемся к изуению Scrapy. Начинаем с shell

Здесь 10-минутный ролик и ссылка на документацию. Лучше читать документацию. Все изложено кратко и понятно.

Почти три недели я не позволял себе отвлекатся ни на что, кроме решения задачи о ротации IP-адресов. Proxychains был хорош всем, кроме того, что не устанавливался на Windows.
Черновиков я написал за это время изрядное количество, часть из них опубликую... позже... наверное.
В конце концов решил пока написать модули для перебора списков прокси сам. Слегка переделаю то, что нашел. Но это будут ученические упражнения..., а значит, задача становистя второстепенной.

С сегодняшнего дня начинаем систематические упражнения со Scrapy. Оказывается, я не законспектировал мои упражнения с Shell. Восполняю этот пробел в моих черновиках. Ниже видео, которое меня раздражает (надо щурится...), но лучше не нашел.
А вот ссылка на прекрасную Документацию Scrapy shell
Еще мне понадобится справка по XPath Tutorial

Самая последняя ссылка на XPath, добавим, что для любого браузера лучше использовать плагин, который показывает HPath для выделенного фрагманта (меню правой конопки мыши). Для Kali я поставил XPath Checker. Он формирует строчку запроса по Id и номерам тегов...

Зачем вообще нужна такая консоль?¶

Во-первых, для отладки селекторов. Как мы знаем, в Scrapy свои три вида селекторов (XPath, CSS, RE) регулярные выражения, кстати, самые быстрые.
Кроме того, консоль полностью имитирует процесс скрапинга. Для этого она создает соответствующие объекты, с которыми можно экспериментировать.
Один раз загрузил страницу, а потом пробуй из нее вырезать все, что хочешь..., и как хочешь...

Available Shortcuts¶

shelp() - print a help with the list of available objects and shortcuts
fetch(request_or_url) - fetch a new response from the given request or URL and update all related objects accordingly.
view(response) - open the given response in your local web browser, for inspection. This will add a tag to the response body in order for external links (such as images and style sheets) to display properly. Note, however,that this will create a temporary file in your computer, which won’t be removed automatically.

The Scrapy shell automatically creates some convenient objects from the downloaded page, like the Response object and the Selector objects (for both HTML and XML content).

Those objects are:
crawler - the current Crawler object.
spider - the Spider which is known to handle the URL, or a Spider object if there is no spider found for the current URL
request - a Request object of the last fetched page. You can modify this request using replace() or fetch a new request (without leaving the shell) using the fetch shortcut.
response - a Response object containing the last fetched page
sel - a Selector object constructed with the last response fetched
settings - the current Scrapy settings

Вопросы, на которые предстоит ответить¶

А если несколько пауков ползают по одно странице? (в pdf версии руководства попался такой пример)
Можно ли пробовать (имитировать) команды обработки полей Items.field... Как кэшируется загруженая (fetched) страница? Если я запущу другого паука, он загрузит данные из кэша?

Посты чуть ниже также могут вас заинтересовать