Scrapy - Shell
描述
Scrapy shell 可用于抓取无错误代码的数据，无需使用 spider。Scrapy shell 的主要目的是测试提取的代码、XPath 或 CSS 表达式。它还有助于指定要从中抓取数据的网页。
配置 Shell
可以通过安装 IPython（用于交互式计算）控制台来配置 shell，这是一个功能强大的交互式 shell，具有自动完成、彩色输出等功能。
如果您在 Unix 平台上工作，那么最好安装 IPython。如果无法访问 IPython，您还可以使用 bpython。
您可以通过设置名为 SCRAPY_PYTHON_SHELL 的环境变量或定义 scrapy.cfg 文件来配置 shell，如下所示 −
[settings] shell = bpython
启动 Shell
可以使用以下命令启动 Scrapy shell −
scrapy shell <url>
url 指定需要抓取数据的 URL。
使用 Shell
Shell 提供了一些额外的快捷方式和 Scrapy 对象，如下表 − 所述
可用快捷方式
Shell 在项目中提供了以下可用快捷方式 −
| Sr.No | 快捷方式和说明 |
|---|---|
| 1 | shelp() 它通过帮助选项提供可用的对象和快捷方式。 |
| 2 | fetch(request_or_url) 它从请求或 URL 收集响应，相关对象将得到正确更新。 |
| 3 | view(response) 您可以在本地浏览器中查看给定请求的响应以进行观察，并且为了正确显示外部链接，它会将基本标签附加到响应中body。 |
可用的 Scrapy 对象
Shell 在项目中提供了以下可用的 Scrapy 对象 −
| Sr.No | Object &描述 |
|---|---|
| 1 | crawler 指定当前的 crawler 对象。 |
| 2 | spider 如果当前 URL 没有 spider，则通过定义新的 spider 来处理 URL 或 spider 对象。 |
| 3 | request 指定最后收集的页面的 request 对象。 |
| 4 | response 指定 response 对象用于最后收集的页面。 |
| 5 | settings 它提供了当前的 Scrapy 设置。 |
Shell 会话示例
让我们尝试抓取 scrapy.org 网站，然后按照说明开始从 reddit.com 抓取数据。
在继续之前，我们首先将启动 shell，如以下命令所示 −
scrapy shell 'http://scrapy.org' --nolog
Scrapy 将在使用上述 URL 时显示可用的对象 −
[s] Available Scrapy objects:
[s] crawler <scrapy.crawler.Crawler object at 0x1e16b50>
[s] item {}
[s] request <GET http://scrapy.org >
[s] response <200 http://scrapy.org >
[s] settings <scrapy.settings.Settings object at 0x2bfd650>
[s] spider <Spider 'default' at 0x20c6f50>
[s] Useful shortcuts:
[s] shelp() Provides available objects and shortcuts with help option
[s] fetch(req_or_url) Collects the response from the request or URL and associated
objects will get update
[s] view(response) View the response for the given request
接下来，开始对象的操作，如下所示 −
>> response.xpath('//title/text()').extract_first()
u'Scrapy | A Fast and Powerful Scraping and Web Crawling Framework'
>> fetch("http://reddit.com")
[s] Available Scrapy objects:
[s] crawler
[s] item {}
[s] request
[s] response <200 https://www.reddit.com/>
[s] settings
[s] spider
[s] Useful shortcuts:
[s] shelp() Shell help (print this help)
[s] fetch(req_or_url) Fetch request (or URL) and update local objects
[s] view(response) View response in a browser
>> response.xpath('//title/text()').extract()
[u'reddit: the front page of the internet']
>> request = request.replace(method="POST")
>> fetch(request)
[s] Available Scrapy objects:
[s] crawler
...
从 Spider 调用 Shell 来检查响应
只有当您期望获得该响应时，您才可以检查 Spider 处理的响应。
例如 −
import scrapy
class SpiderDemo(scrapy.Spider):
name = "spiderdemo"
start_urls = [
"http://mysite.com",
"http://mysite1.org",
"http://mysite2.net",
]
def parse(self, response):
# You can inspect one specific response
if ".net" in response.url:
from scrapy.shell import inspect_response
inspect_response(response, self)
如上代码所示，您可以使用以下函数 − 从 spider 调用 shell 来检查响应
scrapy.shell.inspect_response
现在运行 spider，您将看到以下屏幕 −
2016-02-08 18:15:20-0400 [scrapy] DEBUG: Crawled (200) (referer: None) 2016-02-08 18:15:20-0400 [scrapy] DEBUG: Crawled (200) (referer: None) 2016-02-08 18:15:20-0400 [scrapy] DEBUG: Crawled (200) (referer: None) [s] Available Scrapy objects: [s] crawler ... >> response.url 'http://mysite2.org'
您可以使用以下代码检查提取的代码是否正常工作 −
>> response.xpath('//div[@class = "val"]')
它将输出显示为
[]
上面一行只显示了一个空白输出。现在您可以调用 shell 来检查响应，如下所示 −
>> view(response)
它将响应显示为
True
