标签下面没有
。
.. code-block:: none
$x('//div//a')
[ More information... ]
$x('//div/a')
[ ]
你也可以选择属性。http://example.com/上唯一的属性是链接href，可以通过下面的方式找到：
.. code-block:: none
$x('//a/@href')
[href="http://www.iana.org/domains/example"]
你也可以只通过text( )函数选择文字：
.. code-block:: none
$x('//a/text()')
["More information..."]
寻找特定属性，例如@class、或属性有特定值时，你会发现XPath非常好用。例如，//a[@href]可以找到所有链接，//a[@href="http://www.iana.org/domains/example"]则进行了指定的选择。
当属性值中包含特定字符串时，XPath会极为方便。例如，
.. code-block:: none
$x('//a[@href]')
[
More information...]
$x('//a[@href="http://www.iana.org/domains/example"]')
[
More information...]
$x('//a[contains(@href, "iana")]')
[
More information...]
$x('//a[starts-with(@href, "http://www.")]')
[
More information...]
$x('//a[not(contains(@href, "abc"))]')
[
More information...]
在http://www.w3schools.com/xsl/xsl_functions.asp在线文档中你可以找到更多类似的函数，但并非都常用。
在Scrapy终端中可以使用同样的命令，在命令行中输入
> scrapy shell "http://example.com"
终端会向你展示许多写爬虫时碰到的变量。其中最重要的是响应，在HTML中是HtmlResponse，这个类可以让你在Chrome使用xpath( )方法$x。下面是一些例子：
.. code-block:: none
response.xpath('/html').extract()
[u'
...</body></html>']
response.xpath('/html/body/div/h1').extract()
[u'<h1>Example Domain</h1>']
response.xpath('/html/body/div/p').extract()
[u'<p>This domain ... permission.</p>', u'<p><a href="http://www.iana.org/domains/example">More information...</a></p>']
response.xpath('//html/head/title').extract()
[u'<title>Example Domain']
response.xpath('//a').extract()
[u'
More information...']
response.xpath('//a/@href').extract()
[u'http://www.iana.org/domains/example']
response.xpath('//a/text()').extract()
[u'More information...']
response.xpath('//a[starts-with(@href, "http://www.")]').extract()
[u'
More information...']
这意味着，你可用Chrome浏览器生成XPath表达式，以便在Scrapy爬虫中使用。
Chrome浏览器可以帮助我们获取XPath表达式这点确实对开发者非常友好。像之前演示的那样检查一个元素：右键选择一个元素，选择检查元素。开发者工具被打开，该元素在HTML的树结构中被高亮显示，可以在右键打开的菜单中选择Copy none，表达式就复制到粘贴板中了。
.. image:: assets/22-48-15.png
你可以在控制台中检测表达式：
.. code-block:: none
$x('/html/body/div/p[2]/a')
[
More information...]
常见工作
########################################
下面展示一些XPath表达式的常见使用。先来看看在维基百科上是怎么使用的。维基百科的页面非常稳定，不会在短时间内改变排版。
- 取得id为firstHeading的div下的span的text：
.. code-block:: none
//h1[@id="firstHeading"]/span/text()
- 取得id为toc的div下的ul内的URL：
.. code-block:: none
//div[@id="toc"]/ul//a/@href
- 在任意class包含ltr和class包含skin-vector的元素之内，取得h1的text，这两个字符串可能在同一class内，或不在。
.. code-block:: none
//*[contains(@class,"ltr") and contains(@class,"skin-vector")]//h1//text()
实际应用中，你会在XPath中频繁地使用class。在这几个例子中，你需要记住，因为CSS的板式原因，你会看到HTML的元素总会包含许多特定的class属性。这意味着，有的
的class是link，其他导航栏的
的class就是link active。后者是当前生效的链接，因此是可见或是用CSS特殊色高亮显示的。当抓取的时候，你通常是对含有某个属性的元素感兴趣的，就像之前的link和link active。XPath的contains( )函数就可以帮你选择包含某一class的所有元素。
- 选择class属性是infobox的table的第一张图片的URL：
.. code-block:: none
//table[@class="infobox"]//img[1]/@src
- 选择class属性是reflist开头的div下面的所有URL链接：
.. code-block:: none
//div[starts-with(@class,"reflist")]//a/@href
- 选择div下面的所有URL链接，并且这个div的下一个相邻元素的子元素包含文字References：
.. code-block:: none
//*[text()="References"]/../following-sibling::div//a
- 取得所有图片的URL：
.. code-block:: none
//img/@src
提前应对网页发生改变
****************************************
爬取的目标常常位于远程服务器。这意味着，如果它的HTML发生了改变，XPath表达式就无效了，我们就不得不回过头修改爬虫的程序。因为网页的改变一般就很少，爬虫的改动往往不会很大。然而，我们还是宁肯不要回头修改。一些基本原则可以帮助我们降低表达式失效的概率：
- 避免使用数组序号
Chrome常常会在表达式中加入许多常数
.. code-block:: none
//*[@id="myid"]/div/div/div[1]/div[2]/div/div[1]/div[1]/a/img
如果HTML上有一个广告窗的话，就会改变文档的结构，这个表达式就会失效。解决的方法是，尽量找到离img标签近的元素，根据该元素的id或class属性，进行抓取，例如：
.. code-block:: none
//div[@class="thumbnail"]/a/img
用class抓取效果不一定好
使用class属性可以方便的定位要抓取的元素，但是因为CSS也要通过class修改页面的外观，所以class属性可能会发生改变，例如下面用到的class：
.. code-block:: none
//div[@class="thumbnail"]/a/img
过一段时间之后，可能会变成：
.. code-block:: none
//div[@class="preview green"]/a/img
- 数据指向的class优于排版指向的class
在上一个例子中，使用thumbnail和green两个class都不好。thumbnail比green好，但这两个都不如departure-time。前面两个是用来排版的，departure-time是有语义的，和div中的内容有关。所以，在排版发生改变的情况下，departure-time发生改变的可能性会比较小。应该说，网站作者在开发中十分清楚，为内容设置有意义的、一致的标记，可以让开发过程收益。
- id通常是最可靠的
只要id具有语义并且数据相关，id通常是抓取时最好的选择。部分原因是，JavaScript和外链锚点总是使用id获取文档中特定的部分。例如，下面的XPath非常可靠：
.. code-block:: none
//*[@id="more_info"]//text( )
相反的例子是，指向唯一参考的id，对抓取没什么帮助，因为抓取总是希望能够获取具有某个特点的所有信息。例如：
.. code-block:: none
//[@id="order-F4982322"]
这是一个非常差的XPath表达式。还要记住，尽管id最好要有某种特点，但在许多HTML文档中，id都很杂乱无章。
总结
########################################
编程语言的不断进化，使得创建可靠的XPath表达式从HTML抓取信息变得越来越容易。在本章中，你学到了HTML和XPath的基本知识、如何利用Chrome自动获取XPath表达式。你还学会了如何手工写XPath表达式，并区分可靠和不够可靠的XPath表达式。第3章中，我们会用这些知识来写几个爬虫。