在beautifulsoup的上下文中，lxml和html5lib解析器的功能有区别吗？我正在尝试学习使用BS4并使用以下代码构造 -
ret = requests.get('http://www.olivegarden.com')
soup = BeautifulSoup(ret.text, 'html5lib')
for item in soup.find_all('a'):
print item['href']
我开始使用lxml作为解析器，但注意到对于某些网站，即使页面中有有效链接，也永远不会输入for循环 . 同一页面适用于html5ib解析器 . 是否有任何特定类型的页面可能无法与lxml一起使用？
我在Ubuntu上使用python-lxml 2.3.2-1和libxml2 2.7.8.dfsg-5.1ubunt和html5lib-1.0b3
编辑：我更新到lxml 3.1.2仍然看到相同的问题 . 在运行3.0.x的Mac上，正在正确解析同一页面 . 有问题的网站是www.olivegarden.com
1 回答
html5lib使用HTML规范中定义的HTML parsing algorithm，并在所有主流浏览器中实现 . lxml使用libxml2的HTML解析器 - 这最终基于他们的XML解析器，并且不会对其他地方使用的无效HTML进行任何错误处理 .
大多数Web开发人员只使用Web浏览器进行测试 - 标准被诅咒 - 所以如果你想获得页面作者的意图，你可能需要使用类似当前浏览器的html5lib，