Google的财务API不完整 - 页面上的许多数字如下：
http://www.google.com/finance?fstype=ii&q=NYSE:GE
不能通过API获得 .
我需要这些数据来根据Greenblatt的公式对加拿大证券交易所的公司进行排名，可通过谷歌搜索“greenblatt index scans”获得 .
我的问题：在这些网页上访问和处理数据的最智能/最干净/最有效的方法是什么 . 在这种情况下，这种繁琐的方法是否真的是必要的，如果是这样，那么最好的方法是什么呢？我目前正在学习与此相关的项目的Python .
3 回答
您可以尝试让Google提供缺少的API . 否则，你会遇到screen scraping，它永远不会有趣，容易在没有通知的情况下破坏，并且 likely in violation of Google's terms of service .
但是，如果你仍然想写一个屏幕刮刀，那么很难击败mechanize和BeautifulSoup的组合 . BeautifulSoup是一个HTML解析器，mechanize是一个基于Python的Web浏览器，它允许您登录，存储cookie，并且通常像任何其他Web浏览器一样导航 .
BeautifulSoup将是使用Python进行HTML解析的首选方法
您是否研究过Google以外的选项（例如Yahoo Finance API）？
刮网页总是糟透了，但我建议将它们转换为xml（通过整齐或其他一些HTML - > XML程序），然后使用xpath遍历您感兴趣的节点 .