Google Web Search API已被弃用,并替换为自定义搜索API(请参阅http://code.google.com/apis/websearch/) .
我想搜索整个网络,但看起来新API只能搜索自定义网站 .
有没有办法以编程方式搜索整个网络?我能够使用Java程序中的JSON查询旧API .
Google Web Search API已被弃用,并替换为自定义搜索API(请参阅http://code.google.com/apis/websearch/) .
我想搜索整个网络,但看起来新API只能搜索自定义网站 .
有没有办法以编程方式搜索整个网络?我能够使用Java程序中的JSON查询旧API .
10 回答
以下是自定义搜索控制面板底部的选项: "Sites to search" ,您可以选择 "Search the entire web but emphasize included sites"
是的,Google自定义搜索现在已经替换了旧的搜索API,但是 you can still use Google Custom Search to search the entire web ,尽管自定义搜索设置中的步骤并不明显 .
To create a Google Custom Search engine that searches the entire web:
在Google自定义搜索主页(http://www.google.com/cse/)中,单击“创建自定义搜索引擎” .
键入搜索引擎的名称和说明 .
在“定义您的搜索引擎”下的“要搜索的站点”框中,输入至少一个有效的URL(现在,只需将www.anyurl.com放到此屏幕即可 . 稍后详细介绍) .
选择所需的CSE版本并接受服务条款,然后单击“下一步” . 选择所需的布局选项,然后单击“下一步” .
单击“下一步”部分下的任何链接以导航到“控制”面板 .
在左侧菜单中的“控制面板”下,单击“基本” .
在“搜索首选项”部分,选择“搜索整个网络”,但强调包含的网站 .
单击“保存更改” .
在左侧菜单中的“控制面板”下,单击“站点” .
删除在初始设置过程中输入的站点 .
现在,您的自定义搜索引擎将搜索整个网络 .
Pricing
Google自定义搜索每天为您提供100次免费查询 .
之后,您每1000次查询支付5美元 .
每天最多有10,000个查询 .
资料来源:https://developers.google.com/custom-search/json-api/v1/overview#Pricing
搜索质量远低于普通Google搜索(没有同义词,"intelligence"等)
Google似乎甚至计划完全关闭此服务 .
在docs之上有一个注释:
deprecation policy表示他们将继续运行API 3年 . 因此,如果您已经有一个使用旧API的应用程序,那么您不必重新编写新应用程序,请使用Custom Search API . 有关如何在Python中执行此操作,请参阅我的答案here,但对于任何语言,这个想法都是一样的 .
Google自定义搜索(在评分最高的答案中提倡)运行良好,但与其竞争对手(下方)或与其他Google API相比,价格非常昂贵 . 它有一个小的免费套餐(100个查询/天)和每1000个查询5美元的非常高的价格 .
他们提供了升级到网站搜索的选项,它的价格稍微好一点,但是这是为了搜索一个网站(你自己的),所以它确实是一个非常不同的东西 - 而不是升级 .
主要的替代方案似乎是:
Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
其中有一个5000q /月的免费等级,价格从每分钟5个查询开始,并没有硬性限制 .
更新:在2016年底,这个API被关闭,有利于其Azure对应"Cognitive Services Bing Search API":
https://azure.microsoft.com/en-us/services/cognitive-services/search/
See here为定价图表,1,000笔交易的起价为3美元/米 . 除非我遗漏了什么,否则它非常昂贵 .
Yahoo BOSS Search API
更新:已于2016年3月31日停产.http://developer.yahoo.com/boss/search/
对于整个网络搜索,价格从大约12个查询/便士开始 .
有些我以前没有听说过:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.commoncrawl.org/
http://www.entireweb.com/search_api/implementation/
[已停止 - 如下所述]
在this SO post上对其中一些进行了一些讨论 .
[因为偏离主题而关闭,现在已经不见了]
有一个名为JFreeWebSearch的免费Java API,它使用已经提到过的Faroo:http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
您可以直接在Google自定义搜索主页(http://www.google.com/cse/)中创建"everywhere"自定义搜索引擎 . 在添加新引擎期间,您应该只需单击'advanced' . 在那里,您可以提供Schema.org站点类型 . 'Thing'是最通用的类型,涵盖了所有网络 .
您可以像浏览器一样发送它们,然后解析html,这就是我一直以来所做的,即使是像Youtube这样的事情 .
我刚刚从Common Crawl遇到过这个问题 .
http://www.commoncrawl.org/
可能是我们都在寻找的答案!
法鲁有free Web Search API
Gigablast提供廉价的网络搜索API:http://www.gigablast.com/searchfeed.html