-
24 votesanswersviews
UnicodeEncodeError:'ascii' codec可以't encode character u' \ u2026'
我正在学习urllib2和Beautiful Soup,并且在第一次测试时遇到如下错误: UnicodeEncodeError: 'ascii' codec can't encode character u'\u2026' in position 10: ordinal not in range(128) 似乎有很多关于这种类型的错误的帖子,我已经尝试了我能理解的解决方案,但似乎有22个跟他们一... -
0 votesanswersviews
pip install urllib2 #failed [复制]
这个问题在这里已有答案: Python 3.2 Unable to import urllib2 (ImportError: No module named urllib2) [duplicate] 3个答案 我试图在cmd控制台中安装urllib2从python 3.5导入它 . 我收到此错误: pip install urllib2 urllib2命令构建轮失败命令“c:\ anaco... -
33 votesanswersviews
如何在python中下载任何(!)网页和正确的字符集?
问题 When screen-scraping a webpage using python one has to know the character encoding of the page. 如果你得到的字符编码错误,你的输出就会搞砸了 . 人们通常使用一些基本技术来检测编码 . 它们使用标头中的字符集或元标记中定义的字符集,或者使用encoding detector(它不关心元标记或 He... -
565 votesanswersviews
urllib,urllib2和requests模块之间有什么区别?
在Python中, urllib , urllib2 和requests模块之间有什么区别?为什么有三个?他们似乎做同样的事情...... -
279 votesanswersviews
如何使用请求下载图像
我'm trying to download and save an image from the web using python' s requests 模块 . 这是我使用的(工作)代码: img = urllib2.urlopen(settings.STATICMAP_URL.format(**data)) with open(path, 'w') as f: f.write(i... -
4 votesanswersviews
python urllib2基本身份验证
您好我正在尝试使用python使用urllib2访问API URL: import urllib2 url = 'https://XXXXXXXXXX.com/' username = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' password = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' passman = urlli... -
3 votesanswersviews
在python中使用urllib2和Tor拒绝连接
我对python很新 . 我正在尝试为我正在开发的项目编写一个非常简单的Web scraper . 在这个过程中,我试图使用Tor来更改我的IP地址,这样我就不会与我正在抓取的服务断开连接 . 在将其添加到我的项目之前,我试图测试特定于获取新IP的代码 . 这是我正在测试的代码 . from TorCtl import TorCtl import urllib2 for i in range(1... -
2 votesanswersviews
获取请求strava v3 api python的活动
编辑 - 因为我无法't tag this with Strava here are the docs if you'感兴趣 - http://strava.github.io/api/ 我完成了身份验证,并在response.read中获取了access_token(以及我的运动员信息) . 我在下一步遇到问题:我想返回有关特定活动的信息 . import urllib2 import... -
10 votesanswersviews
Python / Django从URL下载图像,修改并保存到ImageField
我一直在寻找一种从URL下载图像,在其上执行一些图像处理(调整大小)动作,然后将其保存到django ImageField的方法 . 使用两个很棒的帖子(下面链接),我已经能够下载图像并将其保存到ImageField . 但是,一旦我拥有它,我一直在操作文件时遇到一些麻烦 . 具体来说,模型字段save()方法需要File()对象作为第二个参数 . 所以我的数据最终必须是一个File()对象 . ... -
0 votesanswersviews
Python - 使用HTML标记进行Web抓取
我正在尝试抓取一个网页列出URL中发布的作业:https://careers.microsoft.com/us/en/search-results?rk=l-hyderabad 有关网页检查的详细信息,请参阅图像Web inspect 通过网页检查观察到以下情况: 列出的每个作业都在HTML li中,其中class =“jobs-list-item” . Li在li中的父Div中包含以下htm... -
0 votesanswersviews
通过python Requests或urllib发送Soap 1.1请求
我理解正在读这篇文章的人的第一反应就是说“啊这是一个重复的请求”,但请相信我这不是 . 我已经尝试了堆栈溢出中列出的所有示例来实现我想要的但仍然没有这样做 . 我想通过urllib2将我在SoapUI中看到的以下详细信息发送到给定的WSDL,或者在通过Zeep和Suds完成失败后通过以下设置发送请求 <soapenv:Envelope xmlns:soapenv="http://s... -
0 votesanswersviews
使用BeautifulSoup的“TypeError:期望的字符串或缓冲区”
我对Python和Beautifulsoup比较陌生 . 我需要简单地解析我正在使用urllib2(用于请求和响应)和BeautifulSoup4进行解析的特定请求的响应 . 我以前使用过这些没有任何问题 . 但是,对于这个特定的项目,我很奇怪地得到错误 . 下面是我编写的代码的一部分: class WebLogin(object): def __init__(self, username, pa... -
0 votesanswersviews
如何移植使用Beautiful Soup 4的python urllib2 app(一个web scraper)来代替使用请求包
我正在尝试更新在Anaconda中使用Python 3中的Beautiful Soup 4的web scraper应用程序来使用Requests包而不是urllib,urllib2和urllib3 . urllib和urllib2在Anaconda Channels 中不存在,并且从我读过的请求包已经使urllib和urllib2过时了 . 我仍然是用于Web抓取的Python编程的新手,并且尚未... -
0 votesanswersviews
Cookie蛮力与python
我需要写一个循环来强制网站上的cookie,这就是我到目前为止所做的 . import urllib import urllib2 opener = urllib2.build_opener() i = 0 for i in range(75): opener.addheaders.append(('cookie',"cookie_name"+str(... -
1 votesanswersviews
代理背后的Python请求
我是企业代理(Isa Server)的幕后推手 . 当使用urllib2时,我可以通过代理连接到互联网,没有任何问题,但在使用请求库时我不能 . 这是我的urllib2代码: proxy = urllib2.ProxyHandler({}) opener = urllib2.build_opener(proxy) urllib2.install_opener(opener) page = url... -
0 votesanswersviews
Python / Feedparser:阅读RSS提要失败
我正在使用feedparser来获取RSS提要数据 . 对于大多数可以正常工作的RSS源 . 但是,我知道偶然发现一个提取RSS源的网站失败了(example feed) . 返回结果不包含预期的键,值是一些HTML代码 . 我尝试使用 urllib2.Request(url) 简单地阅读供稿网址 . 这失败并出现 HTTP Error 405: Not Allowed 错误 . 如果我添加一个自... -
2 votesanswersviews
如何找到根本原因:urllib2.URLError:<urlopen error [SSL:CERTIFICATE_VERIFY_FAILED]证书验证失败(_ssl.c:590)?
我正在尝试测试API到 breezometer.com. 当我将我的API密钥输入到网页 https://breezometer.com/api/ 时,它会返回预期的JSON回复 . 但是,输入完全相同的数据 - 在以下模仿Web请求的python脚本中(来自Python 2和3): $ cat test2.py #!/usr/bin/env python """ ... -
22 votesanswersviews
如何使用BeautifulSoup正确地将UTF-8编码的HTML解析为Unicode字符串?
我正在运行一个Python程序,它获取一个UTF-8编码的网页,我使用BeautifulSoup从HTML中提取一些文本 . 但是,当我将此文本写入文件(或在控制台上打印)时,它将以意外编码形式写入 . 示例程序: import urllib2 from BeautifulSoup import BeautifulSoup # Fetch URL url = 'http://www.voxnow...