您的位置: 网站首页> requests爬虫> 当前文章
requests库安装及常用操作介绍
老董-我爱我家房产SEO2019-07-18165围观,101赞
python爬虫模块有两种比较常见,第一种为urllib模块,第二种为requests模块。urllib模块比较恶心,需要手动处理url编码、post请求参数等,requests模块出现后,就快速的代替了urllib模块。
但凡编程用到的模块或者框架都有其官方文档,但是官方文档往往看起来吃力或者写的逻辑比较反人类,但是requests文档比较易懂,完全可以看文档来学习操作。
参考官网:http://2.python-requests.org/zh_CN/latest/user/quickstart.html。
requests安装:
pip install requests
requests常用的操作介绍(后面逐一实战应用):
第一、post基本请求参数和响应:
1、url:页面的url链接
2、data:字典格式,请求体(表单提交的数据)。通过&符号连接。浏览器中显示form data
3、cookies:字典格式(可以直接写在headers头里)
4、headers:字典格式,请求头
5、json:字符串类型,长相是字典,请求体。直接发字符串。json.dumps(dict): 浏览器中显示 payload
6、files:上传文件参数
7、响应数据:文本数据response.text、原始套接字数据response.raw、二进制数据response.content
第二、get基本请求参数和响应:
1、url:页面的url链接
2、params:字典格式,url传参
3、cookies:字典格式(可以直接写在headers头里)
4、headers:字典格式,请求头
5、响应数据:文本数据response.text、原始套接字数据response.raw、二进制数据response.content
第三、其他常用参数
身份认证: HTTP Basic Auth较为常见,auth=HTTPBasicAuth('user', 'pass')
proxies:字典类型,设定访问代理服务器,可以增加登陆认证
allow_redirects:True/False,默认为True,重定向开关
stream:True/False,默认为True,获取内容立即下载开关,下载大文件用
verify:True/False,默认为True,认证SSL证书开关
cert:本地SSL证书路径
很赞哦!
python编程网提示:转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部),获取技术资料请到公众号(底部)。同行交流请加群
相关文章
文章评论
-
requests库安装及常用操作介绍文章写得不错,值得赞赏