前言

requests是Python發(fā)送接口請(qǐng)求非常好用的一個(gè)三方庫，由K神編寫，簡(jiǎn)單，方便上手快。但是requests發(fā)送請(qǐng)求是串行的，即阻塞的。發(fā)送完一條請(qǐng)求才能發(fā)送另一條請(qǐng)求。為了提升測(cè)試效率，一般我們需要并行發(fā)送請(qǐng)求。這里可以使用多線程，或者協(xié)程，gevent或者aiohttp，然而使用起來，都相對(duì)麻煩。

grequests是K神基于gevent+requests編寫的一個(gè)并發(fā)發(fā)送請(qǐng)求的庫,使用起來非常簡(jiǎn)單。

安裝方法： pip install gevent grequests項(xiàng)目地址：https://github.com/spyoungtech/grequests

grequests簡(jiǎn)單使用

首先構(gòu)造一個(gè)請(qǐng)求列表，使用grequests.map()并行發(fā)送，得到一個(gè)響應(yīng)列表。示例如下。

import grequestsreq_list = [ # 請(qǐng)求列表 grequests.get(’http://httpbin.org/get?a=1&b=2’), grequests.post(’http://httpbin.org/post’, data={’a’:1,’b’:2}), grequests.put(’http://httpbin.org/post’, json={’a’: 1, ’b’: 2}),]res_list = grequests.map(req_list) # 并行發(fā)送，等最后一個(gè)運(yùn)行完后返回print(res_list[0].text) # 打印第一個(gè)請(qǐng)求的響應(yīng)文本

grequests支持get、post、put、delete等requests支持的HTTP請(qǐng)求方法，使用參數(shù)和requests一致，發(fā)送請(qǐng)求非常簡(jiǎn)單。通過遍歷res_list可以得到所有請(qǐng)求的返回結(jié)果。

grequests和requests性能對(duì)比

我們可以對(duì)比下requests串行和grequests并行請(qǐng)求100次github.com的時(shí)間，示例如下。使用requests發(fā)送請(qǐng)求

import requestsimport timestart = time.time()res_list = [requests.get(’https://github.com’) for i in range(100)]print(time.time()-start)

實(shí)際耗時(shí)約100s+

使用grequests發(fā)送

import grequestsimport timestart = time.time()req_list = [grequests.get(’https://github.com’) for i in range(100)]res_list = grequests.map(req_list)print(time.time()-start)

際耗時(shí)約3.58s

異常處理

在批量發(fā)送請(qǐng)求時(shí)難免遇到某個(gè)請(qǐng)求url無法訪問或超時(shí)等異常，grequests.map()方法還支持自定義異常處理函數(shù)，示例如下。

import grequestsdef err_handler(request, exception): print('請(qǐng)求出錯(cuò)')req_list = [ grequests.get(’http://httpbin.org/delay/1’, timeout=0.001), # 超時(shí)異常 grequests.get(’http://fakedomain/’), # 該域名不存在 grequests.get(’http://httpbin.org/status/500’) # 正常返回500的請(qǐng)求]res_list = grequests.map(reqs, exception_handler=err_handler)print(res_list)

運(yùn)行結(jié)果：

請(qǐng)求出錯(cuò)請(qǐng)求出錯(cuò)[None, None, <Response [500]>]

以上就是Python使用grequests并發(fā)發(fā)送請(qǐng)求的示例的詳細(xì)內(nèi)容，更多關(guān)于Python grequests發(fā)送請(qǐng)求的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！