對(duì)于多線程的使用，我們經(jīng)常是用thread來(lái)創(chuàng)建，比較繁瑣. 在Python中，可以使用map函數(shù)簡(jiǎn)化代碼。map可以實(shí)現(xiàn)多任務(wù)的并發(fā)
簡(jiǎn)單說(shuō)明map()實(shí)現(xiàn)多線程原理：
task = [‘任務(wù)1', ‘任務(wù)2', ‘任務(wù)3', …]
map 函數(shù)一手包辦了序列操作、參數(shù)傳遞和結(jié)果保存等一系列的操作，map函數(shù)負(fù)責(zé)將線程分給不同的CPU。
在 Python 中有個(gè)兩個(gè)庫(kù)包含了 map 函數(shù)： multiprocessing 和它鮮為人知的子庫(kù) multiprocessing.dummy.dummy 是 multiprocessing 模塊的完整克隆，唯一的不同在于 multiprocessing 作用于進(jìn)程，而 dummy 模塊作用于線程。
代碼如下：
from multiprocessing.dummy import Pool as ThreadPool
import os
import requests
import time
import numpy as np
# 文件夾位置
filepath = r'C:\Users\Administrator\Desktop\ceshi'
pool = ThreadPool(10)#開(kāi)啟線程數(shù),即一次性拋出的請(qǐng)求數(shù)
time_list = []#用來(lái)計(jì)算時(shí)間
xml_list = []#數(shù)據(jù)集
pathDir = os.listdir(filepath)
for i, allDir in enumerate(pathDir):
filename = os.path.join('%s%s' % (filepath + '\\', allDir))
kk = open(filename, 'r', encoding='utf-8').read()
data = kk.encode('utf-8')
for k in range(10):
xml_list.append(data)
def res(data):
# 訪問(wèn)目標(biāo)服務(wù)器地址
url_host = 'https://mp.csdn.net/mdeditor#'
start = time.clock()
s = requests.post(url_host, data=data)
end = time.clock()
if s.status_code == 200:
print(end-start)
time_list.append(end-start)
else:
print('請(qǐng)求失敗')
# 傳入的參數(shù),1為函數(shù), 2為參數(shù)
result = pool.map(res, xml_list)
all_arr = np.array(time_list)
aver = np.mean(all_arr)
variance = np.var(all_arr)
mid = np.median(all_arr)
min_num = np.min(all_arr)
max_num = np.max(all_arr)
print('平均值 : '+ str(aver))
print('方差 : ' + str(variance))
print('中值 : ' + str(mid))
print('最小值 : ' + str(min_num))
print('最大值 : ' + str(max_num))
個(gè)人做的小測(cè)試，如果有錯(cuò)誤的地方希望留言提出意見(jiàn)及建議。
補(bǔ)充：python多進(jìn)程(multiprocessing)(map)
map的基本使用：
map函數(shù)一手包辦了序列操作，參數(shù)傳遞和結(jié)果保存等一系列的操作。
from multiprocessing.dummy import Pool
poop = Pool(4) # 4代表電腦是多少核的
results = pool.map(爬取函數(shù),網(wǎng)址列表)
from multiprocessing.dummy import Pool as ThreadPool
import requests
import time
kv = {'user-agent':'Mozilla/5.0'}
def getsource(url):
html = requests.get(url,headers=kv)
urls = []
for i in range(0,41):
i = i*50
newpage = 'https://tieba.baidu.com/f?kw=讀書(shū)ie=utf-8pn=' + str(i)
urls.append(newpage)
# 單線程爬取
time1 = time.time()
for each in urls:
print(each)
getsource(each)
time2 = time.time()
print('單線程耗時(shí): ' + str(time2-time1))
# 多線程爬取
pool = ThreadPool(8)
time3 = time.time()
results = pool.map(getsource, urls)
pool.close()
pool.join()
time4 = time.time()
print('多線程所消耗時(shí)間:' + str(time4 - time3))
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
您可能感興趣的文章:- python中的內(nèi)置函數(shù)max()和min()及mas()函數(shù)的高級(jí)用法
- python print()函數(shù)的end參數(shù)和sep參數(shù)的用法說(shuō)明
- python處理emoji表情(兩個(gè)函數(shù)解決兩者之間的聯(lián)系)
- 解決python2中unicode()函數(shù)在python3中報(bào)錯(cuò)的問(wèn)題
- python繪圖subplots函數(shù)使用模板的示例代碼
- python-opencv中的cv2.inRange函數(shù)用法說(shuō)明
- Python input()函數(shù)用法大全
- python Pool常用函數(shù)用法總結(jié)
- Python函數(shù)參數(shù)中的*與**運(yùn)算符
- 詳解python函數(shù)傳參傳遞dict/list/set等類型的問(wèn)題
- Python3去除頭尾指定字符的函數(shù)strip()、lstrip()、rstrip()用法詳解
- Python進(jìn)階之高級(jí)用法詳細(xì)總結(jié)
