python多线程/多进程

一.概述

​ 对于python爬虫,默认的是使用单线程爬虫,在批量爬数据时速度太慢。但有的人会说,python的多线程爬虫,并不是真正意义上的多线程,它会有阻塞。但是,无论怎么说,多线程或者是多进程,速度都要比原来的单线程要快很多。当你使用多线程爬虫时,电脑风扇都会呜呜的转起来。下面举例说明多线程/多进程的创建方法,以及各种方法运行代码的速度。


二.举例

1.默认情况运行代码

input

1
2
3
4
5
6
7
8
9
10
11
import time
def test(str):
print ("Hello ",str)
time.sleep(2)

name_list =['a','b','c','d']
start_time = time.time()
for i in range(len(name_list)):
test(name_list[i])
end_time=time.time()
print("完成时间: %s S"%(end_time-start_time))

output

1
2
3
4
5
6
7
Hello  a
Hello b
Hello c
Hello d
完成时间: 8.028036832809448 S

进程已结束,退出代码为 0

2.多线程池的创建与使用

(1)使用ThreadPoolExecutor模块创建

input

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import time
from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED
def test(str):
print ("Hello ",str)
time.sleep(2)

name_list =['a','b','c','d']
start_time = time.time()
executor = ThreadPoolExecutor(max_workers=10) # 线程个数
# submit()的参数:第一个为函数, 之后为该函数的传入参数,允许有多个
future_tasks = [executor.submit(test,i) for i in name_list]
wait(future_tasks, return_when=ALL_COMPLETED)
# 等待所有的线程完成,才进入后续的执行
end_time=time.time()
print("完成时间: %s S"%(end_time-start_time))

output

1
2
3
4
5
6
7
Hello  a
Hello b
Hello c
Hello d
完成时间: 2.0162949562072754 S

进程已结束,退出代码为 0

(2)使用threading模块创建

input

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import time
import threading

#定义多线程类
class MyThread(threading.Thread):
def __init__(self, func, args):
threading.Thread.__init__(self)
self.args = args
self.func = func
def run(self):
self.func(*self.args)
def test(str):
print ("Hello ",str)
time.sleep(2)

name_list =['a','b','c','d']
start_time = time.time()
#调用多线程类,实现循环
threadList = [MyThread(test, (i,)) for i in name_list]
#创建多线程,开始调用进程
for t in threadList:
t.setDaemon(True)
t.start()
#等待主进程结束,再进行调用
for i in threadList:
i.join()
end_time=time.time()
print("完成时间: %s S"%(end_time-start_time))

output

1
2
3
4
5
6
Hello  a
Hello b
Hello c
Hello d

完成时间: 2.0125629901885986 S

3.多进程池的创建与使用

input

1
2
3
4
5
6
7
8
9
10
11
import time
from multiprocessing.dummy import Pool
def test(str):
print ("Hello ",str)
time.sleep(2)
name_list =['a','b','c','d']
start_time = time.time()
pool=Pool(10)
pool.map(test,name_list)
end_time=time.time()
print("完成时间: %s S"%(end_time-start_time))

output

1
2
3
4
5
Hello  a
Hello b
Hello c
Hello d
完成时间: 2.036229372024536 S

三.爬虫实例(爬取某网站330张图片)

1.默认

2.使用ThreadPoolExecutor模块

3.使用multiprocessing模块

4.使用threading模块

-------------end    感谢您的阅读-------------