python爬虫线程池实现多线程异步任务。

import requests
import time
# 线程池
from multiprocessing.dummy import Pool


def get_requets(url):
    # html = requests.get(url=url).text
    time.sleep(2)
    print(123)


if __name__ == ‘__main__‘:
    start = time.time()
    url_ls = [
        ‘http://www.baidu.com‘,
        ‘http://www.baidu.com‘,
        ‘http://www.baidu.com‘
    ]
    # 同步代码
    # for url in url_ls:
    #     get_requets(url)
    # print(‘总耗时： ‘, time.time()-start)

    # 线程池异步代码
    pool = Pool(3)
    pool.map(get_requets, url_ls)
    pool.close()  #闭pool，使其不在接受新的（主进程）任务
    pool.join()  #主进程阻塞后，让子进程继续运行完成，子进程运行完后，再把主进程全部关掉。
    print(‘总耗时： ‘, time.time() - start)