要实现多进程爬虫的数据抓取，要用到库multiprocessing并导入Pool:
from multiprocessing import Pool
接着导入进程池
pool = Pool(processes = 4) #processes后接打开进程的数，与电脑核数有关，不加即自动分配。
pool.map(get_all_links_from,channel_list.split())
所有的程序会被放到进程池Pool()中并分配CPU。
此处用到了map函数，map函数会根据提供的函数对指定序列做映射。第一个参数 function 以参数序列中的每一个元素调用 function 函数，返回包含每次 function 函数返回值的新列表。举例说明如下：
print(list(map(double,[1,2,3,4]))) #[2,4,6,8]
以上即调用多进程，重点为Pool函数的使用。
原文：http://www.cnblogs.com/zjlbupt/p/7813121.html