目录标题

• 1. 工作场景
• 2. 需求分析
• 3. 解决方案
• 4. 结语

1. 工作场景

    算法工程师工作中一个不可避免的事项是对数据集中的每一张图片执行某一特定操作。此次的需求就是通过python多进程的方式来加速这一工作项。

2. 需求分析

    对于数据集的操作一般来讲涉及到3部分：

1. 图片的读取、编辑、保存
2. 图片标定文件的读取、编辑、保存
3. 收集每一次单例操作时的返回值

    对于第一部分、第二部分每一次都是互不影响的，因此只要会使用最简单的python多进程操作即可。对于第三部分，会涉及到每一次的单例操作是需要注意的一个点。最后在实际的使用过程中，如何将tqdm和多进程进行结合，来动态的显示当前操作的进度也是一个需要注意的点。因此将需求对应到技术点的话，也是三点：

1. python多进程基本范式
2. python带有返回值的多进程基本范式
3. tqdm和python多进程的结合

    为了更加有针对性，设计一个具体的case：有1万张图片和其对应的label文件，label文件中有一个字段’angle’表示该图片是经过旋转angle之后的结果。
    case: 对该1万张图片，按照label文件中的angle复原回旋转之前的结果；收集无需进行旋转的图片名称列表；结合tqdm显示处理进度。

3. 解决方案

def fun(params):
	(pic_dir, json_dir, image_name) = params
	# 根据json文件中的angle旋转picture
	...
	# return None or pic name
	
param_list = [(pic_dir, json_dir, image_name) for image_name in images_name_list]
with Pool(16) as p:
	r = list(tqdm.tqdm(p.imap(fun, param_list), total=len(param_list), desc='多进程旋转图片：'))
p.close()
p.join()
r = list(set(r))
r.remove(None)  # 删除无效返回值

4. 结语

    本文介绍了如何利用python多进程来加速处理for循环操作的方式，该方案可以处理多进程带有返回值的情景，并结合tqdm模块动态显示进程的处理进度。