0
点赞
收藏
分享

微信扫一扫

记一次协程|线程|进程学习记录


本章仅以获取图片来测试一下Py的同步、异步、协程、多进程、多线程的速度。凑个热闹即可,具体需要以实际情况为主。

同步



记一次协程|线程|进程学习记录_sed_02

def get_img():
    with open('imgs', 'r', encoding='utf-8') as r:
            contents = r.read()
    # print(contents.split('\n'))
    for href in contents.split('\n'):
        img = requests.get(href).content
        with open('img/' + href[-28:-16] + '.jpg', 'wb') as w:
            w.write(img)
        print("加载成功", href)
#
start_time = timeit.default_timer()
get_img()
end_time = timeit.default_timer()
elapsed_time = end_time - start_time
print("Elapsed Time:", elapsed_time)

协程



记一次协程|线程|进程学习记录_学习_03

import asyncio
import aiofiles
import httpx
import timeit

async def read_img():
    # 异步读取
    async with aiofiles.open('imgs', 'r', encoding='utf-8') as r:
        contents = await r.read()
        return contents.split('\n')


async def download_image(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.content

async def get_image():
    contents = await read_img()
    tasks= [url for url in contents]
    for task in tasks:
        image_content = await download_image(task)
        try:
            async with aiofiles.open('img/' + task[-28:-16] + '.jpg', 'wb') as f:
                await f.write(image_content)
                print("加载成功~ {}".format(task))
        except:
            print("有点小问题,跳过")

if __name__ == '__main__':
    start_time = timeit.default_timer()
    asyncio.run(get_image())
    end_time = timeit.default_timer()
    elapsed_time = end_time - start_time

    print("Elapsed Time:", elapsed_time)

用到了一些其他模块,需要pip下载,按照上述指示下载即可。

就不一一举例的,具体的已经都放在了笔记中



记一次协程|线程|进程学习记录_python_04

直接来看看效果

异步



记一次协程|线程|进程学习记录_多线程_05

多进程 + 异步



记一次协程|线程|进程学习记录_多线程_06

多线程 + 异步



记一次协程|线程|进程学习记录_开发语言_07

多线程



记一次协程|线程|进程学习记录_python_08

总结

为什么多线程在这里要更快??
为什么多进程 + 异步也慢??

这是一个先对问题,为什么这么说?跟数据量有关系,不能因为表面而被迷惑。因为协程跟进程是需要额外开销的,在程序启动的时候,这个开销在数据量小的时候尤其明显。(非官方解释,可参考博主的笔记)

举报

相关推荐

0 条评论