python如何单进程压满服务


现在有一个gunicorn + flask 做的server,是用作服务的,读一些数据,吐一些输出。client用的是requests包,读取文件,然后将行分割,作为参数传给server,等待server的回应。
问题是:我client即使用多线程去访问server,发现server的CPU占用率始终只有60%,如何能让cpu利用率提升到100%?

PS: 同时启动多个client做测试的时候,cpu会到100%,但如何在单个client.py中实现?

gevent 服务 python flask

D-Boy02 10 years ago

Python有GIL即全局解释器锁。因此多线程Python脚本无法同时执行,只能用到单核。
你可以用multiprocessing来实现多进程,或者考虑将复杂的逻辑改为用c实现。

下面的代码就是根据cpu核心数量开启进程池,然后其中map第一个参数是业务方法,第二个是迭代器,每当有空闲进程时,进程池就会取下一组数据进行计算。


 pool = Pool(processes=os.cpu_count())
results = pool.map(__read_excle, [(r'resource/linkdata/' + i, i) for i in os.listdir(r'resource/linkdata/')])
pool.close()
pool.join()

右·菲利普 answered 10 years ago

Your Answer