不知道你有没有这种需求了,有大量的数据需要处理,但是系统的资源有限,所有只有开一个固定的进程数进行处理,一个进程结束下一个进程直接顶上。可能在其他语言中称这种处理方式为异步,但是在 go 中叫进程池更准确。
我之前获取了大概 两百万的数据需要处理,这两百万调数据涉及网络访问,网络响应大概在一毫秒到十秒之间。之前是在云服务器上处理数据,因为是并发的效率较低。大概是 1k goroutine 在处理数据,比较占用 cpu 所以打算迁移到位于本地的树莓派上处理。当调用 1k goroutine 时,程序大概会在过几秒钟后崩溃,调低 goroutine 数后正常了这个数字我调到了 200。这意味着效率降低了 5倍 。俗话说的好,穷则思变,或者说之前的程序只是打草稿,我本来就打算改进。改用了进程池来处理数据。改用进程池后,虽然由于树莓派的性能限制,goroutine 数降低了5倍,但是效率在原来1k goroutine 上还提升了 5 倍。