Python:多进程、多线程及其爬虫应用
(2022-04-28 17:25:12)
标签:
statapython爬虫应用 |
分类: stata爬虫 |
全文阅读:https://lianxh.cn/news/8c175c980bcd9.html
目录
0. 前言
在执行 Python 任务的过程中,我们通常会想提高程序的效率。尤其在处理大量任务的时候,提高程序的效率可以节省大量的时间。
以数据爬取为例,爬虫的基本流程都是,请求数据 → 解析数据 → 存储数据。如果有一万条数据,这个流程就要重复执行一万次,而且是线性的执行。就像车流一样,如果只有一条车道,一万辆车排队通过就需要一万次。如果有了双车道,就可以减少一半的时间,如果有了四车道,时间可以再减少一半。
那我们在程序运行中,能否想办法多开几条车道呢?在 Python 中,可以通过开启多进程或者多线程,来提高程序运行的效率。我们将对 Python 中的多进程、多线程进行简单的介绍,并主要介绍多线程在 Python 爬虫中的应用。