摘要： # 特點： 1. scrapy利用twisted的設(shè)計實現(xiàn)了非阻塞的異步操作。這相比于傳統(tǒng)的阻塞式請求，極大的提高了CPU的使用率，以及爬取效率。 1. 配置簡單，可以簡單的通過設(shè)置一行代碼實現(xiàn)復(fù)雜功能。 1. 可拓展，插件豐富，比如分布式scrapy + redis、爬蟲可視化等插件。 1. 解析 閱讀全文