0311 - 上了并发系统

今天给关键词项目上了并发系统。

先是用测试项目，实现了代理池自动更新；然后将其应用到爬虫系统中。由于要支持并发，代码系统变得复杂很多，且增加了一些冗余逻辑来保证一致性和可靠性。比较不爽的是，由于代理池性能的问题，10 倍速并发并不能带来 10 倍的提速，有点得不偿失的感觉。

实际项目中，架构及实现的可靠性，甚至比较性能更重要。性能问题，可以简单粗暴地加强硬件解决。但可靠性问题就比较麻烦；尤其是项目进行维护期，自己对代码越来越不熟悉，一旦出基础的问题，修复的成本就很高了。