python爬虫方面需要学什么模块？

对于很多20岁左右的小伙伴来说，Python可选的领域更多，人工智能、web开发、自动化运维测试、数据分析等等。python爬虫方面需要学什么模块?小编下边就简单列举几种!

爬虫方面：

•grab – 爬虫框架

•scrapy – 网络爬虫框架，不支持Python3

•pyspider –爬虫系统。

•cola – 爬虫框架

•portia – 可视化爬虫

Python常用第三方库总结(部分)

自动化测试

• SeleniumWebUI自动化测试。同上。

• Pytest The pytest framework makes it easy to write small tests, yet scales to support complex functional testing for applications and libraries. python测试框架。

• UnitTest/PyUnit the standard unit testing framework for Pytho,受到了JUnit启发的UnitTest/PyUnit，也是一种标准化的针对单元测试的Python类自动化测试框架。

应用程序守护

• supervisor Supervisor is a client/server system that allows its users to control a number of processes on UNIX-like operating systems. 可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，supervisort监听到进程死后，会自动将它重新拉起，很方便的做到进程自动恢复的功能，不再需要自己写shell脚本来控制。

图表绘制

• Matplotlib Matplotlib is a comprehensive library for creating static, animated, and interactive visualizations in Python.

• pyecharts Echarts 是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts 诞生了。