实现爬虫技术的编程环境有很多种，Java.Python.C可用于写爬虫。但许多人选择Python为什么要写爬虫？Python它确实可以是爬虫，丰富的第三方库非常强大，简单的几行代码可以实现你想要的功能。更重要的是，Python也是数据挖掘和分析的好专家。Python爬虫一般用什么框架比较好？
1.Scrapy：Scrapy它是一个用于爬网站数据和提取结构性数据的应用框架。它可以应用于一系列程序，如数据挖掘、信息处理或存储历史数据。这是一个强大的爬虫框架，可以满足简单的页面爬行，例如urlpattern情况。这个框架可以轻松爬下亚马逊产品信息等数据。但是对于稍微复杂的页面，比如weibo这个框架不能满足页面信息的需求。其特点是：HTML,XML内置支持源数据选择和提取；带来了一系列spider共享的可复用过滤器(即ItemLoaders)，内置支持智能处理爬行数据。
2.BeautifulSoup：它很有名，整合了一些常见的爬虫需求。它可以从HTML或XML从文件中提取数据Python库。它可以通过您喜欢的转换器实现常用的文档导航、搜索和修改文档的形式.BeautifulSoup它可以帮助你节省几个小时甚至几天的工作时间。BeautifulSoup缺点是不能载入JS。
3.selenium：这是一个调用浏览器的driver，您可以直接调用浏览器完成某些操作，如输入验证码。Selenium它支持各种浏览器，包括自动检测工具Chrome，Safari，Firefox如果主流界面式浏览器安装在这些浏览器中，Selenium插件可以很容易地实现Web界面的检测.Selenium支持浏览器驱动。Selenium支持多语种开发，如Java，C，Ruby等等，PhantomJS用于渲染分析JS，Selenium用于驱动和和和和Python的对接，Python后期处理。
4.Portia：它是一种开源可视化爬虫工具，可以让用户在没有任何编程知识的情况下爬网站！简单注释一下你喜欢的页面，Portia从类似的页面上创建蜘蛛提取数据。简单地说，它是基于scrapy核心；可视化爬行内容，无需任何开发专业知识；动态匹配相同模板的内容。
5.cola：这是一个分布式爬虫框架。对于用户来说，他们只需要编写几个特定的函数，而不需要关注分布式操作的细节。任务将自动分配给多台机器，整个过程对用户透明。项目整体设计有点差，模块间耦合度高。
6.PySpider：中国人编写的强大的网络爬虫系统和强大的网络爬虫系统WebUI。选用Python语言编写，分布式架构，支持各种数据库后端，强大WebUI支持脚本编辑器、任务监控器、项目管理器和结果查看器。Python脚本控制可以用任何你喜欢的东西html解析包。
以上是几种常见的。Python爬虫框架，你用哪个？