四、apache drill
为了帮助企业用户寻找更为有效、加快hadoop数据查询的方法,apache软件基金会近日发起了一项名为“drill”的开源项目。apache drill 实现了 google’s dremel.
据hadoop厂商mapr technologies公司产品经理tomer shiran介绍,“drill”已经作为apache孵化器项目来运作,将面向全球软件工程师持续推广。
该项目将会创建出开源版本的谷歌dremel hadoop工具(谷歌使用该工具来为hadoop数据分析工具的互联网应用提速)。而“drill”将有助于hadoop用户实现更快查询海量数据集的目的。
“drill”项目其实也是从谷歌的dremel项目中获得灵感:该项目帮助谷歌实现海量数据集的分析处理,包括分析抓取web文档、跟踪安装在android market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
通过开发“drill”apache开源项目,组织机构将有望建立drill所属的api接口和灵活强大的体系架构,从而帮助支持广泛的数据源、数据格式和查询语言。
五、rapidminer
rapidminer是世界领先的数据挖掘解决方案,在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛,包括各种数据艺术,能简化数据挖掘过程的设计和评价。
功能和特点
免费提供数据挖掘技术和库
100%用java代码(可运行在操作系统)
数据挖掘过程简单,强大和直观
内部xml保证了标准化的格式来表示交换数据挖掘过程
可以用简单脚本语言自动进行大规模进程
多层次的数据视图,确保有效和透明的数据
图形用户界面的互动原型
命令行(批处理模式)自动大规模应用
java api(应用编程接口)
简单的插件和推广机制
强大的可视化引擎,许多尖端的高维数据的可视化建模
400多个数据挖掘运营商支持
耶鲁大学已成功地应用在许多不同的应用领域,包括文本挖掘,多媒体挖掘,功能设计,数据流挖掘,集成开发的方法和分布式数据挖掘。
六、 pentaho bi
pentaho bi 平台不同于传统的bi 产品,它是一个以流程为中心的,面向解决方案(solution)的框架。其目的在于将一系列企业级bi产品、开源软件、api等等组件集成起来,方便商务智能应用的开发。它的出现,使得一系列的面向商务智能的独立产品如jfree、quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。
pentaho bi 平台,pentaho open bi 套件的核心架构和基础,是以流程为中心的,因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在bi 平台上执行的商业智能流程。流程可以很容易的被定制,也可以添加新的流程。bi 平台包含组件和报表,用以分析这些流程的性能。目前,pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 j2ee、webservice、soap、http、java、javascript、portals等技术集成到pentaho平台中来。 pentaho的发行,主要以pentaho sdk的形式进行。
pentaho sdk共包含五个部分:pentaho平台、pentaho示例数据库、可独立运行的pentaho平台、pentaho解决方案示例和一个预先配制好的 pentaho网络服务器。其中pentaho平台是pentaho平台最主要的部分,囊括了pentaho平台源代码的主体;pentaho数据库为 pentaho平台的正常运行提供的数据服务,包括配置信息、solution相关的信息等等,对于pentaho平台来说它不是必须的,通过配置是可以用其它数据库服务取代的;可独立运行的pentaho平台是pentaho平台的独立运行模式的示例,它演示了如何使pentaho平台在没有应用服务器支持的情况下独立运行;pentaho解决方案示例是一个eclipse工程,用来演示如何为pentaho平台开发相关的商业智能解决方案。
pentaho bi 平台构建于服务器,引擎和组件的基础之上。这些提供了系统的j2ee 服务器,安全,portal,工作流,规则引擎,图表,协作,内容管理,数据集成,分析和建模功能。这些组件的大部分是基于标准的,可使用其他产品替换之。