这篇文章主要介绍了DKHadoop大数据平台架构有什么用,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
大快Dkhadoop,可以说是集成了整个HADOOP生态系统的全部组件,并对其进行了深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了非常高的提升。这一点也是个人觉得dkhadoop比我之前使用的另外一个商业发行版的要好的,国内的大部分商业发行版hadoop可以说都是二次包装,dkhadoop做的好的就是敢在原生态的基础上进行开发。
大快DKhadoop中间件技术把大数据集群配置简化成三种节点,这样不仅简化了集群的管理运维,还增强了集群的可用性和稳定性。Dkhadoop中间件集成了apache的很多组件包含了从文件、SQL、日志、消息到爬虫和流数据以及异构数据的支持;集成了大快的压缩算法,和数据同步分发技术,实现了数据的导入和减少调动的同时实现,对于有实时数据要求的项目具有不可替代的技术优势。
大快DKhadoop商业发行版还是保持了开源系统的优点的,可以与开源系统100%兼容。对于那些基于开源平台开发的大数据应用并不需要经过改动同样可以在dkhadoop上高效运行。
DKhadoop一体化开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类,总计一百余种方法,实现了开发效率的大幅提升。DK.HADOOP整合集成了NOSQL数据库,简化了文件系统与非关系数据库之间的编程;DK.HADOOP改进了集群同步系统,使得HADOOP的数据处理更加高效。
DKhadoop的SQL版本,还提供了分布式MySQL的集成,传统的信息系统,可无缝的实现面向大数据和分布式的跨越。
ES:快递DKhadoop的搜索系统是在开源ES系统上二次开发的,支持完成的全文搜索。整合了对中文搜索的有效支持以及对大快数据同步技术的支持后的高性能版本,DK.ES是DKH的核心组件之一,仅随DKH集成整合了对中文搜索的有效支持以及对大快数据同步技术的支持后的高性能版本,DK.ES是DKhadoop的核心组件之一。
汉语言处理组件:大快的汉语言处理是目前国内使用率最高的开源自然语言处理开发包。
感谢你能够认真阅读完这篇文章,希望小编分享的“DKHadoop大数据平台架构有什么用”这篇文章对大家有帮助,同时也希望大家多多支持编程网,关注编程网行业资讯频道,更多相关知识等着你来学习!