新的大数据平台下数据平台建设特点-文思海辉金融大数据圈 2018.04.18 初三孟买日记?周三数智化·核心第 4篇新的大数据平台下数据平台建设特点方案概??

新的大数据平台下数据平台建设特点-文思海辉金融大数据圈


2018.04.18 初三孟买日记?周三
数智化·核心
第 4篇
新的大数据平台下数据平台建设特点
方案概述
新的大数据平台以Hadoop技术，以及周边的相关组件陈正昊，如：YARN、HIVE、SPARK、STORM等技术为核心，提供海量数据整合、存储、计算和数据挖掘分析能力。通过集成系统中各来源的结构化数据和半结构化数据，一方面将各级职能部门结构化信息进行统一管理，另一方面将互联网上相关信息加以融合，搭建统一集中大数据处理和分析平台。从全方位、多角度为运营决策提供强有力的帮助。
文思海辉大数据平台解决方案乙末豪客传奇，是以开源的Hadoop技术体系为基础，基于最新的大数据技术，而构建的新型数据平台，旨在帮助客户以较低的总体成本，建设业界主流且技术领先的大数据处理中心，以快速响应当前创新业务的迅猛发展。
方案特点
高可用性：通过维护多个数据副本，以确保能够为失败的节点重新分配计算任务，继续处理；
高扩展性：在可用的计算机集簇间分配数据并完成计算任务的d2001，这些集簇可以快速灵活的扩展到数以千计的节点中；
高效性：能够在节点之间动态地移动数据，并保证各个节点的动态平衡，从而获得更高效的分布式并行数据处理能力；
低成本：与基于一体机、商用大数据平台的传统数据平台相比，在硬件上可基于X86架构的廉价服务器来构建可靠的Hadoop集群，满足当下银行企业对海量数据及文件的存储和计算需求；在软件上可选用开源免费的Hadoop平台作为基础高山青简谱，结合Hadoop体系内丰富的数据处理组件，构建符合用户期望的新一代数据平台，使得同类项目的软件成本大大降低；
易用性：通过Hive或Spark SQL提供基于SQL的查询语言，使学习Hadoop变的更加容易王天雷。
功能架构

大数据平台的主要功能模块包含如下几个部分:
?硒的功效与作用 分布式文件系统(HDFS);
我爱蔡枫华 ? 插件式的分布式计算资源管理平台(YARN);
? 分布式计算引擎（TEZ/Spark）;
? 安全管理（证书、账户、访问控制）;
? 数据整合;
抽风的漠兮? 运维管理;
? 统一调度吉祥安坤丸。
方案价值
价值
?以最细的粒度实现大容量的（数以百计TB级和PB级数据）结构化事务性数据（如行内的核心、交易）的存储、访问和分析。
?林楚麒半结构化数据（如网站访问日志、第三方信用数据、爬虫数据等）和非结构化数据（如文本、消费者评价）的整合，在现有的数据平台中、商业智能报告和仪表盘中添加新的维度、度量和指标冷宫凤后。
?实时的数据源和分析环境，用来捕捉、分析、标识当数据进入组织时存在的异常情况，并采取行动超新星组合。
?能够生成评分、推荐等预测性分析永阳公主，可以将这些整合进银行企业的关键业务运营系统和管理系统。
往期回顾
》基于大数据的秒贷及精准营销场景分析挖掘与推荐方案（创新）
》借助大数据技术使银行财务数据更有活力（核心）
》智能银行的应用场景策略（创新）
》大数据时代海量冷数据如何存储（核心）
》担保圈的实现及应用之我见（创新）
》借助大数据分析创造银行大价值（核心）
两周一篇诛仙后续，不见不散

全文详见：https://p66p.cn/38883.html

TOP