我们为客户提供深度用户行为分析平台,以及专业的咨询服务和行业解决方案,致力于帮助客户实现数据驱动。 我们的解决方案立足大数据及用户行为分析的技术与实践前沿,业务现已覆盖以互联网、车联网、金融、零售快消、高科技、制造等为代表的十多个主要行业, 并可支持企业多个职能部门。
Big Data Platform Application Architecture
Platform overall architecture description
统一数据采集
通过大数据平台整体框架下部署了统一数据采集与归档平台,支持全业务系统统一的、可配置的数据采集,只需注册数据库连接、访问源系统元数据表即可实现数据采集。平台特点:一是基于集群部署,提升处理性能,消除单点故障;二是紧密贴合关系型数据库和非关系型数据库,实现数据的快速导入和导出。
统一数据处理
针对原有业务系统建设单兵作战、各自为阵的信息孤岛,导致开发不规范、运维不通用的弊端,在集团控股数据处理层面统一ETL工具。
统一数据管理
建立面向业务场景数据模型的元数据管理平台,实现源→大数据平台→统一数据模型→应用汇总发布的元数据管理体系,辅以数据管理相关开发标准、命名规范、质量标准、码值标准,从整体角度考虑数据集成与应用汇总之间的平衡。
统一数据模型
数据模型的统一是业务融合的关键,根据元数据管理标准和规范,对源数据、轻度汇总数据、模型计算数据、应用发布数据实现统一管理和建模。
统一数据交换
为消除各系统间文件交换的网状结构,建立统一管理的数据交换平台,统一通过REST API进行访问交互,不同的业务访问不同的API接口。数据交互格式采用通用的JSON格式进行传输,数据通信采用HTTPS进行加密。
统一数据分析
对多个数据源进行关联汇总后,采用统一的建模分析算法,从业务角度进行数据分析计算,特别是对各种分析指标的预测,对业务提供决策支持。
Platform planning principles
业务服务化
通过数据分析相似业务,以金融服务中心的形式进行沉淀。前端业务板块信息系统可以适应市场的变化,服务中心都可以满足前端业务的多样性。
分布合理化
根据业界经验,不同的业务系统或者业务板块,由于业务逻辑的不同,需要进行相应的隔离或者分布。各个业务系统间或者板块间通过底层数据交换的方式进行互联互通,强安全性可以常用VPN方式打通系统之间的通信。
发展趋势化
根据各板块业务特点和行业未来发展趋势,通过强大的数据整合能力和建模分析能力以及机器学习能力,提前预见未来发展趋势,提前业务布局,支撑业务可持续发展。
数据统一化
对各板块闲置数据进行整合清洗、建模分析,打通各板块之间的用户体系、营销渠道体系、产品体系。通过建模分析各种算法,对用户进行精准画像、计算客户关系图谱,为集团综合营销提供数据支撑。
Data value flow graph
The Value and Significance of a Unified Data Exchange Service
The Value and Significance of a Unified Data Exchange Service