全部分类
浏览量:
1000
离线数据分析业务平台
零售价
0.0
元
市场价
0.0
元
浏览量:
1000
产品编号
所属分类
金融科技
数量
-
+
库存:
1
产品描述
本平台是基于大数据平台一套构建离线数据仓库与分析系统的解决方案,以开源框架airflow作为调度引擎,支持多种执行引擎构建大数据仓库。同时支持SparkML、sklearn、TF进行相关的机器学习和深度学习。
整个过程分为三部分:
l 数据加载
将结构化数据和非结构化数据加载到ODS层。ODS是贴源层,维持和数据源保持一致;
l 数据加工
在ODS的基础上进行数据的汇总和宽表加工等ETL操作;
l 数据探索
运用多种分析工具进行数据的探索,最后利用机器学习和深度学习算法形成成熟的解决方案;
方案特色:
Ø 支持多种类型数据接入,如结构化RMDB、半结构化json、非结构化日志;
Ø 支持自定义执行引擎,如hql、impala、sparksql;
Ø 支持配置化调度作业,自动化部署。根据模版配置生成DAG调度作业,一键部署;
Ø 支持调度作业日常监控、错误预警和报表生成;
Ø 支持多种分析工具接入,如sparkML、Sklearn、Tensorflow等。
关键词:
分析
数据
支持
结构化
调度
学习
多种
作业
ods
扫二维码用手机看
上一个
大数据智能风控引擎解决方案
下一个
运营质量分析平台