数合建模是数据建模及可视化平台,提供一站式全链路数据生命周期管理方案,能够帮助用户管理数据资产并挖掘价值。数合建模提供多源异构的数据采集模块、支持实时/离线计算框架,简洁易用的操作环境和平台接口,为政府机构、企业、科研机构、第三方软件服务商等客户,提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值,挖掘现有业务和应用系统的潜在商机,培育完好的业务创新产业链,实现数据应用的完整闭环,帮助客户实现价值。 产品亮点 易用性方面:通过可视化拖拽数据、算子图标的方式,就可以完成业务模型设计和数据分析工作,降低了技术门槛,大大提升了工作效率。产品定位方面:既可以作为数据工程师降低门槛的数据建模平台,也可以作为业务人员进行数据分析的业务建模平台。产品的设计初衷即是去技术属性,让大多数的业务人员都能用起来。性能方面:实时碰撞秒级响应。后端适配方面:平台后端支持对接各类主流数据库,以及华为大数据平台。数据接入及推送方面:适配多种类型数据库的数据抽取和数据推送。权限方面:支持多用户,并分级权限管理,对原始数据、成果数据、算法模型和微应用提供分类管控。数据挖掘业务方面:支持海量数据挖掘分析碰撞,支持9种主流智能分析算法。AI大模型与BI结合的探索:通过输入文本,组织后台数据,生成指标查询结果集。图谱应用方面:支持自定义实体、关系,建立知识体系并能挖掘知识的隐含关系,服务具体应用场景。可视化图表设计方面:通过拖拽图表模版,设置数据来源,两步生成可视化图表。 技术架构 产品定位 1、单纯作为数据建模平台 以上示意图,描述了在一个项目中建模平台和上、下游的关系。上游由ETL厂商将业务系统数据抽取/同步到大数据平台的接入层。数据建模环节的内容主要包括数据配置,数据建模、任务管理三部分。通过系统初始化工作将接入层数据库配置到数据建模平台;利用接入层数据及各类算子构建汇总模型、指标模型、风险模型等各类模型;并通过任务配置,定期生成各类模型结果,自动封装JSON格式的API接口服务。应用厂商对接基于数据模型结果的API接口服务,进行上层应用的展现。 2、同时承担数据治理和数据建模的角色 以上示意图,描述了在一个项目中建模平台和上、下游的关系。上游为源数据库,存储业务系统数据。建模平台同时承担数据治理和数据建模的角色。先由数据管理平台按一定策略将数据抽到接入层,再基于标准化要求,及本地的知识库,以及数据的清洗规则和格转要求定义标准化规则,完成从接入层到标准层的计算,通过任务中心来管理和监控任务运行情况。数据建模环节的内容主要包括数据配置,数据建模、任务管理三部分。通过系统初始化工作将标准层数据库配置到数据建模平台;利用接入层数据及各类算子构建汇总模型、指标模型、风险模型等各类模型;并通过任务配置,定期生成各类模型结果,自动封装JSON格式的API接口服务。应用厂商对接基于数据模型结果的API接口服务,进行上层应用的展现。总结:建模平台既可以承担从数据治理、到建模、到应用展示全数据生命周期的角色,也可以承担单一角色,但无疑建模能力是建模平台的核心。建模平台标配的数据管理平台在数据标准化上起重要作用,能够大大提升后续建模的效率。 功能架构 功能清单 功能概览 用户拖拽数据和算子建立关联,并进行可视化操作完成数据建模及可视化工作,是建模平台的主要操作方式。数据是第一个关键要素,然后是算子。AI大模型的发展,推动了AI+BI的结合,也是平台的重要功能。 数据处理算子 平台目前内置了14个数据处理算子,灵活组合来完成各种数据处理的场景关联,等关联实现我们数学的交集,左右关联可以间接实现我们数学的差集过滤,完成行过滤输出表,手动保存模型需要最后连接输出表算子,指定保存表名等分组、排序、分组排序,完成数据聚合、单列排序、组内排序等功能并集,合并两组属性类似的数据类型转换,一般在数据预处理时使用,支持字符转数字、数字转字符去重,单列或多列去重行转列,一般先将同一主体的多个属性先拼接,再将多行数据转为一行新增列,在任何节点均可扩展列,可使用列选择、函数选择、自定义函数等多种方式定义新增列还有一些字符串操作的算子,如字符串截取、字符串拼接、字符串替换 智能算子 平台目前内置了9个常用的数据挖掘算子。主要面向两类功能:回归和分类。K近邻(K-Nearest Neighbors,简称KNN)、随机森林、决策树、多元回归模型、支持向量机,用于分类多层感知器(Multilayer Perceptron,MLP)、弹性网络正则化、,用于分类与回归广义线性模型,用于回归关联规则,典型的应用场景啤酒和尿布,主要目标是找出数据集中频繁出现的项目组合 AI+BI 实现更快速的业务决策。通过智能问答和语音交互,业务用户可以采用自然语言提出数据查询和分析请求,系统能够迅速返回结果,提高了工作效率 AI+BI完整内容,智能查询 产品更多内容 机器学习建模示例完整解决方案培训操作手册