数据建模
树图思维导图提供 数据建模 在线思维导图免费制作,点击“编辑”按钮,可对 数据建模 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:27ea9e468512cd5af4469023f32a6593
数据建模思维导图模板大纲
客户需要一些明细数据/指标数据,总得有个地方存储吧?模型存在的意义就是我算出来的这些东西有地方存储;基本要求就是能存数据;
自上而下
根据客户要求进行建模
自下而上
客户没有具体要求,根据已有的数据进行数据的加工
业务建模
业务模型要展示一些业务信息
基础信息,例如:个人信息
1、要保证故事的主语唯一,总不能学生的表里面有老师的数据吧;
2、要保证主语的属性合理,总不能学生的属性里面有教授课程的属性吧;
业务信息,例如:审批流信息
1、要保证模型的业务线单一,所有的行数据描述的都是同一个业务线,不存在语义不一致的情况
其他信息
指标建模
指标模型要展示一些指标信息
事实:也就是指标
维度
维度尽量做到单一,没有包含与被包含的关系
建模细节是对上面建模分类的具体说明
模型本身是没有区别的,所有的模型会根据我们插入数据的方式、对模型的期待而产生一些区别
业务建模
基础信息模型
对于一些明细数据,我们会根据业务要求对其进行设计
拉链表
如果有保存历史基础信息需求,可选择拉链表,注意加上相应的时间信息字段;
更新方式为:修改历史值并重新插入新的数据
非拉链表
如果没有保存历史状态的需求
更新方式为:(更新修改数据+新增数据)+历史无需修改数据
快照表
获取主语的某一历史状态,存储的事某一时间点的状态信息,数据冗余
基础信息主语
人
事
地
物
组织
业务信息模型
根据对模型的定位,确定数据是横向存储还是纵向存储
横向存储(增量+修改)
业务过程体现在字段当中,通过对属性的填充展现业务的流转,会形成大宽表;会方便后期的维度分析;
累积型快照事实表
纵向存储(增量)
将一条业务线的不同阶段通过拆解、打标的方式,纵向存储到模型中;会形成一张长表,一个业务逐渐查出好几条数据,处理起来有些难度
流水表
建模类型
范式建模(多)
维度建模(少)
其他模型
指标建模
事实表
事实表属性
事实
维度
事务型事实表
单事务型事实表
每一个业务过程都创建一张表,业务的流转通过对不同表的数据插入来体现
多事务型事实表
横向存储(增量+修改)
业务过程体现在字段当中,通过对属性的填充展现业务的流转,会形成大宽表;会方便后期的维度分析;
累积型快照事实表
纵向存储(增量)
将一条业务线的不同阶段通过拆解、打标的方式,纵向存储到模型中;会形成一张长表,一个业务逐渐查出好几条数据,处理起来有些难度
流水表
https://blog.csdn.net/weixin_40809627/article/details/109057367
快照事实表
周期快照事实表
累积快照事实表
https://blog.csdn.net/weixin_40809627/article/details/109184332
维度表
对维度信息的详细说明,通常通过维度逐主键与事实表进行关联
主键的设计
主键体现的是业务过程的唯一
主键应用场景
创建索引
有业务过程的强关联
维度建模中的维度主键
业务主键
很多明细数据,比如个人信息,如果有身份证号,主键并非必须的;
更新方式
全量
配合生命周期使用
增量
缓慢更新
不更新
整体
算数据总得有数据吧,需要将数据从各个业务系统中抽取过来
我设计出来的模型,要填充数据,就要想办法从各个原始表中取值,这个时候需要考虑数据是否需要清洗,于是就有了ods——>std
我要算一些指标类的数据,算这些数据可能会反复出现某一块代码、或者反复复用一些中间表,我可否将它落库,进而复用数据形成一些明细信息
我要展示一些明细数据
客户需要计算一些指标性的内容,做些汇总工作,既然是指标,一定会有类似于时间、地点之类的维度吧,我们计算这些数据可否使用dwd层的数据?如果不能使用dwd层的数据,可否使用std层的数据,后面根据数据复用情况,可否将std->dws的中间表行程dwd表?
树图思维导图提供 1113爆卡会总结会会议纪要 在线思维导图免费制作,点击“编辑”按钮,可对 1113爆卡会总结会会议纪要 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:aaf6c152a765d5821e8e1787f2b3226e
树图思维导图提供 埃隆·马斯克的商业版图 在线思维导图免费制作,点击“编辑”按钮,可对 埃隆·马斯克的商业版图 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:7464362ac911e8a334867bb3fc7a2346