数据增量抽取的四种模式 数据抽取、清洗与转换及BI项目中ETL设计[4]

数据抽取、清洗与转换及BI项目中ETL设计[4]  

　　数据转换

　　数据转换的任务主要是进行不一致的数据转换 数据粒度的转换和一些商务规则的计算

　　A 不一致数据转换 这个过程是一个整合的过程 将不同业务系统的相同类型的数据统一 比如同一个供应商在结算系统的编码是XX 而在CRM中编码是YY 这样在抽取过来之后统一转换成一个编码

　　B 数据粒度的转换 业务系统一般存储非常明细的数据 而数据仓库中的数据是用来分析的 不需要非常明细的数据 一般情况下 会将业务系统数据按照数据仓库粒度进行聚合

　　C 商务规则的计算 不同的企业有不同的业务规则 不同的数据指标 这些指标有的时候不是简单的加加减减就能完成 这个时候需要在ETL中将这些数据指标计算好了之后存储在数据仓库中 供分析使用

　　ETL日志与警告发送

　　◆ ETL日志 记录日志的目的是随时可以知道ETL运行情况 如果出错了 出错在那里

　　ETL日志分为三类 第一类是执行过程日志 是在ETL执行过程中每执行一步的记录 记录每次运行每一步骤的起始时间 影响了多少行数据 流水账形式 第二类是错误日志 当某个模块出错的时候需要写错误日志 记录每次出错的时间 出错的模块以及出错的信息等 第三类日志是总体日志 只记录ETL开始时间 结束时间是否成功信息

　　如果使用ETL工具 工具会自动产生一些日志 这一类日志也可以作为ETL日志的一部分

　　◆ 警告发送

　　ETL出错了 不仅要写ETL出错日志而且要向系统管理员发送警告 发送警告的方式有多种 常用的就是给系统管理员发送邮件 并附上出错的信息 方便管理员排查错误