1. 背景

数据中台架构。

2. 数据结构

基础数据：基础数据是通用的人员、商品、客户、司机等基础资料类型的数据。 业务数据：业务数据是各自业务系统的作业流程数据，财务系统的应收应付，仓储系统的拣货卸货数据，托盘系统的托盘出入库数据等。 分析数据：分析数据是对基础数据和业务数据进行加工处理后的数据，例如应收帐，应付帐，代垫账，库存鲜度等等。

3. 技术架构

3.1数据来源

数据来源包含结构化数据和非结构化数据。

结构化数据来源于业务系统：EAS、WMS、TMS、OA等等。 非结构化数据来源存储系统：文件存储系统、萤石云、MongoDB等。

3.2数据采集

数据采集：从各系统数据库、影像系统、文件系统等进行数据采集传输--采用技术kettle。

3.3数据存储

数据存储包含数据仓库、数据集市、文件系统、非关系型数据库。

数据仓库：业务数据的建模与存储-技术采用Oracle。

​ DWD（Data Warehouse Detail）层：数据明细层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证，在ODS的基础上对数据进行加工处理，提供更干净的数据。

​ DWM（Data Warehouse Middle）层：数据中间层会在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工处理数据。简单来说，就是对通用的维度进行聚合操作，算出相应的统计指标，方便复用。

​ DWS（Data Warehouse Service）层：数据服务层（或者数据集市）层数据表会相对比较少，大多都是宽表(一张表会涵盖比较多的业务内容，表中的字段较多)。按照主题划分，如订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。

ADS（Application Data Service）：数据应用层通常是多维的报表层数据，应对前端BI报表展示。

文件系统：存储日常的非结构化数据-技术采用阿里云OSS。

非关系型数据库：对日志或者操作记录等数据属性不断变动的非关系型数据库-技术MongoDB或者ES。

3.4数据计算

数据计算是对数据仓库的数据进行截取分类汇总等计算。

批量离线计算：数据量较多，时效要求较低的数据计算--采用技术spark。 内存计算：数据量小，时效要求高的数据计算--采用技术自主服务平台。 流式计算：数据量较多，时效要求较高的数据计算--采用技术spark。 AI训练模型：数据的人工智能分析--采用技术待定。

3.5数据服务

数据大屏：数据对外的大屏展示--采用阿里的dataV。 数据推送：数据报表的用户邮件、短信、推送--采用FineReport10.0。 数据分析：数据的明细分析，数据定位等--采用FineBI5.1。 数据开放：数据提供外部的DATA-API接口--采用自主服务平台。

3.6数据治理

数据治理是数据日常管理的规范与数据安全的控制。

数据标准：数据采用统一标准，然后从不同系统按标准进行采集。 数据质量：采集的数据需要进行复核，确保数据质量。 数据架构：数据进行分类，基础数据、业务数据、分析数据。 数据安全：系统层面安全采用防火墙隔离，且核心数据采用内网访问，用户层面数据隔离采用权限控制。