批量文件的设计和业务逻辑

消费场景分为零售和批发，那么在不同的系统信息传输的之间，也存在零售和批发，零售即上节课讲的api设计，每次只进行一次信息交互。

批发意味着一次性要处理大批量的数据， 性质这就决定了批量数据处理和单次数据处理在方案上有不同性。

批量数据传输方式

1、数据生成者数据抛送kafka ；

2、通过批量文件批量交互。

1、kafka模式

即生产者生产（produce）各种信息，

消费者消费（consume）（处理分析）这些信息，

消息系统：而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。

特点：

高性能：单机测试能达到 100w tps；

低延时：生产和消费的延时都很低，能够实时消费；

2、批量文件模式

数据提供系统在约定的时间内，一般是夜间T+1，把需要批量更新的数据推送到文件服务器上，然后数据获取系统根据约定的规则，去文件服务器获取文件目录。

今天我们详细讲一下批量文件的交互逻辑。

一、批量文件格式

文件描述：指标描述

文件名称 ：按照当天的营业时间生成

格式：场景_系统A_系统B_yyyymmdd ,例如：放款明细_资金_资产_20220813

文件描述：该文件用于放款时，系统与平台对账

执行时间：T+1日2：00

生成时间：T+1日3：00

FTP路径：待补充

推送方向：系统A→系统B

处理逻辑：ＸＸX

前置批量：　批量A是批量B的前置条件，举例核心切日批量是放款对账批量的前置；

文件格式：

txt： （ ｜区分不同字段 ）比如 放款 流水号｜放款时间｜放款金额

csv：

二、作业的系统流程

• 系统A启动作业，开始推送文件。由于推送有一定的时间段，比如需要N个小时
• 系统A文件推送完成之后，推送ok文件到文件服务器
• 系统B轮询查询文件服务器，如果发现ok文件，那么获取业务文件
• 系统B对获取的业务文件进行逻辑处理以及更新数据库。

三、作业的实现逻辑

实现批量作业的启动、暂停、终止、续跑功能，完成作业启动公共参数的设置，记录作业执行状态，批量异常短信告警。

四、作业的处理逻辑

作业执行

• 检查作业当日是否已完成、
• 检查作业是否正在执行中（暂停、执行中）
• 检查前置作业已完成
• 组装作业流水、作业日期
• 批处理服务 开始执行作业
• 如果异常发送告警短信
• 更新调度表，返回调度系统

作业暂定、作业重启、作业终止略

五、常见批量场景

1、内部系统之间

常见的文件有以下，看具体场景需要：

核心-网贷：放款明细、还款明细、借据文件、还款计划文件

支付-网贷：放款对账文件、还款对账文件（建立在支付有一套对账平台的基础）

额度系统-网贷 ：额度变更推送

贷后-网贷：贷中调价变更推送

用户中心-网贷：用户信息变更

2、资产和资金之间

常见的文件有以下，看具体场景需要：

借据明细

还款明细

放款明细

还款计划明细

授信明细

当日总账

累计总账

六、批量文件字段实例

当日还款明细示例

借据号：借据单号

还款交易流水号：本次还款交易的交易流水号，成功、处理中时取对应交易的交易流水号

还款时间：该笔还款的发起日期

授信合同号 ：该借据对应的授信合同号

放款时间 ：该笔借据放款成功的时间

放款总金额 ：该借据的放款总金额

执行利率 ：该用户该笔借据的执行利率，年利率(日利率*360)

还款总额 ：本次还款的总额，包括本金、利息、罚息和其他费用

还款本金 ：本次还款中的本金部分

还款利息 ：本次还款中的利息部分

还款类型 ：”01 归还欠款、02 提前结清、03 逾期还款

逾期天数 ：本笔借据在本次还款时已逾期的天数

逾期罚息 ：本笔借据在本次还款时产生的罚息

还款状态 ：”S 还款成功  F 还款失败”

对账日期：该对账文件产生日期