现代互联网企业、金融行业、电信行业甚至传动行业通过OLTP(联机事务处理)的业务系统积累了海量的企业数据,需要企业应用能够在关键任务中进行批量处理操作业务逻辑。
通常情况下,此类业务不需要人工参与就能够自动高效地进行复杂数据处理与分析。例如定期对大批量数据进行业务处理(如银行对账和利率的调整 、或跨数据库/系统的数据同步)
或者是把从内部和外部系统中获取到的数据进行处理后集成到其他的系统中去,这类工作被称为"批处理"
批处理---工作在面对复杂的业务以及海量的数据处理时,无需人工干预,仅需要定期读入批量数据,然后完成相应业务处理并进行归档操作。
批处理的工作特点：
1.自动执行--根据系统设定的工作步骤自动完成
2.数据量大--少则百万,多则千万甚至上亿
3.定时执行--每天/每周每月执行
批处理流程:
1.读数据--数据可能来自文件、数据库或消息队列等；
2.处理数据--处理读取的数据并形成输出的结果；
3.写数据--将输出结果写入文件、数据库、消息队列等。
一个典型的批处理场景：
系统A从数据库获取数据,进过业务处理后,
导出系统B所需要的数据到文件中,系统B读取文件数据,
进过业务处理后,最后存放在数据库中,
通常情况下该批处理动作在每天晚上12点至2点执行。
| 留言与评论（共有 0 条评论） |
