金融界2024年6月17日消息,天眼查知识产权信息显示,拉卡拉支付股份有限公司取得一项名为“数据处理方法、装置、电子设备、存储介质及程序产品“,授权公告号CN112799820B,申请日期为2021年2月。
专利摘要显示,本公开实施例公开了一种数据处理方法、装置、电子设备、存储介质及程序产品,方法包括:确定数据产生端在数据写阶段产生的数据分区中的数据量;将数据量大于或等于第一预设阈值的数据分区确定为目标分区;生成多个任务标识,并建立多个任务标识与目标分区中数据之间的映射关系;将多个任务标识分别分配给不同的数据处理任务,以便在数据读阶段由数据处理任务根据映射关系从目标分区读取所对应的数据。该技术方案可以通过启动多个数据处理任务并行对该目标分区中的数据进行处理的方式,解决Shuffle阶段由于某个数据分区中发生数据倾斜而导致对应的大数据处理作业效率低下的问题,提升了大数据处理作业的处理效率。
本文源自:金融界
作者:情报员