针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统建设中的关键。面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题，现有基于CCSDS标准格式的数据分析方法，难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求。针对空间科学卫星探测数据处理特点，提出了一种空间科学数据快速处理方法，设计两层联合索引结构，将空间科学大数据处理问题转化为索引表和源包数据单元的处理问题，提高了数据处理效率；采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架，支持多样化的空间科学卫星数据处理流程，各类载荷数据处理任务并行调度。实验结果表明，这种方法处理速度可扩展，内存使用较少，已应用于空间科学卫星地面系统中，取得了良好的效果。    

Rapid data processing for largescale data acquired by satellites has always been the key to build spatial information processing systems. Faced with space science satellite problems such as allweather observation, multiple types of detection loads, and various processing algorithms, the existing data analysis methods based on CCSDS standard format are difficult to satisfy the current requirements of data processing systems for the onorbit space science satellites in correctness and timeliness. According to the observing data characteristics of the space science satellites, the paper proposes a fast data processing method for space science, designs the twolayer joint index structure that transforms the processing problem from the space science large data into the index tables and the source packet data units, and improves the efficiency of data processing. The paper designs a processing framework using scientific workflow technique, which supports the cooperation between the datadriven processing and the businessdriven processing of space science satellite data, and also supports various data processing workflows and the parallel scheduling of numerous tasks for different satellite payload types. The experimental results show that this method has good scalability and less memory usage, which has been well applied to the spatial information processing system of space science satellites. 
相关文章

[1]	华悦琳, 周晓磊, 范强, 王芳潇, 严浩, . 基于分区层次图的海量高维数据学习索引构建方法[J]. 计算机工程与科学, 2024, 46(07): 1193-1201.
[2]	刘忠沛, 吕高锋, 王继昌, 杨翔瑞. 专用数据处理器综述[J]. 计算机工程与科学, 2023, 45(02): 215-227.
[3]	葛旭冉, 刘洋, 陈志广, 肖侬. 基于MPI的并行大数据集生成器[J]. 计算机工程与科学, 2022, 44(07): 1152-1161.
[4]	郭宏乐，陈旺虎，马生俊，李新田，乔保民. 一种云环境下科学工作流执行计划的优化方法[J]. 计算机工程与科学, 2019, 41(03): 433-439.
[5]	聂含伊，杨希，张文喆. 面向多领域的高性能计算机应用综述[J]. 计算机工程与科学, 2018, 40(增刊S1): 145-153.
[6]	王志宝1，夏昊2，王成波2. 地理信息检索关键技术研究综述[J]. 计算机工程与科学, 2018, 40(03): 533-543.
[7]	王永坤1,罗萱1,金耀辉1,2. 基于私有云和物理机的混合型大数据平台设计及实现[J]. 计算机工程与科学, 2018, 40(02): 191-199.
[8]	衡冬冬,唐玉华,易晓东,刘向阳,周侗. 并行原型系统上BFS算法设计实现与测试分析[J]. 计算机工程与科学, 2017, 39(01): 27-34.
[9]	陈旺虎,段菊，俞茂义. 允许违反局部时间约束的科学工作流调度策略[J]. 计算机工程与科学, 2016, 38(11): 2165-2171.
[10]	李克武,张功萱,朱昭萌. 云环境中基于分解的多目标工作流调度算法[J]. 计算机工程与科学, 2016, 38(08): 1588-1594.
[11]	许婧1，任开军2. 气象数据归档元数据索引重组织的并行算法设计与验证[J]. J4, 2016, 38(06): 1078-1085.
[12]	赵会群，黄传聪. 一种基于Hadoop的EPC物联网数据分析系统的研究与实现[J]. J4, 2015, 37(04): 657-662.
[13]	廖凯宁，郝永伟. 地震数据处理和地震动力学仿真平台的优化研究[J]. J4, 2015, 37(04): 663-669.
[14]	何光军1，管群1,韦方强2，胡凯衡2. 基于云计算的灾害数据处理方案的研究与设计[J]. J4, 2012, 34(3): 74-79.
[15]	沈 青，董 波，肖德宝. 基于服务器集群的云监控系统设计与实现[J]. J4, 2012, 34(10): 73-77.