YNAO OpenIR  > 其他
基于SparkStreaming的明安图射电频谱日像仪实时数据处理
其他题名Real-Time Data Processing in Mingamtu UItrawide Spectral Radio Heliograph Based on Spark Streaming
卫守林1,2; 刘鹏翔1; 王锋1,2; 邓辉1; 梁波1; 戴伟1,2
发表期刊天文研究与技术(Astronomical Research & Technology)
2017-10
卷号14期号:4页码:421-428
DOI10.14005/j.cnki.issn1672-7673.20170922.009
分类号TP274.2 
产权排序第2完成单位
收录类别CSCD
关键词Muser 射电天文 Spark 流式计算 实时计算
摘要

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。

其他摘要

There is a growing demand for real-time processing in astronomical observations in recent years, meanwhile, the requirement for performance is also increasing dramatically.  Mingantu Ultrawide Spectral Radio Heliograph (MUSER) is a synthetic aperture radio interferometer with high temporal, spatial and spectral resolution. In daily observation of low frequency, MUSER contains two aspects of data processing, historical data processing and sampling observational data which is produced every 5 seconds and processed in real-time mode. The procedure of raw data processing contains validation, correction, clean and other processing steps, then the results need to be transmitted in real-time mode to monitoring end without user constantly refreshing or sending a request. The traditional stand-alone processing mode has been unable to meet the requirements of large amounts of data in real-time mode. In this paper, we explored the use of Spark Streaming in a new approach for MUSER real-time calculations across multiple machines and evaluated its effectiveness and efficiency. A customized receiver was created for real-time binary stream of MUSER. We also extended the Spark cluster by adding multiple GPU's nodes. The experiments have shown that Spark Streaming can significantly improve MUSER real-time processing performance for its memory-based execution engine. We might look forward to optimize the algorithm through experiments and configurations so as to obtain better results, and apply it to the actual environment of MUSER finally.

资助项目国家自然科学基金[11403009] ; 国家自然科学基金[U1231205]
项目资助者国家自然科学基金[11403009, U1231205]
语种中文
学科领域天文学 ; 天文学其他学科 ; 计算机科学技术 ; 计算机应用
学科门类理学 ; 理学::天文学 ; 工学 ; 工学::计算机科学与技术(可授工学、理学学位)
ISSN1672-7673
CSCD记录号CSCD:6071970
引用统计
被引频次:3[CSCD]   [CSCD记录]
文献类型期刊论文
条目标识符http://ir.ynao.ac.cn/handle/114a53/10161
专题其他
作者单位1.昆明理工大学云南省计算机技术应用重点实验室, 云南, 昆明, 650500
2.中国科学院云南天文台, 云南, 昆明, 650011
第一作者单位中国科学院云南天文台
推荐引用方式
GB/T 7714
卫守林,刘鹏翔,王锋,等. 基于SparkStreaming的明安图射电频谱日像仪实时数据处理[J]. 天文研究与技术(Astronomical Research & Technology),2017,14(4):421-428.
APA 卫守林,刘鹏翔,王锋,邓辉,梁波,&戴伟.(2017).基于SparkStreaming的明安图射电频谱日像仪实时数据处理.天文研究与技术(Astronomical Research & Technology),14(4),421-428.
MLA 卫守林,et al."基于SparkStreaming的明安图射电频谱日像仪实时数据处理".天文研究与技术(Astronomical Research & Technology) 14.4(2017):421-428.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于SparkStreaming的明安图(1076KB)期刊论文出版稿开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[卫守林]的文章
[刘鹏翔]的文章
[王锋]的文章
百度学术
百度学术中相似的文章
[卫守林]的文章
[刘鹏翔]的文章
[王锋]的文章
必应学术
必应学术中相似的文章
[卫守林]的文章
[刘鹏翔]的文章
[王锋]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于SparkStreaming的明安图射电频谱日像仪实时数据处理.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。