YNAO OpenIR  > 其他
基于MPI的高性能UVFITS数据合成研究与应用
其他题名The Study and Application of a High Performance UVFITS Assembly System Based on MPI
陈泰燃1; 王威3; 王锋1,2; 邓辉1; 刘应波1; 梅盈1
发表期刊天文研究与技术(Astronomical Research & Technology)
2016-04
卷号13期号:2页码:184-189
DOI10.14005/j.cnki.issn1672-7673.20150928.004
分类号TP311.1
产权排序第2完成单位
收录类别CSCD
关键词Uvfits 海量数据 Mpi 并行计算 高性能计算
摘要中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph,MUSER)进入实际观测后,每3 ms产生一帧100 k B左右的数据,每天的原始观测数据约3.5 TB。由于射电日像仪的原始数据采用自定义格式,为了后续数据分析和共享的需要,有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换,在此基础上研究了基于MPI的集群并行环境下UVFITS合成系统的性能优化。通过实验验证,在改进后的并行环境下,UVFITS合成系统的性能达到了需求的2.5倍,可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时,改进后的系统具有良好的横向扩展能力,能够为相关项目的数据处理提供借鉴和参考。
其他摘要Mingantu Ultrawide Spectral Radioheliograph( MUSER) generates 100 kilobytes raw observational data in every 3 milliseconds and more than 3. 5 Terabytes data per day. For further data analysis and sharing,it is necessary to convert the raw data stored in self-defined format to standard format usually used in the field of radio astronomy. In previous work,we have analyzed the format of UVFITS and converted the raw data to UVFITS file successfully. However,the efficiency of the format converting system needs to be further improved. This paper presents a parallel UVFITS file assembly system based on cluster parallel environment. Experiments show that the system can reduce the execution time of assembling a UVFITS file to about 1. 2 milliseconds,2. 5 times faster than that of the data acquisition,which is very promising to meet the data processing requirements in the project. Moreover,the parallel system can be used for reference in other systems. The implementation of this parallel data format converting system can also provide a good reference to similar data processing systems.
项目资助者国家自然科学天文联合基金(U1231205) ; 国家自然科学基金(11263004,11203011,11163004,11103005) ; 云南省应用基础基金重点项目(2013FA013,2013FA032,2013FZ018)资助
语种中文
学科领域天文学
ISSN1672-7673
CSCD记录号CSCD:5686171
引用统计
被引频次:3[CSCD]   [CSCD记录]
文献类型期刊论文
条目标识符http://ir.ynao.ac.cn/handle/114a53/9819
专题其他
作者单位1.昆明理工大学云南省计算机技术应用重点实验室
2.中国科学院云南天文台
3.中国科学院国家天文台
推荐引用方式
GB/T 7714
陈泰燃,王威,王锋,等. 基于MPI的高性能UVFITS数据合成研究与应用[J]. 天文研究与技术(Astronomical Research & Technology),2016,13(2):184-189.
APA 陈泰燃,王威,王锋,邓辉,刘应波,&梅盈.(2016).基于MPI的高性能UVFITS数据合成研究与应用.天文研究与技术(Astronomical Research & Technology),13(2),184-189.
MLA 陈泰燃,et al."基于MPI的高性能UVFITS数据合成研究与应用".天文研究与技术(Astronomical Research & Technology) 13.2(2016):184-189.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于MPI的高性能UVFITS数据合成研(272KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[陈泰燃]的文章
[王威]的文章
[王锋]的文章
百度学术
百度学术中相似的文章
[陈泰燃]的文章
[王威]的文章
[王锋]的文章
必应学术
必应学术中相似的文章
[陈泰燃]的文章
[王威]的文章
[王锋]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于MPI的高性能UVFITS数据合成研究与应用_陈泰燃.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。