YNAO OpenIR  > 其他
基于压缩-字对齐位图的天文海量数据实时索引
其他题名Massive astronomical real-time data indexing based on compressed word-aligned bitmap
刘应波1,3; 王锋1,2,3; 季凯帆2; 邓辉2; 戴伟1,2,3; 梁波2
发表期刊计算机工程与应用(Computer Engineering and Applications)
2016
卷号52期号:1页码:37-41+140
DOI10.3778/j.issn.1002-8331.1401-0015
分类号TP39
产权排序第1完成单位
收录类别CSCD ; 核心
关键词字对齐位图索引 Fastbit 海量数据 大型望远镜
摘要澄江一米新真空大型天文望远镜(NVST)当前每天最大能产生2 TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。
其他摘要At present, New Vacuum Solar Telescope(NVST)is generating data more than 2 TB per day, and due to the characteristic of massive non-structure data, it is beyond traditional database systems to search efficiently for a subset of these extremely large with low latency and response time and time overtime is increasing by the way of off-line index building. Aiming at these problems, combined with the strategy of on-line real data indexing in observation data capture system, using an approach of the compressed word-aligned bitmap index for observation data indexing and querying is proposed. This approach cannot only save the time cost of accessing FITS file, reading FITS file header and parsing header keyword in off-line indexing mode, but also can solve the problem of massive solar data retrieval. Experiments show that time overhead can be reduced by using real-time data indexing, and the effectiveness and feasibility of the method are proved in the experiments.
项目资助者国家自然科学基金(No.U1231205,No.11263004,No.11163004,No.11103005) ; 云南省应用基础研究基金重点项目(No.2013FA013,No.2013FA032)
语种中文
学科领域天文学
ISSN1002-8331
CSCD记录号CSCD:5612319
引用统计
文献类型期刊论文
条目标识符http://ir.ynao.ac.cn/handle/114a53/9807
专题其他
作者单位1.中国科学院云南天文台
2.中国科学院大学
3.昆明理工大学云南省计算机技术应用重点实验室
推荐引用方式
GB/T 7714
刘应波,王锋,季凯帆,等. 基于压缩-字对齐位图的天文海量数据实时索引[J]. 计算机工程与应用(Computer Engineering and Applications),2016,52(1):37-41+140.
APA 刘应波,王锋,季凯帆,邓辉,戴伟,&梁波.(2016).基于压缩-字对齐位图的天文海量数据实时索引.计算机工程与应用(Computer Engineering and Applications),52(1),37-41+140.
MLA 刘应波,et al."基于压缩-字对齐位图的天文海量数据实时索引".计算机工程与应用(Computer Engineering and Applications) 52.1(2016):37-41+140.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于压缩_字对齐位图的天文海量数据实时索(1576KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[刘应波]的文章
[王锋]的文章
[季凯帆]的文章
百度学术
百度学术中相似的文章
[刘应波]的文章
[王锋]的文章
[季凯帆]的文章
必应学术
必应学术中相似的文章
[刘应波]的文章
[王锋]的文章
[季凯帆]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于压缩_字对齐位图的天文海量数据实时索引_刘应波.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。