YNAO OpenIR  > 其他
ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究
其他题名The Application of ElasticSearch in the Massive Astronomical Data Retrieval
陈亚杰1; 王锋1,2; 邓辉1; 刘应波1
发表期刊天文学报(Acta Astronomica Sinica)
2016-03
卷号57期号:2页码:241-251
DOI10.15940/j.cnki.0001-5245.2016.02.011
分类号P112
产权排序第2完成单位
收录类别CSCD ; 核心
关键词方法 数值 解析 天文数据库 其他诸多方面
摘要天文观测数据是天文研究的基础,但传统的集中式数据检索方法已难以满足日益增长的海量天文数据的高性能检索和查询需求.提出了一种基于Elastic Search分布式搜索引擎,通过River机制对现有的海量FITS(Flexible Image Transport System)数据进行索引构建,从而实现海量FITS数据高效检索的方法,并讨论了其中的近实时检索和查询的关键技术.实测结果表明,在百万到千万级的天文数据量下,该方法可获得极高的检索性能,并能够很方便地集成到现有的天文数据归档系统中,完全可以满足当前国内各类望远镜系统天文数据的归档要求.
其他摘要Astronomical observational data are the fundamental element for modern astronomical researches. However, with the rapid increase of astronomical data, the traditional centralized retrieval methods are hard to meet the requirements of highperformance data retrieval. In the study, we present a novel method which is based on the Elastic Search distributed retrieval engine and River mechanism to create data indexes, and provide high performance data retrieval for massive FITS(Flexible Image Transport System) data. We discuss the key technologies of the nearly real-time retrieval and query. The experimental results show that the method is capable of obtaining high retrieval performance especially for the cases in which the number of the FITS data exceeds millions or even tens of millions. Meanwhile, the method can be easily integrated into the current astronomical data archiving systems, and completely meet the archive requirements of all kinds of astronomical telescope systems.
项目资助者国家自然科学基金项目(U1231205,11303011,11263004,11463003,11163004) ; 云南省应用基础基金重点项目(2013FA013,2013FA032)资助
语种中文
学科领域天文学
ISSN0001-5245
CSCD记录号CSCD:5663007
引用统计
被引频次:1[CSCD]   [CSCD记录]
文献类型期刊论文
条目标识符http://ir.ynao.ac.cn/handle/114a53/9813
专题其他
作者单位1.昆明理工大学云南省计算机技术应用重点实验室
2.中国科学院云南天文台
推荐引用方式
GB/T 7714
陈亚杰,王锋,邓辉,等. ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究[J]. 天文学报(Acta Astronomica Sinica),2016,57(2):241-251.
APA 陈亚杰,王锋,邓辉,&刘应波.(2016).ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究.天文学报(Acta Astronomica Sinica),57(2),241-251.
MLA 陈亚杰,et al."ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究".天文学报(Acta Astronomica Sinica) 57.2(2016):241-251.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
ElasticSearch分布式_省略_(869KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[陈亚杰]的文章
[王锋]的文章
[邓辉]的文章
百度学术
百度学术中相似的文章
[陈亚杰]的文章
[王锋]的文章
[邓辉]的文章
必应学术
必应学术中相似的文章
[陈亚杰]的文章
[王锋]的文章
[邓辉]的文章
相关权益政策
暂无数据
收藏/分享
文件名: ElasticSearch分布式_省略_引擎在天文大数据检索中的应用研究_陈亚杰.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。