이전|다음

원격 탐사 빅데이터 시공간 쿼리를 위한 융합 그리드 인덱스 방법

  • role： First author第一作者
  • Affiliation：

    Institute of Software of Chinese Academy of Sciences, Beijing 100190, China

    University of Chinese Academy of Sciences, Nanjing 211135, China

    Nanjing Institute of Software Technology, Nanjing 210000, China

  • Email：chenjunzhe21@otcaix.iscas.ac.cn
  • Introduction：陈俊哲，研究方向为分布式软件理论与技术。E-mail： chenjunzhe21@otcaix.iscas.ac.cn
CHEN Junzhe123,  
  • role： Corresponding author通信作者
  • Affiliation：

    Institute of Software of Chinese Academy of Sciences, Beijing 100190, China

    University of Chinese Academy of Sciences, Nanjing 211135, China

    Nanjing Institute of Software Technology, Nanjing 210000, China

  • Email：ljie@otcaix.iscas.ac.cn
  • Introduction：刘杰，研究方向为地球大数据、分布式系统。E-mail： ljie@otcaix.iscas.ac.cn
LIU Jie123*,  
  • Affiliation：

    The International Research Center of Big Data for Sustainable Development Goals, Beijing 100094, China

    Aerospace Information Research Institute of Chinese Academy of Sciences, Beijing 100094, China

QIN Yuchu45,  
  • Affiliation：

    Nanjing Institute of Software Technology, Nanjing 210000, China

CAO Yu3,  
  • Affiliation：

    Institute of Software of Chinese Academy of Sciences, Beijing 100190, China

    Nanjing Institute of Software Technology, Nanjing 210000, China

WANG Shuai13,  
  • Affiliation：

    Institute of Software of Chinese Academy of Sciences, Beijing 100190, China

YE Dan1,  
  • Affiliation：

    Institute of Software of Chinese Academy of Sciences, Beijing 100190, China

ZHONG Hua1

추상적인

클라우드 플랫폼 기반 원격 탐사 빅데이터 온라인 처리 시스템은 원격 탐사 영상의 다분야 혁신 응용에 효율적인 지원을 제공합니다. 그러나 기존 데이터베이스 시스템은 백만 단위 원격 탐사 영상 메타데이터의 시공간 쿼리 처리 시 응답 속도가 느려 온라인 처리 시스템의 실시간 처리 요구를 충족하기 어렵습니다. 복잡한 대규모 시공간 쿼리는 원격 탐사 영상 분석의 성능 병목 현상이 되었습니다. 본 논문에서는 2차원 및 3차원 그리드 분할을 융합한 효율적인 시공간 인덱싱 및 쿼리 최적화 방법을 제안합니다. 이 방법은 먼저 2차원 그리드 분할 기반 초기 쿼리 범위 매칭을 수행하고, 시간 조건을 결합하여 일부 그리드 셀을 3차원 셀로 변환하여 쿼리 실행 효율을 향상시킵니다. 전역 그리드 셀을 재귀적으로 구축하고 Z-순서 코딩을 이용하여 그리드 셀을 1차원 정수 인덱스로 매핑하여 시공간 쿼리를 코드 범위 쿼리로 변환합니다. 또한 그리드 기반 시공간 지역성에 기반한 쿼리 분할 메커니즘을 설계하여 쿼리 작업의 병렬 실행을 지원합니다. 본 방법은 MongoDB와 PostGIS에 구현되었으며 시스템 고유 인덱스와 성능 비교 실험을 수행하여 각각 93.11%와 88.02%의 쿼리 소요 시간을 단축했습니다. 현재 이 기술 솔루션은 지속 가능한 개발 빅데이터 국제 연구센터에서 발표한 SDG 빅데이터 플랫폼 EarthDataMiner 시스템에 통합되어 서비스를 제공하고 있습니다.

키워드

원격 탐사 빅데이터; 원격 탐사 영상; 시공간 쿼리; 시공간 그리드 분할; 쿼리 최적화; 인덱스 최적화; 원격 탐사 클라우드 컴퓨팅 플랫폼; 시공간 데이터베이스

References

  1. 1.
    Allen C, Smith M, Rabiee M and Dahmm H. 2021. A review of scientific advancements in datasets derived from big data for monitoring the sustainable development goals. Sustainability Science, 16(5): 1701-1716
  2. 2.
    Beckmann N, Kriegel H P, Schneider R and Seeger B. 1990. The R*-Tree: an efficient and robust access method for points and rectangles. ACM SIGMOD Record, 19(2): 322-331
  3. 3.
    Fu D J, Xiao H, Su F Z, Zhou C H, Dong J W, Zeng Y L, Yan K, Li S W, Wu J, Wu W Z and Yan F Q. 2021. Remote sensing cloud computing platform development and Earth science application. National Remote Sensing Bulletin, 25(1): 220-230
  4. 4.
    Gorelick N, Hancher M, Dixon M, Ilyushchenko S, Thau D and Moore R. 2017. Google earth engine: planetary-scale geospatial analysis for everyone. Remote Sensing of Environment, 202: 18-27
  5. 5.
    Guttman A. 1984. R-Trees: a dynamic index structure for spatial searching//Proceedings of the 1984 ACM SIGMOD International Conference on Management of Data. Boston: ACM: 47-57
  6. 6.
    Khanal S, KC K, Fulton J P, Shearer S and Ozkan E. 2020. Remote sensing in agriculture—accomplishments, limitations, and opportunities. Remote Sensing, 12(22): 3783
  7. 7.
    Li D R. 2016. Towards geo-spatial information science in big data era. Acta Geodaetica et Cartographica Sinica, 45(4): 379-384
  8. 8.
    Li G B and Tang J E. 2012. A new R-Tree spatial index based on space grid coordinate division//Proceedings of 2011 International Conference on Informatics, Cybernetics, and Computer Engineering. Melbourne: Springer: 133-140
  9. 9.
    Li S, Cheng C Q, Tong X C, Chen B and Zhai W X. 2016. A study on data storage and management for massive remote sensing data based on multi-level grid model. Acta Geodaetica et Cartographica Sinica, 45(S1): 106-114
  10. 10.
    Liu H, Yan J N, Wang J L, Chen B, Chen M and Huang X H. 2023. HGST: a hilbert-GeoSOT spatio-temporal meshing and coding method for efficient spatio-temporal range query on massive trajectory data. ISPRS International Journal of Geo-Information, 12(3): 113
  11. 11.
    Liu J, Wang W and Zhong H. 2020. EarthDataMiner: a cloud-based big earth data intelligence analysis platform. IOP Conference Series: Earth and Environmental Science, 509(1): 012032
  12. 12.
    Negassa M D, Mallie D T and Gemeda D O. 2020. Forest cover change detection using Geographic Information Systems and remote sensing techniques: a spatio-temporal study on Komto Protected forest priority area, East Wollega Zone, Ethiopia. Environmental Systems Research, 9(1): 1
  13. 13.
    Qi J Z, Tao Y F, Chang Y C and Zhang R. 2020. Packing R-Trees with space-filling curves: theoretical optimality, empirical efficiency, and bulk-loading parallelizability. ACM Transactions on Database Systems, 45(3): 14
  14. 14.
    Qian C Y, Yi C, Cheng C Q, Pu G L, Wei X F and Zhang H C. 2019. GeoSOT-based spatiotemporal index of massive trajectory data. ISPRS International Journal of Geo-Information, 8(6): 284
  15. 15.
    Sellis T K, Roussopoulos N and Faloutsos C. 1987. The R+-tree: a dynamic index for multi-dimensional objects//Proceedings of the 13th International Conference on Very Large Data Bases. San Francisco: ACM: 507-518
  16. 16.
    Shao Z F, Ding L, Li D R, Altan O, Huq M E and Li C M. 2020. Exploring the relationship between urbanization and ecological environment using remote sensing images and statistical data: a case study in the Yangtze River Delta, China. Sustainability, 12(14): 5620
  17. 17.
    U.S. Geological Survey. Bulk metadata service. . [2024-04-15]
  18. 18.
    Zäschke T, Zimmerli C and Norrie M C. 2014. The PH-tree: a space-efficient storage structure and multi-dimensional index//Proceedings of 2014 ACM SIGMOD International Conference on Management of Data. Snowbird: ACM: 397-408
  19. 19.
    Zhou X H, Wang X Z, Zhou Y C, Lin Q H, Zhao J H and Meng X H. 2021. RSIMS: large-scale heterogeneous remote sensing images management system. Remote Sensing, 13(9): 1815
  20. 20.
    Zhu J K, Zhang Z, Zhao F, Su Z, Gu Z N and Wang L L. 2023. Efficient management and scheduling of massive remote sensing image datasets. ISPRS International Journal of Geo-Information, 12(5): 199

더 읽기

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website