大数据GIS核心技术有哪些？

　　司南导航：大数据GIS是在大数据浪潮下，GIS从传统迈向大数据时代的一次变革。大数据GIS能为空间大数据的存储、分析和可视化提供更先进的理论方法和软件平台，促进了传统GIS的产业升级，为地理信息产业发展提供新的渠道和原动力，服务于我国“十三五”期间的大数据产业发展和部署。

　　大数据GIS的产生

　　• 大数据

　　近几年，大数据(Big Data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

　　一般认为，大数据具备体量大、变化快、种类多和价值密度低等特征。而大数据区别于单纯海量数据的根本在于：大数据是随着互联网、移动互联网、物联网等高新技术的发展，能够自动化获取的数据，例如手机信令数据、导航定位数据、电商交易数据、搜索引擎数据、社交媒体数据、公交刷卡数据等等。我们能够从这些数据中分析挖掘出有价值的信息和规律，从而帮助我们在各个行业的应用中辅助决策，甚至预测未来。

　　• 空间大数据

　　业界常说，日常生活中80%的数据和空间位置有关。而在大数据领域，由于数据主要来自互联网、移动互联网、物联网等自动采集的数据，其带有空间位置的比例更高。例如：手机信令数据由通讯基站与手机之间的信令链接所产生，通过手机与基站的相对关系就能计算出手机的位置;社交媒体数据中，用户分享的文字、图片、视频等，通常标注有从用户终端获取的位置信息;公交刷卡数据能够从车辆定位系统中获取位置信息;即便是电商交易数据，也能从IP地址获得其大致的位置信息。

　　总的来说，空间大数据就是大数据中带有(或者隐含)空间位置的数据。由于获取方式的特殊性，空间大数据与经典的海量空间数据有所差别，空间大数据带有大数据的价值密度低的特征，在大数据技术发展前，使用常规手段无法处理，更无法有效分析和挖掘这些数据的价值。

　　随着大数据技术的发展，开采空间大数据的价值成为可能，对于空间大数据的挖掘，让我们能从一个新的视角，即空间位置关系和时空变迁的角度，去发掘大数据中的规律和趋势，从而打开大数据应用的另一扇窗。

　　• 大数据GIS

　　大数据领域已经出现了许多实用的IT技术，例如分布式文件系统、分布式数据库、分布式计算框架、流处理框架等。这些技术使我们能够使用普通机器对大数据进行处理和挖掘，但多聚焦于通用的非空间数据领域，对空间数据的专业分析能力不足。而传统GIS由于受其IT技术框架的限制，并不能很好地应对大数据对分布式存储与计算、流数据处理等的技术要求。

　　大数据GIS就是把大数据技术与GIS技术进行深度融合，把GIS的核心能力嵌入到大数据基础框架之内，并打造出完整的大数据GIS技术体系。大数据GIS的核心技术如下图所示：

　　大数据GIS核心技术

　　1、分布式技术

　　(1)空间数据的分布式存储。在原有分布式存储系统之中，嵌入分布式空间索引、空间数据的分片处理和管理等技术，通过空间数据的横向扩展(Scale-Out)，实现单表过亿、乃至数十亿空间数据的存储与管理。常用的分布式存储系统有HDFS、HBase、Elasticsearch等。

　　(2)分布式空间计算。以Spark分布式计算框架为基础，把原有地理空间分析算法进行分布式改造，实现在数小时完成原有GIS无法完成的上亿条空间面对象之间的空间分析计算。

　　(3)分布式地图渲染。通过矢量金字塔、分布式渲染、自动缓存和前端渐进加载等技术，实现超大规模空间数据的“免切片”渲染效果(具体内容请点击《超图高性能分布式地图渲染技术解密与应用》进行查看)。

　　2、流数据的实时处理技术

　　基于Spark Streaming流计算框架的基础能力，扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出等相关能力。

　　3、空间大数据可视化技术

　　不同于传统GIS中直接把所有地物绘制到地图上，大数据动辄就是千万、上亿条数据，直接展示如此大量的数据既无必要，也没有可能。空间大数据的可视化更强调的是，在对数据进行分析计算之后，来表达其空间分布情况、聚合程度及连接关系等。

　　总的来看，大数据GIS主要解决了两个方面的问题：

　　• 新数据：大数据GIS扩展了GIS所管理空间数据的边界，除了经典的，如矢量、栅格等基础空间数据，大数据GIS还能管理实时发生的流数据，以及存档下来的空间大数据，这也为空间大数据的挖掘和应用提供了有效的工具。

　　• 新技术：大数据GIS也扩展了传统GIS的技术边界，通过与大数据IT技术的融合，极大地提升了GIS对超大规模空间数据的存储容量、计算性能和渲染能力。

　　然而，仅仅做到攻克大数据GIS技术还是不够的，要想真正服务好社会，更重要的是如何能够通过大数据GIS为各个行业的相关业务提供多元思维、多元决策，为行业迎合新技术的冲击，为行业发展提供坚实的技术基础。

　　1.文章部分文字与图片来源网络，如有问题请及时联系我们。

　　2.涉及转载的所有文章、图片、音频文件等资料，版权归版权所有人所有。

　　3.本文章内容如无意中侵犯了媒体或个人的知识产权，请联系我们立即删除。