Coding and Paper Letter(二十六)
资源整理。
1 Coding:
1.开源项目PyModisAtm,使用Python下载Modis大气数据的例程。
2.Python库rastercube,用于在Hadoop文件系统(HDFS)上存储大型地理栅格数据集。 最初的用例是存储并快速访问整个星球上任何像素的MODIS NDVI时间序列。 此外,rastercube提供了使用Spark处理数据的工具。
3.Python库modisSuite,可以从NSIDC和USGS服务器批量下载Modis卫星图像。 它兼容python 2和python 3。
4.Python库pymasker,从Landsat和MODIS土地产品QA波段生成掩膜。
5.大气和海洋科学家的Python(和git)课程。
6.Python库georasters,提供了一个快速灵活的工具来处理GIS栅格文件。
7.Openeo的Python客户端API。
8.R语言包SiMRiv,基于个体的河流多变量运动模拟,异质和均匀空间结合R中的局部景观偏差。
9.R语言包rnaturalearth,用于保持和促进与natural earth地图数据交互的R包。
10.R语言包owmr,OpenWeatherMap的R接口。
11.R语言包polite,用于规范网络上的一些操作。
12.他们忘记的教你关于R,“如何做”的主页和研讨会。
13.TensorFlow中的概率推理和统计分析。
14.R语言包multigraph,在R中绘制和操纵多图。
15.《神经网络与深度学习》 Neural Network and Deep Learning课程 。
16.由北欧大地测量委员会定义的变换的PROJ参数。
17.Leetcode 题解 (跟随思路一步一步撸出代码) 及经典算法实现。
18.健康不平等与健康恢复的空间微观模拟分析,国外的学位论文。
19.Mapbox GL Draw的自定义模式,可添加绘制矩形的功能。
20.有关构建MetaPost共享库的技术报告。
21.R语言包pdftext,从PDF中提取文字。
22.R语言包deepviz,用于可视化神经网络架构的R包。
23.R包bigstatsr,用于统计工具的R包,其中包含存储在磁盘上的大型矩阵。
24.R语言包textrecipes,包括用于预处理文本数据的额外步骤。
25.用于部署,监控,版本和扩展机器学习的精彩资源的精选列表。
awesome machine learning operations
26.Radiant Earth Foundation平台的Python客户端。
27.开源项目skynet train,这些脚本用于训练和测试SegNet神经网络,特别是使用由skynet数据生成的OpenStreetMap +卫星图像训练数据。
28.可重复使用的研究数据分析平台。
29.R语言包ecolim,用于操纵和可视化气候数据的工具。
30.R语言包rdemtools,R语言用于编辑dem的工具。
31.大数据的交互可视化分析平台。
32.R语言包diffobj,将R对象与Diff进行比较。
33.UCL地理学:第四年课程,科学计算。
34.Morph是一个免费的开源工具,用于根据数据创建设计,动画或交互式可视化。
2 Paper:
热带气旋(TC)轨迹方法的等分,TC轨迹方法的质量矩和混合回归模型方法是使用来自完整TC轨迹的空间和形状信息的聚类算法。在本文中,这三种聚类算法应用于TC轨迹聚类分析,以识别1949年至2014年影响南海(TCS)的TC。根据它们的空间位置和形状相似性,这些TC轨迹分为五个轨迹类,包括三个向西的直线运动轨迹簇和两个向北的重新弯曲的轨迹簇。这些星团在其起源位置,航向,登陆位置,TC强度,寿命和季节性分布方面表现出不同的特征。聚类结果表明这些算法具有不同的特征。轨迹方法的等分,一般提供更好的聚类结果。该方法简单直接,同一类的轨迹在形状和航向上是一致的。回归混合模型算法具有坚实的理论数学基础,可以保持类中轨迹之间良好的空间一致性。轨迹方法的质量矩显示出与轨迹方法的相等划分的总体一致性。轨迹数据挖掘在台风轨迹中的应用,其中一个很关键的空间位置和形状相似性,空间的相似性近年来被大家所重视,基于此提出了很多理论,事实上我认为从王劲峰老师的地理探测器到朱阿兴老师的SoLIM,原理应该都跟这相关,闾国年老师甚至认为这有可能发展为地理学的第三定律。
本研究介绍了南海热带气旋(TCs)的空间分布格局,并讨论了平均海表温度(SST)和暖海洋涡旋大小对TC传播强度变化的可能影响。他们。在1993年至2013年期间,SCS经历了233次TC,其中134次与温暖的海洋漩涡相互作用。模糊c均值(FCM)聚类的结果表明,这些TC主要位于南海地区的北部。在与温暖的海洋漩涡相互作用后,TC可能会增强,保持相同的强度或减弱。对于强化TC,增强范围仅为0至3 m/s;然而,这种TC强度增强水平在p <0.05时具有统计学意义。进一步的统计分析表明,温暖的海洋涡旋具有高于平均的SST和较大的温暖海洋漩涡的大小与TC最大风的半径之间的比率可能有助于加强通过TC。分析SST对台风的影响,结合聚类分析和统计分析来研究。
空间结构是城市的一个基本特征,在很大程度上影响着城市功能。虽然行政区划通常以静态空间划分的形式进行,但了解城市空间更具时间动态的结构将极大地有利于城市规划和管理。本研究利用大规模的手机定位数据集来表征基于交互的城市空间结构的日变化。为了提取时间上充满活力的结构,基于地理单位之间的个体的运动联系来构建不同时间的空间交互网络。复杂网络社区检测技术用于识别空间划分以及量化其时间动态。使用包含中国深圳典型工作日所有用户尺寸的数据进行实证分析。将结果与官方分区和规划结构进行比较,表明城市中心区域有一定程度的扩张和工业郊区的分割。通过一些不同的时间特征检测到在一天的不同时间的空间划分的高度可变性。峰值和峰值前/后时间见证了空间划分中最突出的波动,表明在这些时间段内运动和活动的特征发生了显着变化。这项研究的结果表明,大规模移动数据在支持智能空间决策和为城市规划部门提供有价值的知识方面具有巨大潜力。基于新兴大数据——手机定位数据的城市空间研究。利用复杂网络的社区检测来做聚类,分析城市空间的分区及时间变化,在大数据时代,这样精细时间粒度上的研究显得更有价值。
可持续发展研究面临着许多挑战,因为各自的环境,城市和区域背景正在以前所未有的空间粒度水平经历快速变化,这涉及到以更快的速度增长海量数据和空间关系检测的需求。空间连接是使数据在空间关系方面提供更多信息的基本方法。数据量的急剧增长导致人们越来越关注高性能的大规模空间连接。在本文中,我们提出了Spatial Join with Spark(SJS),这是一种提出的高性能算法,它使用简单但有效的统一空间网格来分区数据集,并使用Spark的内置连接转换来连接分区。 SJS利用Spark的分布式内存迭代计算,然后引入计算评估模型和内存空间重分区技术,通过评估本地连接算法的计算量而无需任何磁盘访问来优化初始分区。我们比较了SJS中的四种内存空间连接算法,以进一步提高性能。基于对实际数据的大量实验,我们得出结论,SJS优于早期空间连接方法的Spark和MapReduce实现。这项研究表明,有利于利用高性能计算进行大规模空间连接分析。大型地理参考数据集的可用性以及高性能计算技术可以为可持续性研究提供大量机会,研究是否以及如何利用这些数据和技术的新趋势来帮助检测人类的相关趋势和模式 - 环境动态。基于Spark的空间连接,偏向算法和计算机的一篇文章,主要是基于流行的Spark大数据框架进行空间连接。