Coding and Paper Letter(四十四)

资源整理。

1 Coding:

1.Rstudio2019年会“机器学习应用”的幻灯片,代码和数据

rstudio conf 2019

2.R语言包sparkxgb,Spark上XGBoost的R接口。

sparkxgb

3.自动SQL注入和数据库接管工具。

sqlmap

4.最新的深度学习技术应用于自然语言处理的概览。

nlp overview

5.来自美国GIS第一高校加州大学圣塔芭芭拉分校的地理学课程178/258(地理科学的概念建模与编程)的网页。在Github推出可以教学的class模式后有很多诸如此类的课程可以关注。

geog178

6.Python库geetools,Google Earth Engine的工具。

gee tools

7.哥伦比亚大学2019年春季机器学习应用课程材料。

COMS4995 s19

8.R语言包gt,更方便地用R生成信息丰富具有出版质量的表格。

gt

9.2019年冬季R语言空间研讨会。

workshop scripts

10.如何制作Shiny的书。

shiny prod book

11.fasai深度学习库、课程以及教程。

fastai

12.阿里天池大赛O2O优惠券使用预测比赛第一名代码。

O2O Coupon Usage Forecast

13.深度学习研究论文笔记与综述。

deeplearning papernotes

14.高光谱论文(代码)。

paper hyperspectral

15.SNIPER是一种有效的多尺度目标探测算法。

SNIPER

16.基于U-Net架构的端到端一类实例分割,用于Kaggle的Data Science Bowl 2018。

data science bowl 2018

17.从要素属性添加功能级别tippecanoe GeoJSON扩展。

geojson tippecanoe extensions from attributes

18.Python库responder,熟悉的http服务Python框架。

responder

19.Rstudio2019年会关于统计教育的谈话材料。

RstudioConf2019

20.Rstudio的addin用于查看空间对象。

mapview.addin

21.Rstudio的addin用于编辑地图。

mapedit.addin

22.UCL地理学院的geog0133课程“陆地碳:建模与监测”实践。

geog0133 practicals

2 Paper:

1.Effects of minimum soil disturbance practices on controlling water erosion in ChinaꞋs slope farmland: A meta-analysis/中国坡耕地最小土壤扰动措施对控水蚀的影响:meta分析

中国普遍存在坡耕地,坡耕地土壤流失是河流沉积的主要来源。在控制水蚀方面,有效地考虑了最小的土壤干扰实践,特别是在坡地农田。虽然它们的有益效果已得到普遍认可,但仍需要进一步研究,以量化减少径流和沉积物产量的最小土壤扰动实践的程度。我们提出了一项基于全国性meta分析的定量评估,包括536次径流和615次沉积物配对观测,以评估最小土壤干扰实践在控制中国水蚀方面的有效性。中国最小土壤扰动实践分别使径流和泥沙产量减少36.09%和51.69%。收集土壤形成免耕垄,用树篱和微盆地耕作轮廓耕作显示出比其他三种做法(免耕,免耕覆盖和轮廓耕作)显着更大(P <0.05)径流和沉积物产量减少。通过微地形学管理改变土壤性质的做法优于(P <0.05)改变土壤性质而不进行耕作以减少径流和沉积物产量的做法。除了直接减少径流外,由于其附加效应,最小土壤扰动实践在减少泥沙产量方面比径流更有效。没有观察到径流或沉积物减产与坡度之间的相关性,而最小土壤扰动实践的水蚀控制效率随着坡长的增加而增加。作为一种水土保持措施,中国坡耕地可以采用最小的土壤扰动措施。傅伯杰院士团队的成果,使用meta分析分析土壤扰动和水蚀的影响,发表于农林科学top期刊LDD。

2.Deep Learning for Ground-Level PM2.5 Prediction from Satellite Remote Sensing Data/基于卫星遥感数据的地面PM2.5预测深度学习

卫星遥感是一种很有潜力的地面PM2.5估算方法。在本文中,提出了一个基于卫星的PM2.5估计的深度学习框架。利用多层学习和逐层预训练,深度学习具有挖掘PM2.5与卫星观测之间非线性关系的巨大潜力。首先,所提出的深度学习框架可用于利用卫星导出的气溶胶光学厚度(AOD)估算地面PM2.5。其次,AOD产品是从卫星顶部大气(TOA)反射率中检索出来的。可以进一步采用深度学习框架,直接从卫星TOA反射率估算地面PM2.5。所提出的框架分别在中国进行了基于AOD的PM2.5估算和武汉都市区的基于反射率的PM2.5估算。结果表明,深度学习框架在基于AOD和基于反射的PM2.5估计中都表现出色。该研究为基于卫星的PM2.5估计提供了有效的方法。深度学习在PM2.5估算中的应用,张良培老师团队成果,发表于IGARSS会议。比较有意思的是不仅仅基于AOD估算,也有基于TOA的估算,这样子应用价值会更高。

3.Patterns of land change and their potential impacts on land surface temperature change in Yangon, Myanmar/缅甸仰光土地变化模式及其对地表温度变化的潜在影响

本研究使用遥感影像来描述土地利用/覆盖模式,并推导出缅甸最大的城市群Greater Yangon的地表温度(LST),以提供土地利用/覆盖与季节,白天和夜间LST变化。对1987年至2015年Landsat影像的分析显示,城市扩张从市中心和沿着突出的河流辐射,建成用地(6.4%)和草地(10.1%)大幅增加,随之而来的农地减少(17%)。对MODIS LST的检查表明,在炎热季节白天,农业用地比城市核心温暖,而在寒冷季节,城市核心在白天和夜间都比农村环境温暖。相关分析显示,从2000年到2015年,建成地与夜间LST之间存在更强的联系,表明城市热岛效应增加。此外,本研究强调了与土地利用/覆盖对LST影响的先前工作的两个主要差异。首先,对LST具有重大整体影响的主要土地利用/覆盖类型是农业用地,其标志是所有分析时期的统计显着相关系数。这一发现强调了农业及相关做法对大气和气候系统的影响。其次,LST的时间分析突出了水的更强和更复杂的作用,因为它与白天LST呈负相关,与夜间LST呈正相关。本研究的结果强调了土地利用/覆盖对仰光LST空间和时间变化的更复杂影响,与之前在城市地区普遍报告高LST的工作相比。这些见解提高了对土地变化后果对LST时间动态的理解,并可以支持可持续土地利用规划,以改善大仰光居民的福祉。长时间序列遥感分析,耦合两种卫星(MODIS和Landsat),当然对这个结果和方法没有觉得特别突出的点。两种不同分辨率卫星如何进行分析,目前从摘要也没有发现。查看了下原文,应该是统计了Landsat土地覆被上不同类型的MODIS LST做的分析。做了比较多工作。

4.Landscape changes of the Ejin Delta in the Heihe River Basin in Northwest China from 1930 to 2010/1930-2010年西北黑河流域额济纳三角洲景观变化

黑河流域位于中国西北干旱半干旱地区;在过去的80年里,该流域分别经历了灌溉农业与中下游生态需求之间的水资源竞争。利用Sven Hedin博士在20世纪30年代创建的地图,1961年拍摄的日冕卫星影像和Landsat专题制图(TM),对黑河流域下游的额济纳三角洲的土地覆盖进行了四个不同时期的解释和分析。总体而言,结果表明:(1)20世纪30年代地图的粗分辨率增加了研究区域的分析不确定性;(2)额济纳三角洲的河流面积从20世纪30年代下降了91.0%此外,两个主要的终端湖泊Gaxun Nuur Lake和Sogo Nuur Lake分别于1961年和1992年枯竭,胡杨面积从20世纪30年代到2000年减少了76.1%。大多数芦苇被灌木覆盖。 20世纪30年代至1961年间,芦苇面积从3481平方公里减少到1332平方公里,灌木面积从805平方公里增加到2795平方公里。从20世纪30年代到2000年,沙漠和碱性土地面积分别增加了42.2%和52.4%。 (3)2000年实施调水工程后,2010年苏哥努尔湖面积恢复到40.58平方公里。胡杨,灌木丛和芦苇等地区呈现恢复趋势,增幅分别为4.5%,6.5%,到2010年,沙漠和碱性土地面积分别下降了4.2%和15.2%。耕地面积从1961年的25平方公里增加到2000年的85平方公里,迅速接近160平方公里。随着时间的推移,这些变化表明,额齐纳三角洲的生态栖息地在20世纪30年代和2000年之间恶化。但是,水转移项目有效地改变了退化趋势。跨度长达80年的土地覆被变化研究。

5.Advancements in the Aerosol Robotic Network (AERONET) Version 3 database – automated near-real-time quality control algorithm with improved cloud screening for Sun photometer aerosol optical depth (AOD) measurements/气溶胶自动监测网络(AERONET)第3版数据库的进步 - 自动近实时质量控制算法,改进了太阳光度计气溶胶光学厚度(AOD)测量的云屏蔽

气溶胶自动监测网络(AERONET)使用Cimel Electronique Sun-sky辐射计提供了超过25年的气溶胶光学厚度(AOD)的高精度,地面实况测量。在AERONET数据库的第2版(V2)中,近实时AOD主要使用云屏蔽方法进行半自动质量控制,而被云污染或受仪器异常影响的额外AOD数据在获得质量保证状态之前被手动删除(等级2.0)。在过去25年中,AERONET站点数量的大幅增长导致以一致的方式对数百万次测量的手动质量控制造成重大负担。 AERONET版本3(V3)算法提供全自动云筛选和仪器异常质量控制。所有这些新算法更新都适用于近实时数据以及现场部署后处理数据,AERONET在2018年对数据库进行了重新处理。完整的算法重新开发提供了改进数据输入和校正的机会,例如独特的过滤器 - 所有可见光和近红外波长的特定温度特征,更新的气体和水蒸气吸收系数以及辅助数据集。 2.0级AOD质量保证数据集现已在现场校准后一个月内提供,将滞后时间从几个月减少到几个月。使用符合V3 Level 2.0 AOD的数据并考虑使用前场校准计算的AOD与使用前场和场后校准计算的AOD之间的差异来确定近实时估计的不确定性。该评估提供近实时不确定性估计,其中AOD的平均差异表明+0.02偏差和一个sigma不确定性为0.02,但是对于特定仪器部署,偏差和不确定性可能显着更大。分析整个V3和V2数据库的长期月平均值产生+0.002的平均差异(V3-V2)和±0.02SD(标准差),但是使用两个数据库中的时间匹配观察计算的月平均值进行计算平均差异为-0.002,±0.004SD。多年平均AOD的高统计协议验证了先进的自动数据质量控制算法,并建议将研究迁移到V3数据库将证实大多数V2研究结论,并可能在某些情况下导致更准确的结果。AERONET数据质量改善的文章,推进AOD反演的关键要素。

6.Improved Hourly Estimates of Aerosol Optical Thickness Using Spatiotemporal Variability Derived From Himawari-8 Geostationary Satellite/利用Himawari-8地球同步卫星的时空变化改进气溶胶光学厚度的每小时估算

我们开发了一项方案,通过日本气象厅最新的地球同步卫星Himawari-8上的Advanced Himawari Imager(AHI)改进气溶胶光学厚度(AOT)的每小时估算。利用AHI的采样特征(10分钟时间和亚测量空间分辨率),我们从观测(AOToriginal)量化AOT的时间和空间变化,并利用这些信息开发一个小时算法,产生两组派生的AOT :AOTpure,通过对AOToriginal进行严格的云掩膜和AOTmerged,从AOTpure的空间和时间插值得到。如此从每小时算法获得的AOT根据来自气溶胶机器人网络的测量值进行验证。 AOTpure和AOTmerged产品的均方根误差(RMSEs)分别为0.14和0.11,比AOT原剂的RMSE提高了0.20。目前向日葵8号卫星AOT产品的算法论文,每小时估算的AOT。笔者最近对这个卫星有所研究,后面也会稍微介绍下。总的来说AOT还是比较稀疏的(受到很多不可控因素)。

7.A simplified aerosol retrieval algorithm for Himawari-8 Advanced Himawari Imager over Beijing/一种简化的Himawari-8高级Himawari成像仪在北京的气溶胶反演算法

高时间气溶胶光学厚度(AOD)可用于反演排放模型和全面了解气溶胶的气候学。地球同步卫星已被用于在陆地和海洋上获得AOD。在这项研究中,开发了一种用于高级Himawari-8成像仪(SARAHI)的新型简化气溶胶反演算法,用于从新一代地球静止气象卫星-Himawari-8中反演北京每小时AOD,该卫星携带先进的Himawari成像仪(AHI)。该算法基于简化的辐射传输模型和表面反射率,该表面反射率来自一个月的AHI表观数据。来自AErosol RObotic NETwork(AERONET)站点和JAXA Himawari Monitor Version 2.0气溶胶反演产品(L2ARP2.0)的测量用于评估来自SARAHI算法的AOD反演的性能。 AOD反演的73.5%,78.2%,74.7%分别落在Beijing_CAMS,Beijing_RADI和香河站点的预期误差线上。相关系数大于0.92,小均方根误差(RMSE)为0.134-0.164。检索也可以非常好地反映AOD的时间变化。结果表明,SARAHI AOD算法能够准确地推导出区域AOD,并且优于L2ARP2.0 AOD。简化的向日葵8号AOD反演算法。

8.Validation of Himawari-8 Aerosol Optical Depth Retrievals over China/Himawari-8气溶胶光学厚度反演在中国的验证

卫星传感器很少提供高时间分辨率(每10分钟)气溶胶观测。 Himawari-8上的高级Himawari成像仪(AHI)可以在此频率下提供中国的气溶胶光学厚度(AOD)。该传感器提供了很好的机会来检索地面附近的颗粒物质,并使用气溶胶产品改善空气质量建模。但是,关于AHI AOD仍然缺乏质量验证。基于在中国的AErosol RObotic NETwork(AERONET)和Sun-Sky辐射计观测网络(SONET)中的16个太阳光度计站,进行了综合研究以评估AHI气溶胶产品的性能。 AHI AOD和地面AOD的总体比较显示出高相关性(R2 = 0.67)。然而,只有55%的AHI AOD落入预期的误差包络(±0.05±0.2 * AOD地面)。 AHI AOD和地面AOD之间的AOD偏差随着AOD幅度的增加而增加。 AHI AOD的准确性也高度依赖于季节和地表覆盖类型。夏季和城市地区展示了AHI气溶胶回收的最佳性能。昼夜变异性验证表明,AHI AOD可以很好地捕捉昼夜AOD变化,尤其是夏季。显示了AHI AOD和MODerate-resolution成像光谱仪(MODIS)气溶胶产品之间的巨大差异,特别是在中国西北地区。分析表明,AHI气溶胶回收的不确定性是由气溶胶模型的大误差和算法中的表面反射率估计引起的。向日葵8号卫星AOD产品反演的验证,该卫星因为高时间分辨率最近受到了很多关注。

9.Evaluation of MAIAC aerosol retrievals over China/中国MAIAC气溶胶反演评价

大气校正的多角度实现(MAIAC)是一种新的气溶胶算法,用于检测陆地上的气溶胶光学厚度(AOD),使用时间序列数据动态分离气溶胶和土地的贡献。但是,目前仍未对MAIAC AOD在中国的质量进行全面研究。在本文中,对中国1公里的MAIAC AOD进行了地面测量,以评估数据的性能。一般来说,Aqua和Terra MAIAC反演具有较高的相关系数(Aqua为0.924,Terra为0.933),基于地面观察,超过72%的反演属于预期误差(EE =±(0.05 + 0.2 ) AOD))。我们发现MAIAC AOD的准确性与AOD大小,气溶胶大小,季节和表面类型有关。在春季和夏季,AOD偏差受到气溶胶模型和表面反射率估计的影响。我们还发现气溶胶模型是沙漠地区AOD偏差的主要来源。这些结果表明,MAIAC AOD可以作为中国空气质量和气候研究的新气溶胶数据来源。MAIAC的这套数据是比较新的,算法也是新的,近期有不少基于该产品的文章,可以关注。