随着卫星遥感技术的发展以及地球观测卫星数量的持续增加，地理空间数据的规模正以前所未有的速度增长。为了更有效地管理、存储和分发这些海量数据，各大云计算平台如亚马逊AWS、Google Earth Engine、Microsoft Planetary Computer以及NASA都建立了各自的地理空间数据生态系统。这些生态系统除了汇聚海量数据资源，还依托其强大的算力资源，集成地理空间数据分析软件工具，为用户提供“存-算-用”一体化数据分析环境。本文将详细介绍这些平台及其数据资源的基本情况、使用方法和实际应用案例等，帮助研究人员和开发者充分利用这些宝贵的数据资源。

一、AWS开放数据生态系统#

亚马逊AWS的开放数据计划通过AWS云计算基础设施托管关键的地理空间数据集，使公众能够免费访问和分析这些数据。该项目目前托管了数百个数据集，涵盖地球观测、天气和气候、生命科学、政府数据等领域。

AWS开放数据中的地理空间数据主要包括：Landsat-8/9卫星影像、MODIS数据、Sentinel-1/2数据、NOAA天气数据、高分辨率数字高程模型(如NASADEM)、全球土地覆盖数据等。这些数据直接存储在Amazon S3存储桶中，可以使用各种工具和服务进行访问和分析。

地址：https://registry.opendata.aws

使用方法#

AWS开放数据集可以通过多种方式访问：

1.直接通过S3访问：使用AWS SDK或CLI工具

1
import boto3
2

3
# 无需AWS凭证即可访问公共数据集
4
s3 = boto3.client('s3', region_name='us-west-2')
5

6
# 列出Landsat-8公共数据集中的文件
7
response = s3.list_objects_v2(
8
    Bucket='usgs-landsat',
9
    Prefix='collection02/level-2/standard/oli-tirs/2021/042/034/LC08_L2SP_042034_20210101_20210308_02_T1/'
10
)
11

12
# 打印文件列表
13
for content in response['Contents'][:5]:
14
    print(content['Key'])

2.通过STAC API访问：利用标准化的STAC接口

1
import pystac_client
2
from pystac.extensions.eo import EOExtension
3

4
# 连接到AWS的STAC Endpoint
5
catalog = pystac_client.Client.open(
6
    "https://landsatlook.usgs.gov/stac-server", headers=[]
7
)
8

9
# 搜索特定区域和时间范围的Landsat数据
10
search_results = catalog.search(
11
    collections=["landsat-c2l2-st"],
12
    bbox=[-122.5, 37.5, -122.0, 38.0],
13
    datetime="2022-01-01/2022-12-31",
14
    query={"eo:cloud_cover": {"lt": 20}}
15
)
16

17
# 获取搜索结果
18
items = list(search_results.get_items())
19
print(f"找到 {len(items)} 个项目")
20

21
# 访问第一个项目的数据
22
if items:
23
    item = items[0]
24
    print(f"获取到的影像日期: {item.datetime.strftime('%Y-%m-%d')}")

输出结果：

1
找到 78 个项目
2
获取到的影像日期: 2022-12-13

3. 使用AWS数据交换：AWS Data Exchange是一项使客户能够在AWS上轻松查找、订阅和使用第三方数据的服务。

二、Google Earth Engine平台#

Google Earth Engine(GEE)是一个基于云计算基础设施的地理空间数据分析平台，专为处理海量地球观测数据而设计。该平台集成了超过40PB的卫星影像和地理空间数据集，以及用于分析这些数据的高性能计算能力。 GEE的数据目录包含了从1972年至今的完整Landsat系列档案、完整的Sentinel-1/2/3/5档案、MODIS数据产品、气候和天气数据集、土地覆盖数据、社会经济数据集等。

GEE的核心优势在于其强大的分布式计算架构，能够在数分钟内完成传统方法需要数月时间的计算任务。此外，GEE提供了JavaScript和Python两种API接口，使研究人员能够轻松编写和运行分析算法。基于Web的Code Editor环境提供了交互式开发体验，包括代码编辑、可视化结果、数据浏览和共享功能。用户可以通过这些工具快速原型设计和测试复杂的地理空间分析工作流程。

对于需要更复杂分析的用户，GEE的Python API可以与其他科学计算库（如NumPy、Pandas、scikit-learn等）无缝集成，扩展分析能力。

地址：https://earthengine.google.com

使用方法#

使用Google Earth Engine需要先创建一个Google账户并注册GEE访问权限。注册后，您可以通过Code Editor(基于JavaScript的在线IDE)或Earth Engine Python API访问和分析数据。

1.使用JavaScript API (Code Editor)

https://code.earthengine.google.com 登录Google账户。

1
// 加载Landsat 8数据集
2
var landsat = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
3
  .filterDate('2020-01-01', '2020-12-31')
4
  .filterBounds(ee.Geometry.Point(-122.3578, 37.7726));
5

6
// 选择云量较少的影像
7
var image = landsat.sort('CLOUD_COVER').first();
8

9
// 计算NDVI
10
var nir = image.select('SR_B5');
11
var red = image.select('SR_B4');
12
var ndvi = nir.subtract(red).divide(nir.add(red)).rename('NDVI');
13

14
// 可视化参数
15
var ndviParams = {min: -0.2, max: 0.8, palette: ['blue', 'white', 'green']};
16

17
// 添加图层到地图
18
Map.centerObject(image, 8);
19
Map.addLayer(image, {bands: ['SR_B4', 'SR_B3', 'SR_B2'], min: 7000, max: 30000}, 'True Color');
20
Map.addLayer(ndvi, ndviParams, 'NDVI');
21

22
// 导出结果到Google Drive
23
Export.image.toDrive({
24
image: ndvi,
25
description: 'NDVI_SF_2020',
26
scale: 30,
27
region: image.geometry(),
28
maxPixels: 1e13
29
});

2.使用Python API

首先，安装Earth Engine Python API:

1
pip install earthengine-api

然后，进行身份验证并使用API:

1
import ee
2
import geemap
3
import matplotlib.pyplot as plt
4

5
# Initialize Earth Engine
6
ee.Authenticate()
7
ee.Initialize()
8

9
# Load Landsat 8 dataset
10
landsat = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2') \
11
    .filterDate('2020-01-01', '2020-12-31') \
12
    .filterBounds(ee.Geometry.Point(-122.3578, 37.7726))
13

14
# Select image with less cloud cover
15
image = landsat.sort('CLOUD_COVER').first()
16

17
# Calculate NDVI
18
nir = image.select('SR_B5')
19
red = image.select('SR_B4')
20
ndvi = nir.subtract(red).divide(nir.add(red)).rename('NDVI')
21

22
# Visualization parameters
23
ndvi_params = {'min': -0.2, 'max': 0.8, 'palette': ['blue', 'white', 'green']}
24

25
# Visualize with geemap
26
Map = geemap.Map()
27
Map.centerObject(image, 8)
28
Map.addLayer(image, {'bands': ['SR_B4', 'SR_B3', 'SR_B2'], 'min': 7000, 'max': 30000}, 'True Color')
29
Map.addLayer(ndvi, ndvi_params, 'NDVI')
30
Map
31

32
# Define a region of interest (San Francisco area)
33
roi = ee.Geometry.Rectangle([-122.51, 37.70, -122.35, 37.81])
34

35
# Download NDVI data for analysis
36
# Option 1: Use the full geometry object
37
# region = image.geometry().bounds().getInfo()
38
# Option 2: Use a defined region of interest
39
ndvi_array = geemap.ee_to_numpy(ndvi, region=roi, scale=100)
40

41
# Visualize the downloaded data
42
plt.figure(figsize=(10, 8))
43
plt.imshow(ndvi_array, cmap='RdYlGn', vmin=-0.2, vmax=0.8)
44
plt.colorbar(label='NDVI')
45
plt.title('NDVI Values in San Francisco Area (2020)')
46
plt.axis('off')
47
plt.savefig('sf_ndvi_2020.png', dpi=300)

三、Microsoft Planetary Computer平台#

Microsoft Planetary Computer是微软开发的一个基于云计算的地球系统数据与分析平台。该平台整合了地球观测数据、地球系统模型和分析工具等资源，结合强大的人工智能和计算能力，为用户提供一个理解和分析地球系统的工具。

Planetary Computer数据目录包含多种开放数据集，包括：Landsat-8/9系列、Sentinel-1/2/3/5系列、MODIS产品、全球土地覆盖数据、高分辨率土地使用数据、水文数据、生物多样性数据、高分辨率卫星影像等。

该平台采用STAC标准组织数据，并提供交互式的Jupyter环境，使用户能够直接在云端分析PB级数据，而无需下载。

地址：https://planetarycomputer.microsoft.com

使用方法#

要使用Microsoft Planetary Computer，您需要创建一个Microsoft账户并注册Planetary Computer。注册批准后，用户可以使用Python API以编程方式访问数据。

使用Python API

在本地环境中安装必要的库：

1
pip install planetary-computer pystac-client rioxarray matplotlib

然后使用API访问数据：

1
import planetary_computer
2
import pystac_client
3
import rioxarray as rxr
4
import matplotlib.pyplot as plt
5
import numpy as np
6

7
# 连接到STAC目录
8
catalog = pystac_client.Client.open(
9
    "https://planetarycomputer.microsoft.com/api/stac/v1",
10
    modifier=planetary_computer.sign_inplace
11
)
12

13
# 搜索数据
14
search = catalog.search(
15
    collections=["io-lulc"],  # 全球土地利用/土地覆盖数据
16
    bbox=[114.0, 22.0, 114.5, 22.5],  # 香港地区
17
    datetime="2020-01-01/2020-12-31"
18
)
19

20
# 获取结果
21
items = list(search.get_items())
22
print(f"找到 {len(items)} 个符合条件的土地覆盖数据")
23

24
# 查看第一个数据项的信息
25
if items:
26
    item = items[0]
27
    print(f"数据日期: {item.datetime.strftime('%Y-%m-%d')}")
28

29
    # 获取土地覆盖数据URL
30
    lulc_url = planetary_computer.sign(item.assets["data"].href)
31

32
    # 读取数据
33
    lulc = rxr.open_rasterio(lulc_url)
34

35
    # 土地覆盖类别
36
    lulc_classes = {
37
        0: "No Data",
38
        1: "Water",
39
        2: "Trees",
40
        3: "Grass",
41
        4: "Flooded vegetation",
42
        5: "Crops",
43
        6: "Scrub/shrub",
44
        7: "Built Area",
45
        8: "Bare ground",
46
        9: "Snow/Ice",
47
        10: "Clouds"
48
    }
49

50
    # 创建颜色映射
51
    cmap = plt.cm.get_cmap('tab10', 11)
52

53
    # 可视化数据
54
    plt.figure(figsize=(12, 10))
55
    im = plt.imshow(lulc.values[0], cmap=cmap, vmin=0, vmax=10)
56

57
    # 添加图例
58
    cbar = plt.colorbar(im, ticks=range(11))
59
    cbar.set_ticklabels([lulc_classes[i] for i inrange(11)])
60

61
    plt.title(f"香港地区土地覆盖 (2020)")
62
    plt.axis('off')
63
    plt.savefig('hongkong_landcover.png', dpi=300)
64
    plt.show()
65

66
    # 计算各类土地覆盖的面积比例
67
    values, counts = np.unique(lulc.values[0], return_counts=True)
68
    total = counts.sum()
69

70
    # 打印统计结果
71
    print("\n土地覆盖类型分布:")
72
    for val, count inzip(values, counts):
73
        if val in lulc_classes:
74
            percentage = count / total * 100
75
            print(f"{lulc_classes[val]}: {percentage:.2f}%")

四、NASA CMR (Common Metadata Repository)#

NASA CMR是NASA托管的所有地球科学数据集的统一元数据系统。它包含了来自NASA分布式活动归档中心(DAACs)的数据集信息，涵盖各种卫星任务、航空项目和实地观测。

CMR目前包含超过3万个数据集的元数据，包括所有主要的NASA地球观测卫星任务，如Terra, Aqua, Aura, Suomi NPP, SMAP, NISAR, ICESat/ICESat-2, GPM等。这些数据涵盖大气、海洋、陆地、冰冻圈等地球系统各个领域。

CMR-STAC是NASA最近开发的服务，它能够将CMR元数据转换为符合STAC规范的格式，使数据更易于被常用地理空间工具发现和使用。

使用方法#

NASA的地球数据可以通过多种方式访问：

1.使用Earthdata Search

https://search.earthdata.nasa.gov
使用NASA Earthdata账户登录，然后通过界面查询所需的数据。

2. 使用Python访问CMR API

通过API以编程方式搜索和检索元数据。

1
import requests
2
import json
3
import pandas as pd
4

5
# CMR API基础URL
6
cmr_url = "https://cmr.earthdata.nasa.gov/search"
7

8
# 搜索数据集
9
defsearch_datasets(keyword, limit=10):
10
    """搜索NASA CMR数据集"""
11
    url = f"{cmr_url}/collections.json"
12
    params = {
13
        "keyword": keyword,
14
        "page_size": limit
15
    }
16

17
    response = requests.get(url, params=params)
18

19
    if response.status_code == 200:
20
        results = response.json()
21
        return results.get('feed', {}).get('entry', [])
22
    else:
23
        print(f"搜索失败，状态码: {response.status_code}")
24
        return []
25

26

27
# 示例：搜索MODIS数据集
28
modis_datasets = search_datasets("MODIS land surface temperature")
29

30
print(f"找到 {len(modis_datasets)} 个MODIS数据集")

3. 使用NASA的CMR STAC API

提供符合STAC标准的数据访问接口。

1
import requests
2
import json
3
import pystac_client
4
import matplotlib.pyplot as plt
5
import rioxarray as rxr
6
import numpy as np
7

8
# 连接到NASA的CMR STAC API
9
stac_api_url = "https://cmr.earthdata.nasa.gov/stac/"
10

11
# 创建STAC客户端
12
try:
13
    catalog = pystac_client.Client.open(stac_api_url)
14
    print("成功连接到NASA CMR STAC API")
15

16
    # 搜索MODIS地表温度数据
17
    search = catalog.search(
18
        collections=["MODIS/Terra Land Surface Temperature/Emissivity Daily L3 Global 1km SIN Grid V061"],
19
        bbox=[-122.5, 37.5, -122.0, 38.0],  # 旧金山湾区
20
        datetime="2021-01-01/2021-12-31"
21
    )
22

23
    # 获取结果
24
    items = list(search.get_items())
25
    print(f"找到 {len(items)} 个MODIS地表温度数据项")
26

27

28
except Exception as e:
29
    print(f"连接NASA CMR STAC API时出错: {e}")
30
    print("NASA的CMR STAC API可能需要特定配置或凭证")

五、STAC (SpatioTemporal Asset Catalog)生态系统#

STAC(SpatioTemporal Asset Catalog)是一种旨在使地理空间数据更容易被索引和发现的开放标准。STAC规范提供了一种统一的方式来描述地理空间数据，使其可以被搜索引擎和地理信息系统工具轻松发现和访问。

STAC生态系统中的数据提供者包括政府机构、研究机构、商业卫星公司和开源项目。主要的STAC目录包括：Element84的Earth Search、Microsoft Planetary Computer STAC、NASA CMR STAC、AWS公开数据STAC、Sentinel Hub STAC等。

作为一个开放标准，STAC的主要优势是提供了一种统一的数据发现机制，减少了数据获取和处理的技术障碍。它通过标准化的JSON元数据格式，使不同来源的数据可以以相同的方式被访问和处理。

地址：https://stacspec.org

使用方法#

使用STAC主要有两种方式：通过STAC Browser(Web界面)或通过STAC Client API(编程方式)：

1. 使用STAC Browser

访问STAC Index网站(https://stacindex.org/catalogs)，浏览各种可用的STAC目录：

STAC Browser界面

2. 使用PySTAC客户端

1
import pystac_client
2
import planetary_computer
3
import rasterio
4
from rasterio.plot import show
5
import matplotlib.pyplot as plt
6
import numpy as np
7
from shapely.geometry import box
8
import json
9

10
# 连接到STAC目录
11
# 这里以Element84的Earth Search为例
12
catalog = pystac_client.Client.open("https://earth-search.aws.element84.com/v0")
13

14
aoi = box(-80.3, 25.7, -80.1, 25.9)
15
aoi_json = json.loads(json.dumps(mapping(aoi)))
16

17
# 搜索数据
18
search = catalog.search(
19
    collections=["sentinel-s2-l2a-cogs"],
20
    intersects=aoi_json,
21
    datetime="2021-01-01/2021-12-31",
22
    query={"eo:cloud_cover": {"lt": 10}}
23
)
24

25
# 获取结果
26
items = list(search.get_items())
27
print(f"找到 {len(items)} 个符合条件的Sentinel-2影像")

由于STAC是一个标准，我们可以创建工具来搜索多个STAC目录，如下例所示：

1
import pystac_client
2
import concurrent.futures
3
import pandas as pd
4

5
# 定义要搜索的STAC目录列表
6
stac_endpoints = [
7
    {
8
        "name": "Earth Search",
9
        "url": "https://earth-search.aws.element84.com/v0"
10
    },
11
    {
12
        "name": "Microsoft Planetary Computer",
13
        "url": "https://planetarycomputer.microsoft.com/api/stac/v1",
14
        "modifier": lambda x: x  # 实际使用时需要planetary_computer.sign_inplace
15
    },
16
    {
17
        "name": "NASA CMR STAC",
18
        "url": "https://cmr.earthdata.nasa.gov/stac/"
19
    },
20
    {
21
        "name": "Sentinel Hub STAC",
22
        "url": "https://services.sentinel-hub.com/api/v1/catalog/stac"
23
    }
24
]
25

26
# 定义搜索参数
27
search_params = {
28
    "bbox": [-122.5, 37.5, -122.0, 38.0],
29
    "datetime": "2021-01-01/2021-12-31",
30
    "limit": 10
31
}
32

33
# 函数：搜索单个STAC目录
34
defsearch_stac_endpoint(endpoint):
35
    try:
36
        # 打开STAC目录
37
        client_kwargs = {}
38
        if"modifier"in endpoint:
39
            client_kwargs["modifier"] = endpoint["modifier"]
40

41
        client = pystac_client.Client.open(endpoint["url"], **client_kwargs)
42

43
        # 搜索数据
44
        search_results = client.search(**search_params)
45

46
        # 获取结果
47
        items = list(search_results.get_items())
48

49
        return {
50
            "endpoint": endpoint["name"],
51
            "url": endpoint["url"],
52
            "items_count": len(items),
53
            "items": items
54
        }
55
    except Exception as e:
56
        return {
57
            "endpoint": endpoint["name"],
58
            "url": endpoint["url"],
59
            "error": str(e),
60
            "items_count": 0,
61
            "items": []
62
        }
63

64
# 并行搜索所有STAC目录
65
results = []
66
with concurrent.futures.ThreadPoolExecutor() as executor:
67
    future_to_endpoint = {executor.submit(search_stac_endpoint, endpoint): endpoint for endpoint in stac_endpoints}
68
    for future in concurrent.futures.as_completed(future_to_endpoint):
69
        endpoint = future_to_endpoint[future]
70
        try:
71
            data = future.result()
72
            results.append(data)
73
        except Exception as exc:
74
            print(f"{endpoint['name']} 搜索失败: {exc}")
75

76
# 显示搜索结果
77
print("\nSTAC目录搜索结果:")
78
for result in results:
79
    status = "成功"if"error"notin result elsef"失败: {result['error']}"
80
    print(f"{result['endpoint']}: {status}, 找到 {result['items_count']} 个项目")

六、综合比较与选择指南#

不同平台和数据目录各有优势和特点。以下是主要云平台地理空间数据资源的比较，帮助用户选择最适合其需求的平台：

选择平台的建议：

• 全球尺度分析: 选择Google Earth Engine
• 地球环境和生物多样性研究: 选择Microsoft Planetary Computer
• 需要灵活性和定制化处理: 选择AWS开放数据
• NASA特定任务数据和科学产品: 选择NASA CMR
• 多源数据集成分析: 使用STAC生态系统连接多个平台

一、AWS开放数据生态系统#

使用方法#

二、Google Earth Engine平台#

使用方法#

三、Microsoft Planetary Computer平台#

使用方法#

四、NASA CMR (Common Metadata Repository)#

使用方法#

五、STAC (SpatioTemporal Asset Catalog)生态系统#

使用方法#

六、综合比较与选择指南#

本公众号相关内容推荐#