云优化GeoTIFF (Cloud-Optimized GeoTIFF, COG)#

COG 是对标准 GeoTIFF 格式的优化，通过内部切片（Internal Tiling）和概览（Overviews）来实现在线高效访问。它将图像数据分割成多个内部块，并预先生成不同分辨率的低精度影像（概览），使得用户在缩放和平移地图时，只需请求对应视野和分辨率的图块，而无需加载整个TIF文件。

• • 替代对象：标准 GeoTIFF
• • 应用场景：静态栅格影像，如卫星影像、数字高程模型（DEM）。
• • 技术核心：内部切片、预生成概览、HTTP范围请求。

示例：访问Landsat影像的一个特定区域

1
# 概念性代码示例
2
import rasterio
3
from rasterio.session import AWSSession
4

5
# Landsat on AWS COG URL
6
url = "s3://usgs-landsat/collection02/level-2/standard/etm/2010/001/002/LE07_L2SP_001002_20100101_20200826_02_T1/LE07_L2SP_001002_20100101_20200826_02_T1_SR_B3.TIF"
7

8
# 只需定义一个窗口（bounding box）即可读取该区域，而无需下载整个文件
9
with rasterio.open(url) as src:
10
    # 定义一个小窗口进行读取
11
    window = rasterio.windows.Window(1000, 1000, 512, 512)
12
    subset = src.read(1, window=window)
13
    print(f"成功读取 {subset.shape} 大小的数据块。")

Zarr 和 Kerchunk#

当数据包含时间、深度、温度等多维信息时，COG 就显得力不从心了。Zarr 是一种专为分块、压缩的多维数组设计的格式。它将数据块存储为独立的对象，并使用一个轻量级的元数据文件来描述整个数组的结构，非常适合气象、海洋等科学模型数据。

Kerchunk 则是一个巧妙的工具，它可以在不重写数据的情况下，为 NetCDF、HDF5 等传统多维数据格式创建外部的 Zarr 元数据索引。这使得庞大的存量数据也能以云原生的方式被高效访问。

• • 替代对象：NetCDF, HDF5, GRIB
• • 应用场景：多维科学数据，如气候模型、气象预报。
• • 技术核心：数据分块、压缩、独立的元数据索引。
• 

GeoParquet#

GeoParquet 是 Apache Parquet 格式在地理空间领域的延伸。Parquet 是一种列式存储格式，它按列而不是按行来组织数据。这带来了两大优势：

• • 极高的压缩率：同一列的数据类型相同，压缩效果远优于行式存储。
• • 高效的属性查询：当查询只涉及少数几个字段（列）时，只需读取这些列的数据，I/O开销极低。
• 

GeoParquet 在 Parquet 的基础上增加了对地理空间坐标和几何类型的标准定义，使其成为云上存储和分析大规模矢量数据的理想选择。

• • 替代对象：Shapefile, GeoPackage, GeoJSON
• • 应用场景：大规模矢量数据集的属性分析和查询。
• • 技术核心：列式存储。

示例：从一个大型数据集中只读取几何列和人口列

1
# 概念性代码示例
2
import geopandas as gpd
3

4
# 假设这是一个非常大的GeoParquet文件URL
5
url = "https://example.com/data/world_cities.parquet"
6

7
# 只读取'geometry'和'population'两列，极大减少了下载和内存占用
8
gdf = gpd.read_parquet(url, columns=['geometry', 'population'])
9

10
print(f"成功读取 {len(gdf)} 个城市的几何与人口数据。")

重要提示：在当前阶段，GeoParquet 规范本身尚未包含空间索引的标准。这意味着它非常擅长属性查询，但在纯空间查询（例如，“查找此边界框内的所有要素”）方面可能不如带有空间索引的格式高效。

FlatGeobuf#

FlatGeobuf 是另一种高效的矢量数据格式，它的一个关键特性是内置了基于 Hilbert R-tree 的流式空间索引。这使得它在需要快速进行空间过滤和可视化的场景中表现非常出色，尤其适合作为Web要素服务的后端数据源。

PMTiles#

PMTiles 是一种专为可视化设计的、用于存储金字塔矢量切片（Tiled Vector Data）的单文件归档格式。它解决了在云存储上管理数百万个零散小文件所带来的低效和高成本问题。你可以将它想象成一个 ZIP 压缩包，内部包含了所有缩放级别的切片数据和元数据，但无需解压，可以直接通过网络进行访问。

PMTiles 的核心理念是“无服务器”，客户端（如浏览器）可以直接通过 HTTP 范围请求从存储在 S3 等对象存储上的单个 PMTiles 文件中，按需读取任意缩放级别下的任意切片，无需任何中间件或数据库服务。