segment-geospatial‍‍#

segment-geospatial是一个旨在简化使用Segment Anything Model (SAM)分割地理空间数据的流程的开源Python包。该软件包充分利用了地理空间数据分析相关的的Python库，例如leafmap、ipywidgets、rasterio、geopandas和segment-anything-py，为用户提供了一个易于操作使用的图形化界面，用于分割遥感影像并将结果导出为包括矢量和栅格数据等各种格式。

1. 分割模式和主要功能#

segment-geospatial提供以下分割模式：

• 自动分割：无需任何用户输入，即可对图像进行自动分割。
• 交互式GUI分割：通过图形用户界面 (GUI) 进行交互式分割，用户可以通过点击或绘制等方式引导分割。
• 文本提示分割：基于文本提示 (由Grounding DINO模型驱动) 进行分割，用户可以通过自然语言描述来指定要分割的目标。

该软件包提供以下实用功能：

• 遥感影像下载：支持从Tile Map Service (TMS) 服务器下载地图瓦片并创建GeoTIFF文件
• GeoTIFF文件分割：使用Segment Anything Model (SAM) 和HQ-SAM分割GeoTIFF格式的地理空间影像文件。HQ-SAM是SAM的高质量版本，可以提供更精细的分割结果。
• 文本提示分割遥感影像：通过文本提示，例如 “汽车”、“树木”、“建筑物” 等，引导 SAM 分割遥感影像中的特定地物目标。
• **交互式前景和背景标记：**在GUI界面中，用户可以通过交互式地添加前景和背景标记，来更精确地引导SAM进行分割。
• **从矢量数据集加载现有标记：**支持从常见的矢量数据集 (例如Shapefile, GeoJSON) 中加载已有的标记点或区域，并将其作为SAM的分割提示。
• **保存分割结果为矢量格式：**可以将分割结果保存为常见的矢量格式，例如 GeoPackage、Shapefile和GeoJSON，方便后续的GIS分析和应用。
• 保存输入提示为GeoJSON文件：用户可以将输入的分割提示 (例如点、框、文本) 保存为GeoJSON文件，以便复用和共享。
• **可视化交互式分割结果：**在Jupyter环境中，可以交互式地可视化分割结果，方便用户评估分割效果和进行调整。
• 时序遥感影像目标分割：支持对时序遥感影像进行目标分割，例如监测地物随时间的变化。

2. 安装方法#

segment-geospatial软件包可以通过两种方式安装：PyPI和conda-forge。

• 使用PyPI安装

如果你的 Python 环境中已经安装了 pip 包管理器，可以直接在终端中运行以下命令进行安装：

1pip install segment-geospatial

• 使用conda-forge安装

如果你使用Anaconda或Miniconda管理Python环境，建议使用conda安装，以获得更好的依赖管理和兼容性。

首先，创建一个新的 conda 环境（推荐）：

1conda create -n geo python
2conda activate geo

然后，使用conda-forge和mamba (更快速的conda包管理器) 安装segment-geospatial及其依赖项：

1conda install -c conda-forge mamba
2mamba install -c conda-forge segment-geospatial

GPU 支持 (可选)

如果你的系统配备了NVIDIA GPU，并且希望利用GPU加速分割过程，可能需要手动安装支持CUDA的PyTorch版本。可以使用以下命令强制安装GPU版本的PyTorch：

1mamba install -c conda-forge segment-geospatial “pytorch==cuda”

其他依赖项

segment-geospatial还有一些可选的依赖项，用于支持更高级的功能，例如文本提示分割。 如果需要使用这些功能，可以运行以下命令安装这些依赖项：

1mamba install -c conda-forge groundingdino-py segment-anything-fast

3. 使用案例#

segment-geospatial提供了丰富的示例和演示，帮助用户快速上手和了解软件包的功能。以下是一些典型的使用案例：

• 遥感影像自动分割: 使用自动掩膜生成器，无需任何提示，即可快速分割遥感影像中的所有物体。

  

• 基于文本提示的图像分割（text prompts）: 输入文本提示分割卫星影像中的物体（如树木、游泳池）

  

• 交互式图像分割: 通过在GUI界面中点击某类目标，交互式地分割图像中的目标

  

• 批量文本提示分割: 批量处理多张遥感影像，并使用文本提示分割特定地物。

  

• 结合ArcGIS Pro: 在ArcGIS Pro环境中使用segment-geospatial进行图像分割。

• 1import os
  2import leafmap
  3from samgeo import SamGeo
  4
  5workspace = os.path.dirname(arcpy.env.workspace)
  6os.chdir(workspace)
  7arcpy.env.overwriteOutput = True
  8
  9sam = SamGeo(
  10 model_type=“vit_h”,
  11 sam_kwargs=None,
  12)
  13
  14image = “water.tif”
  15sam.generate(image, output=“water_masks.tif”, foreground=True, unique=True)
  16sam.show_masks(cmap=“binary_r”)
  17sam.show_anns(axis=“off”, alpha=1, output=“water_annotations.tif”)
  18m.addDataFromPath(os.path.join(workspace, “water.tif”))
  19m.addDataFromPath(os.path.join(workspace, “water_annotations.tif”))
  20in_raster = os.path.join(workspace, “water_masks.tif”)
  21out_shp = os.path.join(workspace, “water_masks.shp”)
  22arcpy.conversion.RasterToPolygon(in_raster, out_shp)

• 卫星影像变化检测: 使用时序卫星影像，检测地物随时间的变化情况。

更多详细的使用案例和代码示例，请参考官方文档和示例 notebooks。

4. 与其他GIS软件集成#

segment-geospatial软件包还可以与桌面GIS软件集成，例如QGIS和ArcGIS，扩展其在地理空间分析领域的应用范围。

• QGIS: 可以结合QGIS的Geometric Attributes插件，实现更强大的地理空间分析功能。
• ArcGIS: ArcGIS提供了Segment Anything Model (SAM) Toolbox和Resources for Unlocking the Power of Deep Learning Applications Using ArcGIS工具箱，方便用户在 ArcGIS环境中使用SAM进行图像分割。

5. 计算资源支持#

Segment Anything Model (SAM)本身是一个计算密集型的模型，建议使用配备高性能GPU的计算机运行，以获得更流畅的体验和更快的处理速度。推荐至少配备8GB GPU显存的GPU。

如果你没有高性能GPU，也可以考虑以下方案：

• Google Colab：利用Google Colab提供的免费GPU资源。
• AWS Cloud Credit for Research:：申请亚马逊AWS提供的科研云平台，利用AWS云平台上的GPU资源进行计算。

未来，segment-geospatial软件包将继续完善和发展，例如：

• 支持更多类型的遥感数据：例如多光谱、高光谱数据。
• 集成更多先进的分割算法：例如针对遥感影像特点优化的SAM变体。
• 提供更丰富的地理空间分析功能：例如变化检测、目标追踪等。

segment-geospatial软件包的发布，为地理空间数据分割领域带来了新的可能性。它凭借用户友好的界面、高效的分割性能、灵活的分割模式和强大的扩展性，有望成为地理空间分析人员进行图像分割的得力助手。

References：#

• Wu, Q., & Osco, L. P. (2023). samgeo: A Python package for segmenting geospatial data with the Segment Anything Model (SAM). Journal of Open Source Software, 8(89), 5663. https://doi.org/10.21105/joss.05663
• Osco, L. P., Wu, Q., de Lemos, E. L., Gonçalves, W. N., Ramos, A. P. M., Li, J., & Junior, J. M. (2023). The Segment Anything Model (SAM) for remote sensing applications: From zero to one shot. International Journal of Applied Earth Observation and Geoinformation, 124, 103540. https://doi.org/10.1016/j.jag.2023.103540