地理空间数据分析项目中，80%的时间往往花在数据清洗上。POI（兴趣点）数据虽然来源丰富，但普遍存在坐标偏移、地址不规范、重复记录和属性缺失等问题。一份未经清洗的POI数据，轻则导致分析结果偏差，重则让后续模型完全失效。例如，如果餐饮POI被错误分类为零售，或者坐标存在系统性偏移，基于该数据的选址分析将给出错误结论。GeoPandas是pandas的地理空间扩展，能够方便地处理Shapefile、GeoJSON、GeoPackage等格式，是Python生态中最常用的空间数据处理工具之一。本文将以GeoPandas为核心工具，演示从原始POI到可用于空间分析的标准化数据的完整流程，涵盖环境搭建、坐标系统一、去重、异常值处理、属性补全与空间索引等关键环节，帮助读者建立系统化的空间数据清洗能力。
一、环境准备与数据读取
GeoPandas基于pandas、shapely、pyproj和fiona构建，能够无缝处理表格数据与几何数据。首先安装必要依赖。建议使用conda环境以避免依赖冲突，因为GeoPandas依赖的C库较多，pip安装有时会出现版本不兼容问题：
conda create -n geo python=3.10 conda activate geo conda install -c conda-forge geopandas shapely pyproj fiona
如果无法使用conda，也可以通过pip安装：
pip install geopandas shapely pyproj fiona
读取数据时，GeoPandas会自动识别几何列并构建GeoDataFrame。对于Shapefile和GeoJSON，直接使用gpd.read_file()即可。对于CSV格式的POI，通常包含经度（lon）和纬度（lat）两列，需要手动转换为Point几何。CSV是最常见的POI交换格式，但其灵活性也带来了格式不统一的问题，需要仔细检查字段名、分隔符和编码。
import pandas as pd
import geopandas as gpd
from shapely.geometry import Point
# 读取CSV，注意指定编码避免中文乱码
df = pd.read_csv('poi_raw.csv', encoding='utf-8')
# 检查数据基本情况
print(df.head())
print(df.info())
# 删除经纬度缺失的记录
df = df.dropna(subset=['lon', 'lat'])
# 创建Point几何
geometry = [Point(xy) for xy in zip(df.lon, df.lat)]
# 构建GeoDataFrame并指定坐标系
gdf = gpd.GeoDataFrame(df, geometry=geometry, crs='EPSG:4326')
print(gdf.head())
print(gdf.crs)
理解GeoDataFrame的结构是后续操作的基础。它比普通DataFrame多了一列geometry，存储每个记录对应的空间几何对象。所有空间操作，如缓冲区、叠加分析、距离计算，都基于这一列展开。geometry列的数据类型是shapely的几何对象，可以是Point、LineString、Polygon等。建议在进行复杂操作前，先检查geometry列是否包含空值或无效几何。
二、坐标系统一与投影变换
不同数据源常使用不同坐标系：WGS-84（EPSG:4326）用于全球定位，GCJ-02是中国地图常用的偏移坐标系，BD-09则是百度地图的偏移坐标系。若混淆使用，会导致点位整体偏移数百米。例如，将GCJ-02坐标直接当作WGS-84使用，会造成约100-700米的系统性偏移，严重影响空间分析结果。统一坐标系是空间数据清洗的第一步。
统一坐标系的步骤如下：
- 明确原始数据的坐标系：查看数据来源说明或通过与已知地标对比验证。必要时进行GCJ-02到WGS-84的纠偏转换，可使用开源工具如
coord-convert或自行实现转换公式。 - 指定坐标系：使用
gdf.set_crs(epsg=4326)为GeoDataFrame指定坐标系。注意，set_crs只是声明，不会转换坐标数值。如果数据已经是WGS-84，只需声明；如果需要转换，应使用to_crs。 - 投影变换：进行距离、面积计算时，使用
to_crs投影到本地平面坐标系（如中国地区常用EPSG:4547、EPSG:4479、EPSG:4508等）。EPSG:4326是地理坐标系，直接用其计算距离会不准确，因为经度和纬度的长度随纬度变化。 - 验证坐标合理性：通过边界框过滤或叠加行政区划数据，剔除明显超出合理范围的点。例如，中国的POI经纬度应大致在73°E-136°E、18°N-54°N之间。
# 投影到平面坐标系（以中国为例，CGCS2000 / 3-degree Gauss-Kruger CM 117E） gdf_proj = gdf.to_crs(epsg=4547) # 计算缓冲区（单位：米） gdf_proj['buffer_500m'] = gdf_proj.geometry.buffer(500) # 计算两点距离（单位：米） gdf_proj['dist_to_center'] = gdf_proj.geometry.distance(center_point)
坐标系问题是空间数据清洗中最常见也最容易被忽视的错误。建议在项目开始时建立坐标系规范文档，明确所有数据的原始坐标系和目标坐标系，避免后续分析出现系统性偏差。对于涉及多个坐标系的项目，可以在数据表中保留原始坐标字段和转换后坐标字段，便于追溯。
三、去重与异常值处理
POI去重不能仅依赖名称，因为同一品牌在不同分店名称可能相同，而同一地点的不同POI名称也可能不同。推荐采用组合策略，综合考虑空间距离、名称相似度和类别一致性：
- 空间距离阈值去重：在50米或100米范围内，若名称相似度高于0.85，则视为同一POI。可使用fuzzywuzzy或rapidfuzz计算字符串相似度。距离阈值应根据城市密度和业务特点调整，CBD区域可设为50米，郊区可设为200米。
- 坐标异常检测：利用Isolation Forest或简单的边界框过滤，剔除位于海洋、沙漠或行政区划外的异常点。也可以基于密度聚类（DBSCAN）识别离群点。异常点可能是GPS漂移、数据录入错误或测试数据。
- 地址规范化：使用正则表达式提取省、市、区与详细地址，统一全半角、空格和行政区划简称。例如，将”北京市”、”北京”、”京”统一为规范名称。
- 重复字段处理：对于同一位置多个来源的POI，保留信息最完整、更新时间最近的一条，合并其他来源的属性。可以建立来源优先级规则。
from rapidfuzz import fuzz
from scipy.spatial import cKDTree
import numpy as np
# 使用cKDTree进行空间邻近搜索（在投影后的平面坐标系中）
coords = np.array([(p.x, p.y) for p in gdf_proj.geometry])
tree = cKDTree(coords)
# 查找100米内的邻居（假设平面坐标系单位为米）
pairs = tree.query_pairs(r=100, output_type='ndarray')
# 对邻近点对进行名称相似度判断
for i, j in pairs:
name_i = gdf_proj.iloc[i]['name']
name_j = gdf_proj.iloc[j]['name']
cat_i = gdf_proj.iloc[i]['category']
cat_j = gdf_proj.iloc[j]['category']
if fuzz.ratio(name_i, name_j) > 85 and cat_i == cat_j:
print(f"Potential duplicate: {name_i} / {name_j}")
异常值处理需要结合业务理解。例如，一个城市的POI突然出现位于其他国家的坐标，明显是数据录入错误；而一个位于偏远郊区的工厂POI，虽然密度较低，但可能是合法记录。建议对异常值进行标记和人工复核，而不是简单删除。可以在数据表中添加”is_outlier”和”review_flag”字段，记录异常原因和处理状态。
四、属性补全与分类标准化
POI分类体系不统一会严重影响后续分析。不同数据提供商可能使用各自的分类标准，导致”餐厅”、”餐饮”、”美食”等同类POI被划分为不同类别。建议建立一级、二级、三级分类映射表，将来源数据映射到统一标准。例如，可以参照高德地图、百度地图或行业标准的分类体系。
对于缺失字段，可通过以下方式补全：
- 基于空间叠加：将POI与行政区划、土地利用数据进行空间连接（spatial join），补全区域属性。例如，通过叠加行政区划数据，补全POI所属的省、市、区、街道。
- 基于名称关键词：通过正则匹配品牌名、业态关键词推断类别。例如，名称中包含”银行”、”支行”、”ATM”的POI可归类为金融服务；包含”肯德基”、”麦当劳”的可归类为快餐。
- 基于邻近POI：利用KNN模型，根据周围已知POI的类别推断缺失分类。这在城市中心区域效果较好，因为同类POI往往聚集分布。
- 基于地址解析：从地址字段中提取行政区划、道路名和门牌号，补全位置描述。可以结合地理编码服务将地址转换为标准坐标和行政区划。
# 空间连接：将POI与行政区划数据叠加，补全区县信息
admin = gpd.read_file('admin_boundary.shp')
gdf_with_admin = gpd.sjoin(gdf, admin[['name', 'geometry']], how='left', predicate='within')
gdf_with_admin.rename(columns={'name': 'district'}, inplace=True)
# 检查未匹配的记录（可能位于水域或行政区划边界外）
unmatched = gdf_with_admin[gdf_with_admin['district'].isna()]
print(f"Unmatched POIs: {len(unmatched)}")
分类标准化时，建议保留原始分类字段作为参考，新增标准化分类字段用于分析。这样既保证了数据可追溯性，又满足了分析需求。分类映射表应随着新业务场景的出现持续维护。对于无法确定分类的POI，可以标记为”待分类”，而不是强行归类。
五、空间索引与输出
清洗完成后，建议构建R-tree空间索引以加速后续查询。GeoDataFrame的sindex属性可直接使用，它会自动基于shapely的STRtree实现。空间索引对于大规模POI数据的空间连接、缓冲区分析和最近邻查询至关重要。没有空间索引，对百万级POI进行空间查询可能会非常缓慢。
# 构建空间索引 sindex = gdf.sindex # 利用空间索引进行快速查询 possible_matches_index = list(sindex.intersection(query_geometry.bounds))
输出时，根据下游需求选择合适格式：
- GeoJSON：适合Web展示和API传输，但文件较大，且字段类型受限。
- Shapefile：ArcGIS等桌面软件兼容性好，但字段名长度受限（最多10个字符），不支持中文名过长，且一个数据集由多个文件组成。
- GeoPackage：单文件可存储多图层，支持大字段和复杂属性，是现代GIS应用的推荐格式。
- PostGIS：适合团队协作和实时更新，可通过GeoPandas的
to_postgis写入数据库。
# 保存为GeoJSON
gdf.to_file('poi_cleaned.geojson', driver='GeoJSON', encoding='utf-8')
# 保存为GeoPackage
gdf.to_file('poi_cleaned.gpkg', driver='GPKG', layer='poi')
通过系统化的清洗流程，原始POI可以转化为高质量、可复用的空间数据资产。掌握GeoPandas与坐标系、去重、属性补全等关键环节，是每一位空间数据分析师的必备技能。建议在项目中建立可复用的清洗脚本和质检清单，持续提升数据质量。一个完整的质检清单应包括：坐标系检查、空值检查、重复检查、分类一致性检查、空间范围检查、异常值检查等。
六、GeoPandas高级技巧与性能优化
当POI数据规模达到百万甚至千万级别时，GeoPandas的基础操作可能会变得缓慢。此时需要掌握一些高级技巧和性能优化方法。首先是空间索引的使用。GeoPandas的sindex属性基于R-tree实现，可以大幅加速空间查询。在进行空间连接时，应优先使用sjoin而非手动循环计算，sjoin会自动利用空间索引。
其次是数据类型优化。POI数据中的类别字段、行政区划字段通常是低基数分类变量，可以将其转换为category类型，减少内存占用。对于不需要高精度计算的字段，可以将float64转换为float32。这些优化在处理大规模数据时效果显著。
第三是并行计算。GeoPandas本身不支持原生并行，但可以结合Dask-GeoPandas或joblib实现多核并行处理。例如，可以将全国数据按省份切分，分别处理后合并。对于特别大的数据集，还可以考虑使用PostGIS进行存储和计算，GeoPandas作为结果导出和可视化的工具。
第四是避免重复投影。投影变换计算成本较高，如果需要进行多次距离或面积计算，应先将数据投影到合适的平面坐标系，完成计算后再转回地理坐标系输出。第五是合理使用缓冲区。缓冲区分析会生成大量复杂几何，对于大规模数据应谨慎使用，必要时先进行空间索引过滤。
最后是版本管理。空间数据清洗脚本应纳入版本控制，记录每次清洗的规则、参数和输出。这不仅便于追溯问题，也方便团队协作。建议将清洗流程拆分为多个独立模块，每个模块负责一个清洗环节，便于维护和复用。
七、POI数据清洗项目实战Checklist
为了确保POI数据清洗项目的质量和效率，建议建立完整的项目Checklist。在项目启动阶段，明确数据来源、坐标系、字段含义、质量标准和交付格式；在数据探索阶段，进行字段统计、缺失值分析、重复率统计和空间分布可视化；在清洗实施阶段，依次完成坐标系转换、去重、异常值处理、属性补全和分类标准化。
在质量检查阶段，采用抽样人工复核、自动化规则检查和交叉验证相结合的方法。例如，随机抽取1000条记录检查坐标和分类是否正确；编写规则检查经纬度是否在国家边界内、分类是否与名称一致；将清洗后的数据与权威来源进行交叉验证。
在项目交付阶段，除了输出清洗后的数据，还应交付清洗规则文档、质量报告、代码脚本和操作手册。这有助于后续数据更新时复用流程，也便于团队成员理解和维护。POI数据是动态变化的，建议建立定期更新和清洗机制，确保数据的时效性和准确性。一个成熟的POI数据治理体系，是企业位置智能能力的重要基础。
八、GeoPandas与商业GIS软件的对比
在选择空间数据处理工具时，许多团队会纠结于使用GeoPandas等开源方案还是ArcGIS、MapInfo等商业GIS软件。两者各有优势，应根据项目需求和团队能力选择。GeoPandas的优势在于开源免费、与Python生态无缝集成、自动化能力强、适合大规模批量处理和机器学习 pipeline。对于数据科学家和开发者而言，GeoPandas更加灵活高效。
商业GIS软件的优势在于功能全面、用户界面友好、专业分析工具丰富、技术支持完善。对于需要复杂空间分析、制图输出和专业报告的场景，商业软件往往更合适。许多企业采用”商业GIS+GeoPandas”的混合模式：商业GIS用于专业制图和复杂分析，GeoPandas用于数据清洗、自动化处理和与机器学习平台的集成。
无论选择哪种工具，核心都是解决业务问题。建议团队根据项目特点灵活选择，并建立工具之间的数据交换流程。例如，可以在GeoPandas中完成数据清洗，导出为Shapefile后在ArcGIS中进行制图。工具是手段，数据价值和业务洞察才是最终目标。
