前言
地理空间数据分析的第一步，往往也是最耗时的一步，就是数据清洗与坐标转换。原始数据可能来自不同的采集设备、不同的坐标系统、不同的文件格式，存在缺失值、异常值、重复记录和投影不一致等问题。如果不能妥善处理，后续的空间分析和可视化结果将大打折扣。本文将以Python为主要工具，系统讲解地理空间数据清洗与坐标转换的完整流程，并配以可直接运行的代码示例，帮助读者快速上手。
一、环境准备与核心库
在进行地理空间数据处理之前，需要安装以下Python库：
- GeoPandas：基于Pandas的空间数据处理库，支持Shapefile、GeoJSON、GeoPackage等格式。
- Shapely：用于创建和操作几何对象，如点、线、面。
- PyProj：坐标参考系统转换库，支持各种投影和大地坐标系。
- Fiona：文件读写底层库，通常随GeoPandas一起安装。
- Rasterio：栅格数据处理库，用于遥感影像读写。
安装命令如下：
pip install geopandas shapely pyproj rasterio
安装完成后，可以通过以下代码验证环境：
import geopandas as gpd
print(gpd.__version__)
二、读取常见空间数据格式
2.1 Shapefile
Shapefile是地理信息系统中最常用的矢量数据格式之一。使用GeoPandas读取Shapefile非常简单：
gdf = gpd.read_file("data/roads.shp")
print(gdf.head())
print(gdf.crs)
读取后，GeoDataFrame会自动识别几何列和坐标参考系统（CRS）。
2.2 GeoJSON
GeoJSON是一种基于JSON的开放标准格式，广泛用于Web地图应用。读取方式与Shapefile类似：
gdf = gpd.read_file("data/points.geojson")
2.3 CSV坐标点
很多业务数据以CSV格式存储，包含经纬度字段。可以先用Pandas读取，再转换为GeoDataFrame：
import pandas as pd
df = pd.read_csv("data/stores.csv")
gdf = gpd.GeoDataFrame(
df, geometry=gpd.points_from_xy(df.lng, df.lat), crs="EPSG:4326"
)
三、数据清洗实战
3.1 处理缺失几何
缺失几何是空间数据中常见的问题。可以用以下方法识别并删除：
missing_geom = gdf[gdf.geometry.is_empty | gdf.geometry.isna()]
gdf_clean = gdf[~(gdf.geometry.is_empty | gdf.geometry.isna())]
3.2 去除重复记录
重复记录可能由数据采集或合并过程引入。可以根据几何对象和属性字段去重：
gdf_clean = gdf.drop_duplicates(subset=["name", "type"])
gdf_clean = gdf_clean[~gdf_clean.geometry.duplicated()]
3.3 修复无效几何
无效几何通常由自相交、坐标顺序错误等原因导致。Shapely提供了buffer(0)等修复方法：
invalid = gdf[~gdf.geometry.is_valid]
print(f"Invalid geometries: {len(invalid)}")
gdf.geometry = gdf.geometry.buffer(0)
对于复杂的无效几何，可以使用make_valid函数：
from shapely import make_valid
gdf.geometry = gdf.geometry.apply(make_valid)
3.4 处理异常坐标
异常坐标可能表现为经纬度超出合理范围、坐标值明显错误等。可以通过条件过滤来处理：
gdf = gdf[(gdf.geometry.x >= -180) & (gdf.geometry.x <= 180)]
gdf = gdf[(gdf.geometry.y >= -90) & (gdf.geometry.y <= 90)]
对于离群点，可以结合业务规则或统计方法（如IQR）进行识别和处理。
四、坐标系统与投影转换
4.1 理解坐标参考系统
坐标参考系统（CRS）定义了地理要素在地球表面的位置表示方式。常见的CRS包括：
- EPSG:4326（WGS84）：全球通用的大地坐标系，以经纬度表示，常用于GPS和Web地图。
- EPSG:3857（Web Mercator）：Web地图常用的投影坐标系，单位是米。
- EPSG:4490（CGCS2000）：中国2000国家大地坐标系，是国内测绘和国土空间规划的主流坐标系。
- 地方独立坐标系：各地市根据自身需求建立的高精度局部坐标系。
4.2 使用PyProj进行坐标转换
PyProj是PROJ库的Python封装，支持各种坐标转换。以下是将WGS84经纬度转换为CGCS2000的示例：
from pyproj import Transformer
transformer = Transformer.from_crs("EPSG:4326", "EPSG:4490", always_xy=True)
x, y = transformer.transform(116.3974, 39.9093)
print(f"CGCS2000: {x}, {y}")
4.3 GeoPandas批量投影转换
对于整个GeoDataFrame，可以使用to_crs方法批量转换：
gdf_4490 = gdf.to_crs("EPSG:4490")
gdf_3857 = gdf.to_crs("EPSG:3857")
转换后，几何对象的坐标值会相应改变，但空间关系保持不变。
4.4 选择合适的投影
不同的分析任务需要选择不同的投影。例如：
- 小范围高精度测量：选择地方独立坐标系或UTM投影。
- 全国尺度分析：选择Albers等面积投影或Lambert投影。
- Web可视化：选择Web Mercator。
- 距离计算：选择等距投影或局部UTM。
选择投影时，需要根据分析目的权衡面积、距离、角度等变形因素。
五、属性数据清洗
5.1 类型转换
空间数据的属性字段类型常常不正确，需要进行转换：
gdf["area"] = pd.to_numeric(gdf["area"], errors="coerce")
gdf["date"] = pd.to_datetime(gdf["date"], errors="coerce")
5.2 统一编码与命名
中文属性字段常常存在编码问题或命名不规范。可以使用以下方法统一：
gdf.columns = [c.strip().lower().replace(" ", "_") for c in gdf.columns]
gdf["city"] = gdf["city"].str.strip().str.replace("市", "")
5.3 关联外部数据
空间数据常常需要与业务表格关联。可以基于空间位置或属性字段进行连接：
joined = gpd.sjoin(gdf_points, gdf_regions, how="left", predicate="within")
六、完整实战案例
假设我们有一批全国POI数据，需要完成以下任务：
- 读取CSV数据并转为GeoDataFrame；
- 删除坐标异常和缺失几何的记录；
- 将坐标从WGS84转换为CGCS2000；
- 按省份统计POI数量；
- 导出为Shapefile和GeoJSON。
完整代码如下：
import pandas as pd
import geopandas as gpd
df = pd.read_csv("poi.csv")
gdf = gpd.GeoDataFrame(
df, geometry=gpd.points_from_xy(df.lng, df.lat), crs="EPSG:4326"
)
gdf = gdf[(gdf.geometry.x >= 73) & (gdf.geometry.x <= 135)]
gdf = gdf[(gdf.geometry.y >= 3) & (gdf.geometry.y <= 54)]
gdf = gdf[gdf.geometry.is_valid & ~gdf.geometry.is_empty]
gdf = gdf.to_crs("EPSG:4490")
provinces = gpd.read_file("province_boundary.shp").to_crs("EPSG:4490")
joined = gpd.sjoin(gdf, provinces, how="left", predicate="within")
stats = joined.groupby("province_name").size().reset_index(name="poi_count")
gdf.to_file("poi_clean.shp", encoding="utf-8")
gdf.to_file("poi_clean.geojson", driver="GeoJSON")
print(stats.head())
七、常见问题与最佳实践
在数据清洗过程中，以下几点值得特别注意：
- 始终检查CRS：任何空间分析前，都要确认数据的坐标参考系统是否正确。
- 保留原始数据备份：清洗前备份原始文件，避免误操作导致数据丢失。
- 记录清洗规则：将清洗步骤和参数以代码形式保存，确保结果可复现。
- 分步验证：每完成一步清洗，都要检查结果是否符合预期。
- 关注性能：对于大规模数据，可以使用Dask-GeoPandas等工具提升处理效率。
八、坐标转换常见陷阱与解决方案
8.1 七参数与四参数转换
在实际工作中，地方独立坐标系与国家坐标系之间的转换常常需要七参数或四参数。七参数包括三个平移参数、三个旋转参数和一个尺度参数，适用于三维坐标转换；四参数则包括两个平移参数、一个旋转参数和一个尺度参数，适用于同一高程面上的平面坐标转换。
使用七参数或四参数转换时，必须确保参数来源可靠，并且转换范围在参数的有效区域内。超出有效范围的转换可能导致较大误差。可以通过已知控制点进行精度检核，必要时采用分区转换或格网改正方法。
8.2 坐标顺序问题
不同软件和标准对经纬度坐标的顺序定义可能不同。有些使用经度在前、纬度在后（x, y），有些则使用纬度在前、经度在后（lat, lon）。在使用PyProj和GeoPandas时，建议显式设置always_xy=True，确保坐标顺序一致。
8.3 动态坐标参考系统
现代大地测量中，地壳运动导致坐标参考框架不断更新。例如，ITRF框架有多个版本，不同版本之间存在厘米级甚至分米级的差异。对于高精度应用，需要关注框架历元和板块运动改正。
九、数据质量评估指标
在完成数据清洗和坐标转换后，应对数据质量进行评估。常用的质量指标包括：
- 完整性：记录完整性、字段完整性、几何完整性。
- 准确性：位置精度、属性精度、拓扑一致性。
- 一致性：坐标系统一致性、编码一致性、命名一致性。
- 现势性：数据更新频率、时间戳完整性。
- 可用性：数据格式兼容性、元数据完整性。
建议建立数据质量评分卡，对每个数据集进行量化评分，并针对低分项制定改进计划。高质量的数据是后续空间分析和决策支持的基础。
十、进阶技巧
对于大规模地理空间数据处理，可以考虑以下进阶技巧：
- 使用Dask-GeoPandas进行并行计算；
- 利用R-tree或四叉树空间索引加速查询；
- 将常用数据预处理步骤封装为可复用的函数和类；
- 使用Jupyter Notebook记录分析过程，便于结果复现和分享；
- 结合Git进行数据处理脚本版本管理。
十一、真实项目案例分析
11.1 全国POI数据治理项目
某地图服务商需要整合来自多个渠道的POI数据，包括自有采集、用户上报、第三方合作等。数据存在严重的重复、错误和更新不同步问题。项目团队采用GeoPandas和Shapely构建了完整的数据清洗流程：首先进行坐标系统一和地图匹配，然后基于空间距离和属性相似度进行去重，接着利用规则引擎和机器学习模型识别错误POI，最后建立增量更新机制。
项目实施后，POI数据的准确率从85%提升至96%，重复率从12%降至2%以下，数据更新周期从月度缩短至周度，显著提升了地图产品质量。
11.2 行政区划边界冲突处理
在行政区划数据管理中，经常遇到边界不一致、飞地、争议区域等问题。处理这些问题需要结合官方测绘资料、历史沿革和实际管辖情况进行综合判断。技术上，可以使用拓扑检查工具识别边界缝隙和重叠，然后通过人工审核和协调进行修正。
对于飞地等特殊区域，可以在属性表中明确标识其行政归属和空间关系。在可视化时，可以采用不同的符号和注记方式，避免用户误解。
十二、常见问题排查
初学者在使用Python进行地理空间数据处理时，常会遇到以下问题：
- CRS设置错误：没有正确设置或转换坐标系，导致空间分析结果偏差。解决方法是始终检查并记录数据的CRS信息。
- 几何对象无效：数据中存在自相交、重复节点等问题。可以使用buffer(0)或make_valid函数修复。
- 内存不足：处理大规模数据时导致内存溢出。可以采用分块处理、空间索引或Dask等分布式工具。
- 编码问题：Shapefile等格式对中文支持不佳。建议优先使用GeoPackage或GeoJSON格式。
- 投影变形：选择了不合适的投影，导致距离或面积计算错误。应根据分析目的选择合适投影。
十三、学习资源推荐
对于希望深入学习地理空间数据处理的读者，推荐以下学习资源：
- GeoPandas官方文档和示例；
- Shapely和PyProj的用户手册；
- 《Python地理空间分析指南》等中文书籍；
- CSDN、知乎、GitHub上的开源项目和教程；
- 各类GIS和数据科学在线课程。
实践是掌握地理空间数据处理的关键。建议读者从自己的业务数据或公开数据集入手，逐步完成读取、清洗、转换、分析、可视化的完整流程，在实践中积累经验。
十四、大规模数据处理性能优化
当处理全国范围或城市级地理空间数据时，数据量可能达到GB甚至TB级别。此时，普通的Pandas和GeoPandas操作可能变得非常缓慢。针对这种情况，可以采用多种性能优化策略。
14.1 空间索引加速
GeoPandas默认使用R-tree空间索引。在执行空间连接、空间裁剪等操作时，建议先创建空间索引。可以通过sindex属性访问，或使用rtree库直接操作。空间索引能够将时间复杂度从O(n²)降低到接近O(n log n)，对于大规模数据效果尤为明显。
14.2 分块读取与流式处理
对于超出内存容量的数据集，可以使用chunksize参数分块读取，逐块处理后再合并结果。例如，读取大型CSV文件时，可以每次处理10万行，避免一次性加载全部数据。
14.3 并行与分布式计算
对于可以并行化的空间分析任务，可以使用多进程、Dask或Spark进行加速。Dask-GeoPandas提供了与GeoPandas类似的接口，但支持分布式计算。PySpark结合GeoMesa、Sedona等库，可以处理海量空间数据。
14.4 数据库化存储
将空间数据存储到PostGIS等专业空间数据库中，可以利用数据库的索引、查询优化和并发能力，显著提升大规模数据访问效率。对于高频查询场景，数据库化是更好的选择。
十五、数据清洗流程模板
为了帮助读者快速建立自己的工作流，下面提供一个通用的地理空间数据清洗流程模板：
- 数据读取与格式检查；
- 坐标系统识别与记录；
- 几何有效性检查与修复；
- 异常值和缺失值处理；
- 重复记录去除；
- 坐标范围合理性校验；
- 坐标系统转换；
- 属性字段规范化；
- 空间关联与属性融合；
- 数据质量报告输出；
- 结果导出与元数据记录。
建议将上述步骤封装为可复用的函数或类，形成团队内部的数据清洗工具库，提升工作效率和数据质量一致性。
十六、结语
地理空间数据清洗与坐标转换是空间数据分析不可或缺的基础环节。随着数据规模的不断扩大和应用场景的日益复杂，对数据处理效率和准确性的要求也越来越高。希望本文介绍的方法和技巧，能够帮助读者在实际工作中更加从容地应对各种地理空间数据处理挑战，为后续的空间分析和价值挖掘奠定坚实基础。
十七、代码示例补充
下面补充一个完整的空间数据清洗脚本示例，供读者参考和实践：
import geopandas as gpd
import pandas as pd
from shapely import make_valid
def clean_geo_data(input_path, output_path, target_crs="EPSG:4490"):
gdf = gpd.read_file(input_path)
print(f"原始记录数: {len(gdf)}")
gdf = gdf[~(gdf.geometry.is_empty | gdf.geometry.isna())]
gdf.geometry = gdf.geometry.apply(make_valid)
gdf = gdf[gdf.geometry.is_valid]
gdf = gdf.to_crs(target_crs)
gdf = gdf.drop_duplicates(subset=[gdf.geometry.name])
print(f"清洗后记录数: {len(gdf)}")
gdf.to_file(output_path, encoding="utf-8")
return gdf
该函数实现了读取数据、去除无效几何、修复几何、投影转换、去重和导出等常用操作。读者可以根据实际需求进行扩展。
结语
地理空间数据清洗与坐标转换是空间数据分析的基础环节，也是最容易出错的环节。掌握Python生态中的GeoPandas、Shapely、PyProj等工具，能够显著提升数据处理效率和结果质量。希望本文的实战讲解能够帮助读者建立系统的工作流，从容应对各种复杂的空间数据清洗任务。
