使用Python划分矩形网格爬取高德POI数据

原文地址：http://www.mapboxx.cn/article/poi-pology/

背景

高德地图提供了三种方式来获取POI数据：

根据关键字进行搜索指定城市内的POI数据，比如爬取广州市的大学；爬取某个中心点一定半径范围内的数据；爬取某个多边形范围内的数据。

根据关键字搜索的可以参见目前实现的工具：http://www.mapboxx.cn/tool/poiview/ 本次打算实现第三种，根据多边形范围爬取POI数据。大概思路如下：

获取需要爬取的城市边界坐标数据，并计算出最大经度、纬度和最小经度、纬度(为了把城市包括在一个大矩形范围内)；根据一定的距离将大矩形划分为N多个小矩形范围，并获取其小矩形的边界坐标；调用高德地图POI，传入小矩形的边界坐标以及需要爬取的POI类型，即可得到所需数据

目前存在问题

划分的网格数会随着指定的距离变化而变化，如果网格太多，爬取过程比较耗时，网格太少的话又有单个网格只能爬900条数据的风险(当然，理论上来说，只要网格划分得足够小，就能突破900条的限制)；耗时比较久。

步骤：

1. 获取密钥

申请高德开放平台账号，并且申请开发者认证，然后申请web服务类型的密钥。

2. 获取城市最大和最小经纬度

使用的高德行政区划查询接口，地址：https://lbs.amap.com/api/webservice/guide/api/district

示例url：http://restapi.amap.com/v3/config/district?keywords=%E5%B9%BF%E5%B7%9E&key=4188efb67360681f89110ccdb11e563b&subdistrict=1&extensions=all

后续做JSON数据的解析，提取边界经纬度，并且使用math.max()和math.min()函数获取经纬度的最大和最小值。具体代码如下：

# 第一行必须有，否则报中文字符非ascii码错误 import urllib.request from urllib.parse import quote import json #TODO 1 # 高德上申请的key key = '4188efb67360681f89110ccdb11e563b' # 需替换为自己的 # TODO 2 搜索的城市名(全名) addr_name = '广州' url = 'http://restapi.amap.com/v3/config/district?' def getlnglat(address): uri = url + 'keywords=' + quote(address) + '&key=' + key + '&subdistrict=1' + '&extensions=all' # 访问链接后，api会回传给一个json格式的数据 temp = urllib.request.urlopen(uri) temp = json.loads(temp.read()) # polyline是坐标，name是区域的名字 Data = temp["districts"][0]['polyline'] lngs = [] lats = [] points = [] for line in str(Data).split(";"): if len(line.split("|")) > 1: for uu in line.split("|"): if float(uu.split(",")[0]) != None: lngs.append(float(uu.split(",")[0])) lats.append(float(uu.split(",")[1])) points.append([float(uu.split(",")[0]), float(uu.split(",")[1])]) else: if float(line.split(",")[0]) != None: lngs.append(float(line.split(",")[0])) lats.append(float(line.split(",")[1])) points.append([float(line.split(",")[0]), float(line.split(",")[1])]) print(points) print(max(lngs), min(lngs), max(lats), min(lats)) return max(lngs), min(lngs), max(lats), min(lats) getlnglat(addr_name)

3. 划分矩形网格

第2步骤中已经知道了大矩形坐标范围，现在就可以根据它们去划分小矩形，在此之前需要指定小矩形的长度，(0.01-0.1之间最佳，单位为KM)。具体代码如下：

import numpy as np def generate_grids(start_long,start_lat,end_long,end_lat,resolution): """ 根据起始的经纬度和分辨率，生成需要需要的网格. 方向为左上，右下，所以resolution应为 负数，否则未空 :param start_long: :param start_lat: :param end_long: :param end_lat: :param resolution: 划分的网格长度，单位为KM :return: """ assert start_long < end_long,'需要从左上到右下设置经度，start的经度应小于end的经度' assert start_lat > end_lat,'需要从左上到右下设置纬度，start的纬度应大于end的纬度' assert resolution>0,'resolution应大于0' grids_lib=[] longs = np.arange(start_long,end_long,resolution) if longs[-1] != end_long: longs = np.append(longs,end_long) lats = np.arange(start_lat,end_lat,-resolution) if lats[-1] != end_lat: lats = np.append(lats,end_lat) for i in range(len(longs)-1): for j in range(len(lats)-1): grids_lib.append([round(float(longs[i]),6),round(float(lats[j]),6),round(float(longs[i+1]),6),round(float(lats[j+1]),6)]) #yield [round(float(longs[i]),6),round(float(lats[j]),6),round(float(longs[i+1]),6),round(float(lats[j+1]),6)] return grids_lib grids_lib = generate_grids(112.958507, 23.932988, 114.059957, 22.51436,0.1)

最终获取到的grids_lib就是划分出的所有网格范围坐标，数据结构如下：

[[112.975216, 23.463609], [112.977106, 23.463297]]

4. 调用高德API爬取数据

剩下的逻辑就和关键字爬取一样，只是不需要指定city参数，而是替换为polygon参数，参数示例：

112.975216, 23.463609|112.977106, 23.463297

分别是矩形的左上和右下点坐标。

5. 解析数据并写入EXCEL

在这个过程中，需要注意的是矩形的范围肯定是比一个城市范围大的，因此难免爬到的数据会出现所属城市不是所需要的城市的情况，此情况的处理办法是：根据POI数据的adcode和城市的adcode判断，前四位分别代表了省和城市，因此如果前四位编码相同，则是属于同一个城市的数据。

代码地址

完整代码参见：https://github.com/liujiao111/poi

里面的 poi-pology 文件夹 需要改动的在app.py文件 中上部分用TODO样式标出来了。