Python爬虫系列之三:根据名称爬取经纬度信息并Geohash编码-CFANZ编程社区

1 开发场景

安装geohash模块并根据经纬度计算geohash值.
爬取某些名称（地名）的经纬度等信息.
开发语言及工具

Python 2
Anaconda
mzgeohash

安装包（tar.gz）下载 / 安装

Link 1

源码下载 / 安装

Link 2

注意：

个人尝试，mzgeohash支持Python 2， Python 3 下会提示语法错误. 为了便于使用，开发均在Python 2 内核下完成.

2 详细描述

基于 Python、通过百度API，爬取对应地名的经纬度等信息 .
通过Python中Geohash 模块，依据经纬度计算对应名称的 geohash 值 .

3 具体代码

# coding: utf-8

# ## 主要实现
# - 批量查询位置点 经纬度等信息
# - 经纬度转换为 geohash块

# ### Note
# - 查询位置列表， 需<font color=#FF1953>提前提供</font>

# In[5]:

city_lis=['北京', '上海', '郑州']


# ### 获取位置地点经纬度等信息
# - 获取经纬度等信息
# - 计算 geohash

# In[6]:

import pandas as pd
import mzgeohash
import urllib2
import urllib
import json


# In[23]:

'''
根据位置名称，获取经纬度等信息
'''
def get_metas_from_baidu(city):
    metas={}
    metas['key']='f247cdb592eb43ebac6ccd27f796e2d2'
    metas['address']=city   # 城市名称

    data=urllib.urlencode(metas)
    url='http://api.map.baidu.com/geocoder?output=json&'+urllib.urlencode(metas)
    # 注释 url='http://api.map.baidu.com/geocoder?'+urllib.urlencode(metas)+'&output=json'
    unicode_s=urllib2.urlopen(url)

    return json.loads(unicode_s.read())

city_meta_lis=[]  #  计算 geohash 编码并存储
for city in city_lis:
    tmp=get_metas_from_baidu(city)
    latitude=tmp['result']['location']['lat']
    longitude=tmp['result']['location']['lng']
    t_geohash=mzgeohash.encode((longitude,latitude)) # 使用mzgeohash 计算geohash
    city_meta_lis.append([city,latitude,longitude,t_geohash]) # 存储


# In[24]:

# 格式化输出
df=pd.DataFrame(city_meta_lis, columns=['city','latitude','longitude','geohash'])
df