ICLR 2024 reviewer 评分 35668
1 intro
1.1 地理空间预测
- 地理空间预测在各个领域都有广泛的应用
- 包括贫困估算，公共卫生，粮食安全，生物多样性保护，环境保护。。。
- 这些预测中使用的变量包括地理坐标、遥感数据、卫星图像、人类移动数据和手机元数据
- 尽管获取高质量协变量至关重要，但由于空间时间覆盖范围有限、成本高昂和获取障碍，这可能会面临挑战
1.2 论文背景
- LLM压缩了其训练语料库中包含的知识，其中包括来自互联网的数十亿或数万亿的数据令牌
- 论文寻求理解LLM是否拥有地理空间知识，并探索提取此类知识的方法，以提供一套新的地理空间协变量，从而增强各种地理空间ML任务
- 如图1a所示，仅通过查询LLM来描述一个地址，就可以揭示出LLM中包含的大量地理空间知识
- 然而，从LLM中提取这些知识并非易事。
- 虽然最自然的接口涉及使用地理坐标，如纬度和经度来检索特定位置信息，但如图1b所示，这通常会产生不佳的结果。
- 困难在于LLM能否理解并解释这些数字坐标与实际位置之间的关系
1.3 论文思路
- 介绍了GeoLLM，一种新颖的方法
- 通过对LLM进行微调，利用构建的提示与OpenStreetMap的辅助地图数据，有效提取LLM中包含的丰富地理空间知识
- 通过在图1b中展示的提示策略，可以精确定位一个位置，并为LLM提供足够的空间上下文信息，从而使其能够访问并利用其广泛的地理空间知识
- 在提示中包括来自附近位置的信息，可以将GPT-3.5的性能提高3.3倍，相比仅提供目标位置的坐标
3 方法
- 抽象地说，论文希望将地理坐标（纬度、经度）和附加特征映射到响应变量，如人口密度或资产财富
- 目标是确定LLM对这些坐标了解多少，以及我们如何使用这些知识更好地预测感兴趣的响应变量
3.1 最小可行地理空间提示
- 一个最小可行的提示需要指定位置和预测任务
- 描述包括任务的名称和指示可能标签范围的规模
- 论文发现添加任务名称有帮助，但更具体的信息，如数据集名称，通常没有帮助
3.1.1 接近回归的分类任务
- 由于必须通过文本为LLM指定标签，论文使用分类而不是回归
- 论文发现更接近回归的分类任务（例如，0.0到9.9而不是1到5）是有益的，尽管LLM使用softmax
- 如果原始数据集已经具有近似均匀分布，则简单地将值缩放到0到9.9的范围，并四舍五入到一位小数
- 如果数据集本身不是均匀的，则将值均匀地分布在100个桶中，以维持均匀分布。然后，每个桶与0.0到9.9的值范围相关联。
3.2 带地图数据的提示
- 上述提示有一个主要限制——LLM难以识别坐标的位置
- ——>确保提示包含额外的上下文，帮助模型理解坐标的位置
- ——>使用地图数据构建了两个额外组件：
- 地址：详细的反向地理编码描述，包括从邻域级别到国家本身的地点名称
- 使用Nominatim进行反向地理编码生成地址
- 附近地点：在100公里半径内最近的10个位置及其各自的名称、距离和方向列表
- 从Overpass API获取附近地点的名称和位置
- 地址：详细的反向地理编码描述，包括从邻域级别到国家本身的地点名称
3.3 使用语言模型进行微调和推理
- RoBERTaBASE
- 对模型进行了微调，其所有参数均可训练。
- 它接受整个提示并输出一个连续值，将其四舍五入到最近的桶
- Llama 2 7B
- 尽管不适合回归任务，但由于训练了更多数据，它有潜力表现良好
- 类似于预训练模式，将prompt和label连接，使用无监督学习对Llama 2进行微调
- 将prompt和对应的ground-truth标签作为一个整体，使用自回归的方式进行微调
- 论文发现这种无监督学习比使用监督微调效果更好
- 这意味着模型正在学习生成提示和标签
- 学习给定坐标生成地址或使用坐标和地址生成附近地点是有益的
- 推理时：提供提示，并让它生成预测所需的三个令牌（例如，“9”、“。”和“9”）
- QLoRA能够大大降低计算成本，并仅用3300万可训练参数有效进行微调
- 由于它还将冻结模型量化为4位，这带来了可能稀释权重中包含的知识
- GPT-2
- 使用与Llama 2相同的微调和推理过程
- GPT-3.5
- 通过OpenAI的微调API对GPT-3.5进行微调
- 与Llama 2类似，提供它提示，并让它生成完成所需的三个令牌
4 实验
4.1 任务
4.1.1 人口密度
- WorldPop提供空间人口数据，覆盖了全世界的人口密度任务
- 使用了他们的2020年全球无约束拼图，其分辨率为30弧秒（赤道上约1km）
- 为了确保全面代表人口，采用了按人口加权的重要性抽样。这使我们能够捕获广泛的人口范围
- 如果没有重要性抽样，样本将主要由人口稀少的地区组成
4.1.2 人口相关指数
- 包括了从人口与健康调查（DHS）计划中派生的任务
- 供了48个国家家庭层面的、全国代表性的有关资产、住房条件和教育水平等属性的数据
- 使用资产财富指数、女性教育成就、卫生指数和女性BMI
4.1.3 美国人口普查
- USCB 美国人口普查局所称的邮政编码制表区域的人口、平均收入和西班牙裔与非西班牙裔比例的任务
4.1.4 住房价值指数
- 反映了35%到65%百分位范围内房屋的典型价值
- 也在邮政编码级别使用这些数据
- 这个数据集也只覆盖美国
4.1.5 数据集的处理
- 当数据集中没有给出明确的坐标时，通过确定相关区域的中心来近似它们
- 近似每个邮政编码区域的中心
- 使用平方皮尔逊相关系数r²来评估性能
4.2 实验结果
4.2.1 预测结果
4.2.2 关于提示的消融研究
4.2.3 finetune 是否需要？
【部分来源于paper的rebuttal】
- 使用未经微调的基于聊天的LLMs的主要问题是，它们经常拒绝给出答案，特别是在偏远或不太发达的地区
- 零样本（zero-shot）是不可靠的，所以论文补充测试了一下few-shot的内容
- 通过为每个测试示例提供10个物理距离最近的训练样本序列，来展示它们的few-shot性能
- 为了进一步防止模型拒绝回答，我们在提供10个示例之前使用系统消息“你是一个详尽且知识渊博的地理学家”和“你用预测/估计来完成数据序列”
- 微调后的GPT-3.5大幅度超过了GPT-3.5甚至GPT-4
