0
点赞
收藏
分享

微信扫一扫

Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)


Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)_html

一.分析页面结构

Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)_xpath_02

先行爬取首页内容的两个字段,一个是商品名称title以及价格price;

二.分析页面的请求:

首先按照PC端的url进行请求,结果未得到返回响应的response的数据,于是通过chrom浏览器切换至手机端的来获取响应:

Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)_xpath_03

观察到其url是编码过的,对其进行urlencode解码后,得到url如下:

Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)_亚马逊商品列表_04

再对其中的参数进行简化,方法是删去url中的部分参数,看原有内容是否会发生变化,最终得到的url为:

​​https://www.amazon.cn/gp/aw/s/ref=is_pg?rh=i:aps,k:华为手机​​

因为该亚马逊网站未进行登陆,故只需添加headers,而不用添加cookies,最终拿到html

三.xpath分析

通过copy xpath获取单独的xpath后,由ctrl + f 将后面的标号去掉至1 of all ,进而获取全部数据

Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)_xpath_05

拿到的数据由字典方式存储,根据页面中的url变化,改变参数的page值来进行访问;

最终结果:

Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)_Python爬取_06

详情页的分析中发现其使用了js进行加载,暂时只想到用senlenium的思路,后续补上

import requests
from lxml import etree
from requests.exceptions import RequestException
from urllib.parse import urljoin
from multiprocessing import Pool

from settings import *

def get_one_page(url,headers,cookies):
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
def parse_one_page(res):

html = etree.HTML(res)
title = html.xpath('//*[@id="resultItems"]/li/a/div/div/h5/span/text()')
price = html.xpath('//*[@id="resultItems"]/li/a/div/div/div/div/span[1]/text()')
for i in range(len(price)):
phone = {}
phone['title'] = title[i]
phone['price'] = price[i].replace(',','')
yield phone
def main(num):
url = 'https://www.amazon.cn/gp/aw/s/ref=is_pg?rh=i%3Aaps%2Ck%3A%E5%8D%8E%E4%B8%BA%E6%89%8B%E6%9C%BA&page={}'.format(num)
response = get_one_page(url,headers,cookies)
# print(response)
result = parse_one_page(response)
result = list(result)
print(result)
if __name__ == '__main__':
for i in range(10):
main(i+1)

代码如下:

 

举报

相关推荐

0 条评论