Python采集知某专栏文章保存成pdf-CFANZ编程社区

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

环境使用:

Python 3.8
Pycharm
wkhtmltopdf 软件文末名片获取

模块使用:

requests >>> pip install requests 数据请求
parsel >>> pip install parsel 数据解析
re >>> 内置模块不需要安装正则表达式
pdfkit >>> pip install pdfkit

win + R 输入cmd 输入安装命令 pip install 模块名

(如果你觉得安装速度比较慢, 你可以切换国内镜像源)

1. 明确需求:

分析数据来源 --> 对于想要数据内容, 确定是请求那个链接地址可以获得

保存html文件
把html文件转成PDF文件

代码实现步骤:

发送请求, 模拟浏览器对于url地址发送请求
- 文章链接:
获取数据, 获取网页源代码
解析数据, 提取文章内容 <html>
保存数据, 保存成html文件, 然后再转成PDF文件

代码展示

导入模块

import requests
import parsel
import re
import pdfkit

1. 发送请求, 模拟浏览器对于url地址发送请求

多页获取

for page in range(10 ,51, 10):
    link = f'******/api/v4/columns/c_1090924073042837504/items?limit=10&offset={page}'

模拟浏览器 --> headers 请求头 <可以直接复制>

    headers = {
        # User-Agent 用户代理, 表示浏览器基本身份信息
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36'
    }

    json_data = requests.get(url=link, headers=headers).json()
    for index in json_data['data']:
        content_id = index['id']
        print(content_id)

请求链接

        url = f'******/p/{content_id}'

发送请求

调用requests模块里面get请求方法, 对于url地址发送请求, 并且携带上headers请求头伪装, 最后用自定义变量名response接收数据

        response = requests.get(url=url, headers=headers)

<Response [200]> 响应对象 200状态码表示请求成功

2. 获取数据, 获取网页源代码

response.text 获取响应文本数据 <html字符串数据>

3. 解析数据, 提取文章内容 <html>

把获取到html字符串数据, 转成可解析对象

        selector = parsel.Selector(response.text)

提取标题

        title = selector.css('.Post-Title::text').get()
        new_title = re.sub(r'[\\/\:*?"<>|]', '', title)
        print(new_title)

提取内容 <html格式>

        content = selector.css('div.css-1g0fqss').get()

字符串格式化方法

        html = html_str.format(article=content)

使用正则提取链接地址

        img_url_list = re.findall('<noscript><img src="(.*?)" data-caption=""', content) # 链接
        img_list = re.findall('</noscript><img src="(.*?)" data-caption=""', content) # 需要被替换的内容
        for img_url, img in zip(img_url_list, img_list):
            html = html.replace(img, img_url)

4. 保存数据, 保存成html文件, 然后再转成PDF文件

设置文件路径以及文件名和格式

        html_path = 'html\\' + new_title + '.html'
        with open(html_path, mode='w', encoding='utf-8') as f:
            f.write(html)

把html文件, 转成PDF

        config = pdfkit.configuration(wkhtmltopdf=r'D:\demo\wkhtmltopdf\bin\wkhtmltopdf.exe')
        pdf_path = 'pdf\\' + new_title + '.pdf'

把那个html文件内容, 转成pdf文件

        pdfkit.from_file(html_path, pdf_path, configuration=config)
        print(title)

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦 🛬

希望本篇文章有对你带来帮助 🎉，有学习到一点知识~

躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。

请添加图片描述

最后，宣传一下呀~👇👇👇更多源码、资料、素材、解答、交流皆点击下方名片获取呀👇👇