0
点赞
收藏
分享

微信扫一扫

python学习笔记(2)——获取多家公司的百度新闻并自动生成数据报告文本

佛贝鲁先生 2022-02-01 阅读 21

代码练习:

import requests #引用requests库
import re#引用re库

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}#模拟浏览器访问强求,在谷歌浏览器输入about:version即可获取

url='https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&rsv_dl=ns_pc&word=%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4'#将网址赋值给变量url
res=requests.get(url,headers=headers).text #通过requests库的get()函数访问该网址,通过.text获取网页源代码的文本内容
#print(res)  #打印输出获取的网页源代码

#自定义函数,设置网址和代理
def baidu(company):
    url='https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word='+company
    res=requests.get(url,headers=headers).text
    p_source = '新闻来源:(.*?)"'
    source = re.findall(p_source, res, re.S)
    p_date = '发布于:(.*?)"'
    date = re.findall(p_date, res, re.S)
    p_href = '<h3 class="news-title_1YtI1"><a href="(.*?)"'
    href = re.findall(p_href, res, re.S)
    p_title = '标题:(.*?)"'
    title = re.findall(p_title, res, re.S)
    #自动生成舆情数据报告文本文件
    file1=open('F:\\05pycharm\\20220227学习\\获取5家公司文档.txt','a')#新建txt文件,a为追加模式,w为写模式
    file1.write(company+'数据挖掘completed!'+'\n'+'\n')#用write()函数写入字符串

    for i in range(len(title)):
        file1.write(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')'+'\n')
        file1.write(href[i]+'\n')
    file1.write('——————————————————————————————————'+'\n'+'\n')
    file1.close()#关闭文件


companys=['阿里巴巴','万科','京东','恒大','碧桂园']
for i in companys:
    baidu(i)
    print(i+'百度新闻爬取成功')

运行结果:

 

举报

相关推荐

0 条评论