0
点赞
收藏
分享

微信扫一扫

python编程-24:实例1-中国大学排名爬虫_彭世瑜_新浪博客

python编程-24:实例1-中国大学排名爬虫_彭世瑜_新浪博客_正则表达式​​


python编程-24:实例1-中国大学排名爬虫_彭世瑜_新浪博客_xpath_02​​


python编程-24:实例1-中国大学排名爬虫_彭世瑜_新浪博客_golang_03​​


python编程-24:实例1-中国大学排名爬虫_彭世瑜_新浪博客_cloud_04​​ ​python编程-24:实例1-中国大学排名爬虫_彭世瑜_新浪博客_正则表达式_05​​



源码: 输出优化前


  1. #CrawUnivRankingA.py
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import bs4
  5. def getHTMLText(url):
  6. try:
  7. r = requests.get(url, timeout=30)
  8. r.raise_for_status()
  9. r.encoding = r.apparent_encoding
  10. return r.text
  11. except:
  12. return ""
  13. def fillUnivList(ulist, html):
  14. soup = BeautifulSoup(html, "html.parser")
  15. for tr in soup.find('tbody').children:
  16. if isinstance(tr, bs4.element.Tag):
  17. tds = tr('td')
  18. ulist.append([tds[0].string, tds[1].string, tds[3].string])
  19. def printUnivList(ulist, num):
  20. print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
  21. for i in range(num):
  22. u=ulist[i]
  23. print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
  24. def main():
  25. uinfo = []
  26. url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
  27. html = getHTMLText(url)
  28. fillUnivList(uinfo, html)
  29. printUnivList(uinfo, 20) # 20 univs
  30. main()


输出优化后:



  1. #CrawUnivRankingB.py
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import bs4
  5. def getHTMLText(url):
  6. try:
  7. r = requests.get(url, timeout=30)
  8. r.raise_for_status()
  9. r.encoding = r.apparent_encoding
  10. return r.text
  11. except:
  12. return ""
  13. def fillUnivList(ulist, html):
  14. soup = BeautifulSoup(html, "html.parser")
  15. for tr in soup.find('tbody').children:
  16. if isinstance(tr, bs4.element.Tag):
  17. tds = tr('td')
  18. ulist.append([tds[0].string, tds[1].string, tds[3].string])
  19. def printUnivList(ulist, num):
  20. tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
  21. print(tplt.format("排名","学校名称","总分",chr(12288)))
  22. for i in range(num):
  23. u=ulist[i]
  24. print(tplt.format(u[0],u[1],u[2],chr(12288)))
  25. def main():
  26. uinfo = []
  27. url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
  28. html = getHTMLText(url)
  29. fillUnivList(uinfo, html)
  30. printUnivList(uinfo, 20) # 20 univs
  31. main()

 


举报

相关推荐

0 条评论