Python抓取优酷视频(上):爬虫使用及数据处理

缘起:

上篇因为工作需要(就是把腾讯新闻copy到单位自己网站上去每天15条更新)所以写了一个抓取腾讯新闻的python小脚本

这次是因为想用手机看youku视频,比如xiaoy的魔兽解说,但是打开浏览器输入game.youku.com的时候,三星9003太不

给力,因而需要一个打开速度快的目录小网站。

思路:

1.数据表设计:

  id(int),                    //主键自增

  title(varchar 50),    //速度优先,只需要title,不需要图片

  href(varchar 50),   //视频播放地址

  date(varchar 25),  //采集的date中有如“1小时前”,因此也设计成varchar

2.采集函数设计:

  视频列表页url = http://i.youku.com/u/UMTE0NDEzOTky/videos/order_1_view_1_page_id (id =1,2...)

  每页视频个数为20,采集内容为title,href,date,优酷的html很规整,因此正则提取很好写,详见代码。

3.采集流程及入库:

  采用多线程采集,开9个进程,每个进程提取一个列表页20个视频,总共采集180个视频,如果想全站采集的话修改即可。

  数据库采用mysql,如何使python支持mysql详见Python网站建设,因为是多线程所以在插入数据的时候需要资源锁。

  关于python多线程thread以及资源锁,可以参照Python模块学习。

代码:

1 #!/usr/bin/env python 2 #coding=utf-8 3 import urllib2 4 import re 5 import MySQLdb 6 import thread 7 import time 8 #创建锁,用于访问数据库 9 lock = thread.allocate_lock()10 #抓取函数11 def fetch(id=1,debug=False):12 urlbase = 'http://i.youku.com/u/UMTE0NDEzOTky/videos/'13 url = urlbase + 'order_1_view_1_page_' + str(id) + '/'14 res = urllib2.urlopen(url).read()15 abstarct = re.compile(r'<ul class="v".*?</ul>',re.DOTALL).findall(res)16 17 vid_list = []18 for i in range(0,len(abstarct)):19 title = re.compile(r'title="(.*?)"',re.DOTALL).findall(abstarct[i])20 href = re.compile(r'href="(.*?)"',re.DOTALL).findall(abstarct[i])21 date = re.compile(r'<span>(.*?)</span>',re.DOTALL).findall(abstarct[i])22 if debug == True:23 print title[0]+href[0]+date[0]24 vid = {25 'title' : title[0],26 'href' : href[0],27 'date' : date[0]28 }29 vid_list.append(vid)30 #print thread.get_ident() 31 return vid_list32 #插入数据库33 def insert_db(page):34 global lock35 #执行抓取函数36 vid_date = fetch(page,False)37 sql = "insert into ykgame (title,href,date) values (%s,%s,%s)"38 #插入数据,一页20条39 for i in range(0,len(vid_date)):40 param = (vid_date[i]['title'],vid_date[i]['href'],41 vid_date[i]['date'])42 lock.acquire() #创建锁43 cursor.execute(sql,param)44 conn.commit()45 lock.release() #释放锁46 47 if __name__ == "__main__":48 #连接数据库49 conn = MySQLdb.connect(host="localhost",user="root",50 passwd="root",db="python_test",charset="utf8")51 cursor = conn.cursor()52 conn.select_db('python_test')53 #创建表54 sql = "CREATE TABLE IF NOT EXISTS \55 ykgame(id int PRIMARY KEY AUTO_INCREMENT, title varchar(50), \56 href varchar(50), date varchar(25))" 57 cursor.execute(sql)58 #插入数据库59 for i in range(1,10):60 thread.start_new_thread(insert_db,(i,))61 print '采集中...'62 time.sleep(3)63 #关闭数据库64 cursor.close()65 conn.close()

说明:

  urllib2模块:进行网页内容抓取

  re模块:进行正则表达式提取

  MySQLdb模块:mysql操作

  thread模块:多线程操作

  time模块:time.sleep(3)

遇到的问题:

1.mysql中文乱码:问题比较复杂,通用解决办法如下

  程序中只要在开头写好:#coding=utf-8

  连接数据库的时候设置编码方式:conn=MySQLdb.connect(host="127.0.0.1",user="webdb",passwd="web123",db="web",charset="utf8")

      对于采集来的中文字符串,可以编码转换后插入str = str.decode("gbk").encode("utf-8")

 

2.Warning: Data truncated for column 'href' at row 1

  原因:href 数据库中为 varchar(25),而实际长度>25

  解决办法:将href 数库中改为 varchar(50)

 

3.多线程问题:现象混乱有时候无报错,注意事项如下

  使用相同资源是需要用资源锁,不然出现异常

  线程处理时间短时,启用线程后加time.sleep(3)

 

下篇预告:使用web.py搭建网站框架

  • 匿名
    2016-06-07匿名
    神箭手云爬虫上/这里有现成写好的优酷视频抓取爬虫,可以直接使用, http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=73
  • 匿名
    2016-06-07匿名
    神箭手云爬虫上/这里有现成写好的优酷视频抓取爬虫,可以直接使用, http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=73
1
您的回应...

相关话题

查看全部

也许你感兴趣

换一批

热门标签

更多