0
点赞
收藏
分享

微信扫一扫

hadoop 笔记


iPhone
1,4个国家
2,iPhone免费应用排名(24),iPhone付费应用排名(24),iPhone畅销应用排名(24)=72榜单
3,每个类型4000个game


总url=4*72*400=115200


iPaid
1,4个国家
2,iPhone免费应用排名(24),iPhone付费应用排名(24),iPhone畅销应用排名(24)=72榜单
3,每个类型4000个game


合计
总url=4*72*400=115200
iPhone+ipad=230400


执行时间:5个小时
1个map
8个reduce

1个reduce 1.6秒抓取一条数据


-------------------------------------------------------------

hadoop-1.1.1 hbase-0.92.2   hive-0.9.0  snappy-1.1.1

举报

相关推荐

0 条评论