搜索【海量】

找到相关结果约 5176
  • 海量小文件导致高并发、大流量问题的探讨
    海量小文件导致高并发、大流量问题的探讨
    toorand 分享于10-09 14:51 57人关注 1人分享 2人推荐 来源:文章
    在互联网快速发展的背景下,特别是Web 2.0,网络上的数据内容呈几何级的增长,而其中增长最快并且最容易给技术架构带来挑战的就是数目庞大的小文件,如何来解决这种高并发,大流量,小文件,热点不集中的问题,经过我...
  • 海量监控的现状及发展趋势研究
    *Legend 分享于10-14 0:48 36人关注 3人分享 2人推荐 来源:文章
    【51CTO.com综合报道】近十年来,网络化和信息化成为各行各业发展的趋势,相应的,大大小小的数据中心、信息中心如雨后春笋般在全国各地建立起来,并且规模越来越大、应用越来越复杂。数据中心、信息中心的建立初衷,
  • 海量用户积分排名算法探讨
    海量用户积分排名算法探讨
    foreward 分享于11-06 14:12 52人关注 1人分享 0人推荐 来源:文章
    问题某海量用户网站,用户拥有积分,积分可能会在使用过程中随时更新。现在要为该网站设计一种算法,在每次用户登录时显示其当前积分排名。用户最大规模为2亿;积分为非负整数,且小于100万。PS:据说这是迅雷的一道面试题,不过问题本身具有很强的真实性,所以本文打算按照真实场景来考虑,而不局限于面试题的理想环境。存储结构首先,我们用一张用户积分表user_score来保存用户的积分信息。表结构:示例数据:下面的算法会基于这个基本的表结构来进行。算法1:简单SQL查询首先,我们很容易想到用一条简单的SQL语
  • 海量数据查询的探讨--一道风行公司笔试题
    海量数据查询的探讨--一道风行公司笔试题
    蝶舞满倾城 分享于11-10 21:30 52人关注 1人分享 1人推荐 来源:文章
    一问题描述:风行网站的电影每天会被很多人浏览,有专门的日志文件记录着电影信息和被浏览的次数,现在设计一个算法,从这个日志文件里查询浏览次数最多的N部电影二设计思路:假设有一个日志文件已经记录了当天被浏览的电影信息和相应的浏览次数,至少有三种方法找到浏览次数最多的N部电影方法一:利用二叉排序树二叉排序树的特性是中序遍历可以得到一组升序的数据,那么我们只要按照逆向中序遍历,即右孩子-根-左孩子就可以得到降序的数据方法二:快速排序,请参看百度海量查找的我的博客方法三:利用堆排序,可以建立大根堆,取出堆
  • 基于ArcSDE 的Web前端海量数据展示
    基于ArcSDE 的Web前端海量数据展示
    Koumiの家 分享于12-05 21:56 105人关注 0人分享 0人推荐 来源:文章
    问题:当海量数据要在WEB前端展示时,直接调用后台数据在前端展示所话费的时间是不能忍受的。本人在效果和速度的优化下,采用ArcSDE存储数据,将数据在后台处理好,按照某种规范直接一起返给WEB端,这样当用户加载页面浏览信息的时候就会在一刹那的时间内浏览到整个页面的信息,时间很快。前提条件是后台处理数据好。具体过程如下:1、安装与ARCGIS版本想匹配的ArcSDE,本人用的是SQL,所以就用SDE for SQL的,判断ARCSDE FOR SQL是否安装成功,运行“cmd”,输入“Sdemon
  • 教你如何迅速秒杀掉:99%的海量数据处理面试题
    教你如何迅速秒杀掉:99%的海量数据处理面试题
    Bra. 分享于12-11 9:42 79人关注 0人分享 2人推荐 来源:文章
    前言一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿背负这样的罪名,:-),同时,此文可以看做是对这篇文章:十道海量数据处理面试题与十个方法大总结的一般抽象性总结。毕竟受文章和理论之限,本文将摒弃绝大部分的细节,只谈方法/模式论,且注重用最通俗最直白的语言阐述相关问题。最后,有一点必须强调的是,全文行文是基于面试题的分析基础之上的,具体实践过程中,还是得具体情况具体分析,且场景也远比本文所述的
  • 海量操作下的js编码规范
    Your.KIng 分享于01-02 22:24 39人关注 2人分享 1人推荐 来源:文章
    最近公司的很多项目都涉及到了海量操作之前说好的插件基本上都趴了无奈只好自己动手写了(别问我为什么不用类似分页之类的方法解决,客户说不行)解决了3处:图片相册树形插件缩略图以树形插件为例来和大家探讨下海量操作下的JS编码web上的树形插件不少之前也写过几个很简单但是在以10W个子节点的加载情况下运行的效果确实很糟糕(另外我会告诉你客户要求的是IE8么。。。。)firefox下展开10W个节点的时间花费基本上在5-10S左右所以只好放弃普通的tree插件改用即时渲染的方式来加载窗体一次
  • 海量数据处理利器——基础概念
    海量数据处理利器——基础概念
    顶风尿尿手插兜 分享于01-30 11:42 48人关注 1人分享 1人推荐 来源:文章
    参考文献:大数据:互联网大规模数据挖掘与分布式处理数据是新的石油:“data mining”is the discovery of“models”for data.数据挖掘的覆盖范围:数据库:大规模数据,简单查询;机器学习:少量数据,复杂模型;统计学:预测模型;DB:数据挖掘是分析处理的极限形式——检索大量数据的查询,结果是查询的答案;统计/机器学习:数据挖掘是模型的预测和推论;海量数据处理或大数据处理:上面两个都做!但更多强调扩展性(大数据)、算法和架构、海量数据的自动处理;挖掘不同类型的数据
  • 海量数据处理(一)
    momochao 分享于03-18 13:28 69人关注 0人分享 1人推荐 来源:文章
    本文参考了July的教你如何迅速秒杀掉:99%的海量数据处理面试题和quicktest的Python处理海量数据的实战研究。写这篇文章意义是:1)记录自己的经验;2)对大量小文件数据的排序使用了“先Hash,后堆排序”的策略。对小文件先Hash,后堆排列的代码来自July提供的网址,做了微小修改,加了自己的理解。场景:海量日志数据,提取出某日访问百度次数最多的那个IP想法:1.hash映射:顺序读取10个文件,按照hash(ip)%10的结果将数据写入到另外10个文件中。2.hash统计:依次对
    海量 处理
  • 百度地图JavaScriptAPIV1.5版本发布,支持用户海量数据展示,短信发送位置信息功能
    百度地图JavaScriptAPIV1.5版本发布,支持用户海量数据展示,短信发送位置信息功能
    lydia 分享于04-15 13:56 177人关注 0人分享 0人推荐 来源:文章
    本周百度地图JavaScript API发布了1.5版本:新增:新增key验证机制(1)即自v1.5版本起,JavaScript API引导文件增加key验证(对应参数为ak),用户需先申请key,才可使用v1.5版本API服务。(2)与LBS云,车联网API使用同一套key机制,可通用。麻点图功能(1)支持海量用户数据以麻点图方式形成图层,叠加在百度地图上(新增CustomLayer类),功能体验。(2)新增图层单击事件,返回点击点的详细数据(如坐标值等)更新:开源库_检索信息窗