欢迎来到彩票365官网_彩票365app_彩票365官网! 联系我们 网站地图

彩票365官网_彩票365app_彩票365官网

0379-65557469

彩票365官网
全国服务热线
0379-65557469

电话: 0379-65557469
0379-63930906
0379-63900388 
0379-63253525   
传真: 0379-65557469
地址:洛阳市洛龙区开元大道219号2幢1-2522、2501、2502、2503、2504、2505室 

彩票365官网
当前位置: 首页 | 咨询案例 > 彩票365官网

软硬结合:快手引荐体系国内首先根据耐久内存使用异构存储

作者:admin 发布时间:2019-08-09 20:35:37 浏览次数:247
打印 收藏 关闭
字体【
视力保护色
原标题:软硬结合:快手引荐体系国内首先根据耐久内存运用异构存储

  作为2亿日活、日均千万级短视频上传、着重社区普惠的短视频APP,快手引荐体系所需处理的技能应战是世界级的。近来,快手在国内首先运用耐久内存从头规划了根据异构存储结构的引荐体系,首先选用英特尔(R)傲腾TM数据中心级耐久内存。在快手引荐体系高吞吐量大数据量恳求的场景下,运用耐久内存可以下降存储本钱,削减毛病康复时间,进步体系可靠性。毛病康复时间从小时等级下降到分钟级,也为改善大规划深度机器学习体系在改善千亿等级数据量的处理才能上拓荒了新的探究方向。

  业界超大规划实时在线短视频引荐体系

  如安在承载高峰期每秒数十万并发调用量的一起,从上百亿等级的短视频库中,经过千亿参数等级的深度模型将内容展示给用户?快手引荐团队规划了根据异构设备的先进引荐体系,其间遇到问题的杂乱程度极富应战。

  现在快手引荐体系选用的是核算与存储别离的架构形式(如下图所示)。引荐体系中的存储型服务首要是用来存储和实时更新上亿规划的用户画像、数十亿规划的短视频特征、以及千亿规划的排序模型参数。核算型服务首要进行的是视频召回检索、引荐模型预估和引荐战略核算。

快手引荐体系选用核算和存储别离的架构

  2018年到2019年上半年,快手引荐架构团队的首要作业会集在运用异构混合核算的方法,进步引荐体系中模型预估和召回检索等核算密集型事务的功能。经过运用异构核算的改造,产生了数倍的功能进步,鼓动了快手引荐架构团队向异构体系规划中更难的存储问题进发。

  一直以来,快手引荐团队致力于引荐体系架构调整,力求在日益增长的用户量冲击下,使引荐体系高可用的前提下,实时、高效、精准地向用户引荐优质内容。

  新机会:软硬结合极致优化,探究异构存储

  耐久软硬结合:快手引荐体系国内首先根据耐久内存使用异构存储内存是介于DRAM和SSD间的新存储层级,不仅能供给挨近DRAM的推迟,一起还供给耐久化和更大容量的存储空间,这为引荐体系中不同场景的可行性剖析和架构规划供给了思路。

  比较于传统的内存加硬盘的两级存储,新存储设备的推出,现代服务器可以运用的存储层级越来越多,运用多层级存储的软件体系规划也变得越来越杂软硬结合:快手引荐体系国内首先根据耐久内存使用异构存储乱。每种存储设备有不同的功能特性和容量巨细约束,越快的设备的单位容量本钱越高。例如运用内存插槽的英特尔(R)傲腾TM数据中心级耐久内存,根据读写粒度的不同,读写带宽虽小于传统内存,但写入数据具有耐久性,且容量远大于传统内存。怎么结合不同层级的存储规划在大规划引荐场景下性价比最优的存储体系成为一个巨大机会和应战。

新一代服务器的存储层级结构

  快手联合英特尔,国内业界首先落地选用英特尔(R)傲腾TM数据中心级耐久内存的异构存储到引荐体系

  根据多层级异构存储设备,快手引荐团队联合体系运营部硬件选型研制团队针对引荐体系中的不同场景进行了可行性剖析和架构规划的调研。软硬结合:快手引荐体系国内首先根据耐久内存使用异构存储针对耐久内存的特性,对分布式索引和参数服务器中的KV存储进行了从头规划。

【根据耐久性内存的KV体系规划示意图】,注:AEP指代英特尔(R)傲腾TM数据中心级耐久内存

  该规划首要经过为KV存储添加MemPool组件,针对不同拜访类型来决议体系是拜访DRAM缓存,仍是直接读取耐久内存。比方说,在引荐模型预估的参数服务器这个场景中,因为模型中神经网络巨细与Embedding Table比较很小,所以神经网络也会被MemPool直接分配进入DRAM来进步预估的功能。

  除此之外,引荐团队还对KV体系进行了调优:

  关于数据读取场景选用NUMA节点绑定的方法使得耐久内存拜访不跨NUMA节点,然后取得更好的读写功能;

  选用ZeroCopy技能对内存和耐久内存进行拜访软硬结合:快手引荐体系国内首先根据耐久内存使用异构存储;

  运用无锁技能,削减临界区中对耐久内存的拜访来进步功能。软硬结合:快手引荐体系国内首先根据耐久内存使用异构存储

  经过上述的技能改善,咱们将根据耐久内存的索引体系用实在的线上恳求数据进行模仿压测。测验成果如下:

根据耐久性内存索引体系的压力测验成果

  根据异构存储的索引体系简直到达纯DRAM的索引体系相同的功能指标,但整体具有本钱下降30%。一起异构存储的索引体系可以供给分钟等级的毛病康复速度,比之前小时等级的康复进步了百倍康复速度。英特尔专家介绍,快手是国内首先在引荐体系领域中引进并运用根据耐久内存的异构存储的互联网公司,这种立异实践的技能才能让咱们侧目。迷迭香

  快手引荐打造业界尖端、战斗力强悍的技能团队

  经过工程、算法结合,数据驱动的手法,让快手引荐体系更高效、更精准、更稳定地为快手数亿用户服务,记载每一个人的日子点滴,并让每一个人的记载都能引起共鸣。引荐架构团队的成员都来自国内闻名大学、乃至世界闻名大学,如CMU、清华、北大、中科大等闻名院校的毕业生。团队每个成员都寻求技能极致,具有一流的分布式高并发服务的开发才能,比方在线分布式索引支撑每天千亿等级的视频恳求、机器学习渠道支撑千亿等级的引荐模型在线学习和在线预估、在线服务为数亿用户供给99.99%的可用性。

(责编:赵爽、孙红丽)

版权所有:洛阳市建设工程咨询有限责任公司 联系人:李经理 电话: 地址:洛阳市洛龙区开元大道219号2幢1-2522、2501、2502、2503、2504、2505室
版权所有 彩票365官网 陕ICP备186327619号-7