网易视频云：ceph恢复优化

专业资料 > IT&计算机 > 互联网 > 文档预览

5 页 1608 浏览 10 收藏 5.0分

摘要:vcloud.163.com网易视频云：ceph恢复优化网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在在线音视频平台。1.背景在对ceph块存储进行性能测试时发现，当有osd重启或者存储机重启时，I/O性能会急剧下降，尤其在随机写的负载下，下降幅度达到90%，并且会持续一段时候才慢慢恢复到正常水平。一开始我们也尝试将恢复相关的参数调低（osd_recovery_max_active=1、osd_recovery_max_chunk=131072、osd_max_backfills=1），以及调整正常I/O和恢复I/O的优先级（osd_recovery_op_priority=10、osd_client_op_priority=63），但是测试结果来看，这些参数的调整没有多大的效果，随机写负载下性能下降仍然很大。2.原因分析在《ceph基于pglog的一致性协议》一文中分析了ceph的一致性协议，从中我们得知在osd重启、存储机重启等场景下基于pglog的恢复的时候，在peering的时候会根据pglog来构建出missing列表，然后在恢复时根据missing列表逐个进行恢复，恢复的粒度是整个对象大小（默认4MB，有可能有的对象不足4MB，就按对象大小），即使只修改了一个4KB，也需要将4MB的对象拷贝过来，这样100个io就会达到400MB的带宽

温馨提示：当前文档最多只能预览 5 页，若文档总页数超出了 5 页，请下载原文档以浏览全部内容。

下载文档到电脑，方便使用

下载文档

当前文档最多只能预览 5 页
还有 2 页可预览，继续阅读

本文档由匿名用户于 2021-11-01 04:50:01上传分享

下载原文档(228.96 KB)

你可能在找

网易视频云：Facebook-memcache优化经验

vcloud.163.com网易视频云：Facebookmemcache优化经验网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。现在，网易视频云与大家分享Facebookmemcache优化经验.memcache是facebook的重要基础设施，有数据为证：缓存了T级记录，支持每秒G级别访问次数，单页面经常访问上千次memcache

4.8 分 2 页 | 44.17 KB | 2021-11-01 04:50
网易视频云：Infobright初探

vcloud.163.com网易视频云：Infobright初探网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享一下Infobright。

4.8 分 7 页 | 718.69 KB | 2021-11-01 04:51
网易视频云：网易平台级视频服务存储技术

vcloud.163.com网易视频云:网易平台级视频服务存储技术网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享一下网易平台级视频服务存储技术。云计算近年以每年32%的增长率飞速发展，视频云领域也正以80%的流量逐年递增，腾讯、阿里、金山、，乐视，当然还有网易，各大厂商都加入了视频云的混战。

4.9 分 3 页 | 80.12 KB | 2021-11-01 04:52
网易视频云：MDX语言简介

vcloud.163.com网易视频云：MDX语言简介网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享一下MDX语言简介MDX（MultiDimensionaleXpressions)是OLAP数据库的查询语言，1997年由微软推出，业内支持广泛，SAP/Oracle/Microsoft

4.9 分 2 页 | 82.58 KB | 2021-11-01 04:52
网易视频云：MYSQL-5.5-和-5.6的I

vcloud.163.com网易视频云：MYSQL5.5和5.6的IO控制简单分析（二）网易视频云接着上一篇分享，与大家分享一下MYSQL5.5和5.6的IO控制简单分析（二）。

4.8 分 3 页 | 46.92 KB | 2021-06-07 09:11
摩擦使电参数变化增大

摩擦使电参数变化增大云南曲靖曲煤焦化黄兆荣用万用表的表笔与盆的金属，塑料桶的桶壁摩擦，盆和塑料桶中装有水，表笔与水摩擦电参数的变化幅度比仪表笔有就是、桶壁摩擦电参数变化幅度小的多。不摩擦时电流为零，摩擦后可以达到0.9uA，电压变化幅度更大。电阻是减小的，用20MΩ档，摩擦前为1.3M，摩擦后为零，不是真正的为零，过一定的时间，电阻值慢慢会恢复。不摩擦后，电参数慢慢会恢复，恢复时间的长短不同。上面的照片可以看到，网上也有视频的，名字是摩擦使电参数变化。

4.7 分 1 页 | 356.92 KB | 2020-09-22 04:30
网易视频云：DirectIO时的IO放大探究

vcloud.163.com网易视频云：DirectIO时的IO放大探究网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享一下DirectIO时的IO放大探究。

5.0 分 5 页 | 160.86 KB | 2021-06-07 08:52
语文诗词翻译-梦李白二首·其二

语文诗词翻译-梦李白二首·其二唐代：杜甫浮云终日行，游子久不至。三夜频梦君，情亲见君意。告归常局促，苦道来不易。江湖多风波，舟楫恐失坠。出门搔白首，若负平生志。冠盖满京华，斯人独憔悴。孰云网恢恢，将老身反累。千秋万岁名，寂寞身后事。译文天上浮云终日飞来飘去，远游的故人为何久久不至。夜晚我总是频频梦到你，可知你对我的深情厚意。分别时你总是神色匆匆，还总说相见多不容易。注释浮云：喻游子飘游不定。游子：此指李白。这两句说：李白一连三夜入我梦中，足见对我情亲意厚。这也是从对方设想的写法。告归：辞别。局促：不安、不舍的样子。这两句是述李白告归时所说的话。

3.0 分 4 页 | 13.85 KB | 2019-08-18 02:23
怎么恢复删除的手机视频

能不能恢复呢？下面就分享使用手机数据恢复精灵恢复手机视频的方法给大家。其实现在手机视频和相册放在了一起，也就意味着都可以在手机相册里的最近删除里一键恢复。如果连最近删除里都删除了的话，使用备份恢复也是个好方法。如果你连备份都没有的话就需要借助软件进行恢复了，打开需要恢复手机拍摄视频的手机，在浏览器或者应用宝里搜索下载手机数据恢复精灵，并把它安装在手机上。

3.0 分 5 页 | 548.00 KB | 2019-02-22 11:33
怎么找回删除的手机视频

，如果想要恢复这些视频文件该怎么办呢？其实现在手机视频和相册放在了一起，也就意味着都可以在手机相册里的最近删除里一键恢复。如果连最近删除里都删除了的话，使用备份恢复也是个好方法。如果你连备份都没有的话就需要借助软件进行恢复了，打开需要恢复手机拍摄视频的手机，在浏览器或者应用宝里搜索下载手机数据恢复精灵，并把它安装在手机上。

3.0 分 5 页 | 550.00 KB | 2019-02-22 11:37