解决PC常见问题 篇三十四:银河计划、京东云、甜糖等PCDN项目跑不满?手把手教新手如何通过优化跑

栏目:教育平台  时间:2021-04-11
手机版

前言

很多NAS用户和京东云用户已经将PCDN作为一项“睡后收入”,本文将简单的讲解一些知识点和改进建议,也算帮自己和PCDN同行们做个好事儿,希望能拉高行业小节点的平均质量吧,同行们进来点个赞?

写这篇也不是为了拉人头啥的,毕竟一个大户顶100个小散,你们跑哪家对我来说都无所谓,如果有兴趣试试我们的项目,银河计划官网请点我。



一、PCDN主流业务介绍

不管是银河计划、京东云还是甜糖等等,这些都属于PCDN业务,首先解释下关于业务的区别。

No.1:小节点业务和大节点业务的区别

按照带宽资源区分,业内将业务分为大节点和小节点。

小节点业务一般指单根500Mbps以下的带宽,单机上运行单个程序进行工作,譬如业内老牌的Hcache,也是本文重点讲的部分。

小节点业务就没这么花里胡哨了,几乎所有项目方都是以爱奇艺+YF为组合进行混跑,也有小部分项目方会添加一些其他项目作为辅助,比如我们这儿就增加了几个商业存储项目提升小节点的整体带宽利用率。

大节点业务一般指单机对应1GBps及以上的带宽,无论是多根宽带加起来过1G还是单根1G以上都行,譬如业内老牌的Dcache。

目前大节点业务五花八门,乱七八糟的采购方都有,目前比较好的业务有爱奇艺、快手、头条、阿里、腾讯等。

还有种专线业务,属于大节点业务中的特殊类型,要求很高,一般能跑这种程序的都是IDC机房,暂且不表。

No.2:长视频、短视频和商业存储业务的区别

目前的PCDN业务主要还是以视频平台采购为主,几乎所有国内视频平台都有采用PCDN方案节约存储成本。

长视频平台以爱奇艺、优酷、芒果这些为主,需求量稳定,缓存内容主要为热播剧集和电视节目,虽然需要很大的缓存空间,但是由于以TCP传输为主,所以不怎么吃硬件机能,也是目前小节点业务的主要构成部分。

长视频业务的缓存期一般在3-5天,所以前几天会跑的很差,缓存期过后跑量会稳定下来,特别是有热播剧或者节目的时候,跑量会非常棒。

短视频平台是近两年才火起来的业务,业内的三大家为快手、头条和腾讯,需求很大,缓存内容肯定是短视频啦,特点是缓存空间需求不大,但是非常的吃设备性能,由于小节点的不稳定性,很少会有业务方愿意给小节点设备放量。

短视频业务严格来说没有缓存期,一直在持续大量读写,前两天会跑的非常棒,因为存在嗅探机制,会尽可能的尝试你这个节点的极限,等嗅探期过后合理分配调度。

商业存储平台一直是PCDN中间的另类,需求非常不稳定,缓存内容一般以游戏文件、软件更新包这些为主,比较出名的有百度、金山这些。

商业存储业务的缓存期随机,缓存一般都很小,跑量也是随机,没有固定规律。

No.3:项目方和业务方的区别

银河计划、京东云这些公司都属于项目方,负责招募、部署和技术维护,并不是最终端的使用方。

而上文所提及的爱奇艺、快手这些都属于业务方,即真正使用带宽和设备的人。

那么会有不聪明的朋友要问了,为啥要有项目方这个中间人的存在呢?道理很简单,业务方就是为了省钱才会使用PCDN技术,招募和维护资源需要大量的人力,现在最贵的就是人工费用和维护费用,这就与节约成本背道而驰了,不如包给项目方去做。

No.4:不同计费方式的区别

如何计费才是PCDN玩家最关注的的地方吧?小节点而言,一般都是日95峰值计费

日95峰值计费即每5分钟统计一个带宽峰值,每日得到288个值,去掉高峰期中带宽数值前5%的点,取高峰期剩下的最大值,下图圈出来的就是高峰期带宽。

业内有些项目方会玩一些比较花的东西去吸引用户,比如高单价但是85计费,亦或者号称按照流量计费,其实本质依旧是95峰值计费,只不过换种说法吸引用户。

有计费方式的同时,也会有扣款规则,触发扣款一般有三种情况:单日在线时间不足、高峰期掉线和节点质量差

肯定有人精会想到,既然是高峰期计费,那我只跑高峰期就好了呗?怎么可能!业务方是要全天使用你的宽带和设备,只是高峰期用的非常多而已,如果你只高峰期开启但是单日在线时间不足,扣钱。

高峰期是各个业务方的终端用户在线最多的时间段,一般是晚上18:00-22:00,换位思考下,你看个视频卡住了会不会很恼火?所以高峰期掉线就扣钱,而且扣得非常多。

节点质量差其实和高峰期掉线一个性质,如果你的宽带或者设备出了问题,肯定会造成终端用户卡顿,扣钱。



二、影响调度的因素

下面都是影响调度的因素,按照重要性从高到低排序,如果全部做到优化达标,低需求地区也有可能能跑起来!!!

先把相关工具放出,测试工具包下载(点我下载)

No.1:地区+运营商

你没看错,这是最重要的因素,有些人开局就输了。

移动现在是需求量最大的运营商,只要内网就行,10和100开头有特殊加成,172最差;其次是电信,电信的需求从去年开始一直都不太稳定,具体得看地区;联通已经惨了差不多有好几年了,除了强需求地区外几乎跑不起来,不提也罢。

铁通、广电和教育网这些BGP线路几乎不调度,这类用户建议直接放弃尝试,时间就是钱。

每家业务方对地区的需求不一样,现在需求非常强的地区是东北、西南和西北地区,四川、甘肃、河南、河北、北京、黑龙江强势了好几个月。

华东地区一直几乎所有业务的常年低需求地区,而且只要是低需求地区,业务方都会规划到华东,具体是:浙江、江苏、上海、安徽、江西、山;除了华东外,内蒙古、新疆、福建也是低需求地区。

这些需求是不断在变化的,因为业务方的总调度一直在变化,各地区的存活节点数量也在变,所以本文现在说的强势地区,两个月后可能就不适用了,但是华东和联通不强势基本上没啥变化。

这里单独说一下广东,广东不是需求低,而是城域网的限制巨多,省内传输很快,但是出省一碰就垮。

No.2:NAT类型

关于NAT类型,其实之前科普过很多次了,本质就是转发的防火墙级别。

除了设备直接获取公网IP和NAT1(Full Cone NAT,也有叫全锥形NAT),其他三种NAT类型基本不调度。

测试方法:关掉电脑上的所有防火墙,打开下载好的测试工具包,点击get,下面箭头就是你的NAT类型。

如果不是Full Cone,请调整路由器配置,选择成Fullcone就好;

内网移动用户可能不管你怎么调整都是PortRestrict Cone,毕竟公网在移动网关那里,你控制不了。

假如你的路由器没有调整NAT类型的入口,建议更换路由器,京东云有这个配置,华硕系路由器都可以,所有软路由也都支持,TP这些我就不清楚了,没用过。??

No.3:端口是否可用

小节点一般是随机端口,这里给大伙列一下小部分常用端口,仅做科普使用。

TCP:8080/8088/7947

UDP:53/161/10929

那么问题来了,是不是要手动指定设备映射这些端口到网关上呢?其实不需要,开启UPNP就好了,实在不行DMZ过去,不懂这俩干嘛的可以看下本人往期文章。

No.4:宽带延迟

宽带的延迟越低,传输效率越高,行业对大节点的延迟需求一般是在8ms以下,但是对小节点的标准并没有明确的要求,一般20ms以内都可接受。

测试方法:打开工具包里面的MTR,host地方输入114.114.114.114,用www.taobao.com这些也行,点击start就会开始测试Ping和迁越。

下图我们可以看到,这个案例拓扑发包是从路由器网关→移动内网IP→移动内网对应的公网IP后,经过好几跳最后到114,后面的不需要管,只要看前面四个就行:

这台电脑→路由器网关的响应速度是2ms;

路由器→移动内网的响应速度是4ms;

移动内网→移动公网的响应速度是4ms;

移动公网→其他公网IP的响应速度是4ms;

根据这个测试结果,我们就可以很容易的定位出来问题出在哪一跳:

这台电脑→路由器网关的响应速度慢,更换这俩之间的网线,或者这俩中间有个网卡或者系统出了问题;

路由器→移动内网的响应速度慢,更换这俩之间的网线,也有可能是光猫长期工作降频需要重启,还有可能是路由器或者光猫真的太辣鸡了,需要更换;

移动内网→移动公网的响应速度慢,移动的问题,打电话给移动报修;

移动公网→其他公网IP的响应速度慢,多半是DNS的问题,把DNS换成223.5.5.5或者其他你觉得不错的DNS。

再次强调,买网线不要图好看买扁线,随便买个正经CAT 5e或者CAT 6的圆线就行!!!?



No.5:宽带丢包率

不管是大节点还是小节点,长Ping测试丢包率高于0.2%我个人觉得都是不可接受的,测试方法还是看刚才的MTR结果,一样的处理方案,哪跳有问题就换哪跳。

不过有一种丢包是运营商的账号模板做了限制连接数,在MTR中间体现不出来,毕竟单次就发3个包,超出限制后所有握手都会失败,但这不属于宽带故障,无解。

No.6:硬盘读取延迟

这是一个严重不可控的点,非常不好解决(因为重买也可能会崩),严格来说PCDN对硬盘性能的唯一要求就是随机读取延迟低,小节点的标准是8ms以内,大节点是3ms以内。

影响读取延迟的主要因素有:硬盘的转速、硬盘的IOps、硬盘健康度、硬盘目前使用量和硬盘工作环境,市面上大部分市售机械硬盘的转速和IOps都是达标的,区别就在于使用环境、健康度和使用量。

检测方法:打开工具包里面的Diskgenius,点击坏道检测和修复。

接着选择需要测试的硬盘,开始检测。

如果全绿(即全部优秀)就没问题,如果出现良好或者正常,硬盘的延迟就可能会高一些。

现在很多机械硬盘是叠瓦,只要使用量上去必定会增大读取延迟,所以我个人一般会在推荐配置上调高一些,拿爱奇艺+YF的组合举例,其实真实使用量在350G左右,但是我写的推荐配置都是500g-1T,余量很重要。

小白们经常会为了机械盘和固态盘哪个更好吵得不可开交,其实道理是一样的,只要读取延迟达标就好。

太拉胯的机械盘延迟在持续读写的时候可能会达到很夸张的100ms以上,低端TLC的固态硬盘使用容量太高也会出现这种问题。

所以对于小节点来说,用个全绿的二手1T机械盘是最佳的选择,不要盲目的去迷信固态。

另外京东云这种N年前已经被PCDN淘汰的EMMC存储方案其实跑一段时间确实也可能增大读取延迟,可以考虑加个u盘或者硬盘。

其他项目如果一定要买新的,个人推荐雷克沙或者光威的低端1T nvme,性价比还高一些。?

大节点用户请不要再买民用nvme了,老老实实Intel的P4600吧。?

U2转接卡我的推荐是佳翼。?

最后说一下硬盘的工作环境,不管是机械盘还是固态盘,只要温度上去,性能都会下降,建议将硬盘的工作温度维持在43°左右,风扇推荐建准8cm做抽风,便宜还高效,缺点是不好看。?



No.7:硬盘剩余空间

这里和上一条硬盘读取延迟完全没有关系,大部分业务方都会要求保留剩余空间用作备用,防止突发事件。

硬盘剩余空间是个强制要求,所以不要扣扣搜搜的觉得实际使用量没多少就缩减硬盘大小。

No.8:CPU&内存剩余量

行业对CPU的核心数要求其实是线程数,比如4core就是4线程,并不是物理核心。

和硬盘余量道理一样,如果CPU和内存使用率过高,都会触发降权,速度上不去,不要缩减配置去跑,浪费时间。

另外有个有趣的点,如果CPU和内存不够,其实一般都是触发设备宕机或者OOM程序崩溃,基本到不了触发降权那一步。



三、硬件推荐

这里就放下我个人的推荐单吧,有些上面写过的就不写了。

低于1G带宽的总量,跑业务的设备推荐J3455,J1900现在给奸商炒的太贵了,真的不值,真跑不起来,J3455好歹还能当个HTPC或者NAS继续发挥价值。?

有些裸程序的项目方只需要2G,因为我们加了防火墙和一些校正程序,所以内存推荐4G,镁光颗粒的都行,跑PCDN不需要高频率,1333即可,容量达标很重要。?

路由器最次也得弄个K2P或者新路由3这样的,入门可以考虑下小米AX5。?



四、关于设备维护

所有电子产品都需要定期维护,并不是万年不用管。

No.1:装机时的注意点

装完系统后,检查缓存硬盘是否放平,硬盘如果未平稳摆放容易降低使用寿命,一定要将硬盘托上的螺丝上紧,防止硬盘出现共振,另外记得整理下风道,不要让硬件过热。

NO.2:定期清灰更换硅脂

每半年定期为矿机清灰和更换CPU硅脂,防止矿机内部温度过高导致机能下降,清灰部件为:主板表面、主机风扇、电源。

No.3:定期重启光猫

每周定期重启一次光猫和路由器,防止因为长时间运行导致设备性能下降,建议避开晚高峰,在上午重启。

No.4:检查更换硬盘

对于PCDN项目来说,硬盘是一个消耗品,千万别指望买一块硬盘一辈子就不用管了,如果发现跑了半年到一年速度上不去,可以用工具包里面的DG测试下,用不了就换一块吧,这也是为啥我推荐二手硬盘的原因。



四、问答时间

这里整理出来的问题是群友和我能想到的,有没点到的可以在评论区留言。

Q1:二级路由和一级路由挂PCDN有什么区别

答:其实这还是NAT层数的问题,PCDN程序所在的设备最多只能迁越一次转发到公网,不然没有调度的,所以二级路由用不了。

Q2:为什么我明明24小时挂机,但是显示却只有23小时多?

答:在上面计费说明里面其实说过,五分钟为一个点,丢失打点就会不计在线时间,不管是因为丢包还是重播之类的原因,都不计算在线时间。

Q3:我用虚拟机行不行?虚拟机和物理机哪个更好点?

答:虚拟机在尝试满载的时候,性能损失在10-20%,一定得留大余量,虚拟机比物理机好的一点是硬件标准,很难出现驱动问题。

在性能足够的前提下,虚拟机和物理机没有区别,推荐用ESXi,虽然宿主系统吃的资源比PVE多一些,但是稳定,并且和桌面版的VM互通。

Q4:USB移动硬盘当缓存盘怎么样?

答:不咋样,USB的读写速度上限在那儿,稳定性也堪忧,京东云、n1这种除外。

Q5:怎么跑出最大带宽,还不影响上网感受?

答:不可能的事情,限速就到不了最大带宽,跑上去肯定会影响上网,同时达成是个悖论。

Q6:家宽跑PCDN会不会违法?

答:不违法,但是可能是违反部分地区运营商的内部规定,查到关停退费,仅此而已。

Q7:跑哪个项目方比较好?

答:小节点的业务构成都差不多其实,跳来跳去≈浪费时间,按上文说的找找问题,无法更改的点比如地区+运营商,不行就放弃,找点其他外快吧。

Q8:京东云到底要不要加硬盘?

答:建议先跑常规任务,如果常规任务速度上不去,再考虑加硬盘换任务,一定要加就加固态,有加成。

Q9:到底有没有前面结算多后面不给调度的设定?

答:纯属小白胡编乱造,跑的多项目方从业务方拿到的结算费用多,为啥不让你跑高?

除了京东云和网心有付费门槛,其他无门槛项目方正常都是让你自行采购设备,忙活半天就图个热闹?跑几天没调度的原因上面写了,请仔细阅读本文。

但还是那句话,调度一直在变,如果有疑问可以问项目方客服,自己瞎猜只是在浪费时间。

Q10:要不要定期清理缓存文件?

答:正常不需要,不过有可能缓存分发出现错误或者由于存储设备故障导致缓存损坏有可能,建议咨询客服后再操作。



总结

PCDN的存在是为了节省成本和整合闲置资源,家里玩玩报销网费和电费挺好的,不过不建议普通用户上头加仓。

希望本文能解决PCDN玩家的一些疑惑,有问题可以在评论区留言讨论。


上一篇:在线教育提供商Coursera发行价定为33美元 估值43亿美元
下一篇:成都第36届青少年科技创新大赛落幕 高新区获奖数居所有区(市)县首位

最近更新教育平台