17年Web安全老炮：Windows数据科学配置的5大暗雷

　　去年12月份某个周三凌晨三点多，我还在机房盯着后台日志，隔壁组的小周砸开我隔间门的样子——他抱着发烫的笔记本，笔记本上还沾着外卖洒的半盒粥的油星，喊着跑数据的机器突然自己崩了。

　　那台机器是公司凑给数据组的，装着数据科学常用的环境，我蹲在旁边扒日志的时候，就觉得眼熟，好像哪年我自己搭的时候也踩过类似的坑，只是那时候没当回事，觉得是小问题，没往配置暗雷上细想。

文章配图，仅供参考

　　第一个暗雷是系统盘的虚拟内存分配。数据组的人都爱把数据文件挂在非系统盘，可虚拟内存我之前一直放系统盘，那天查崩机原因，才发现数据跑的时候，临时文件没地方存，直接占满了非系统盘的空间，虚拟内存不够就崩。我之前自己搭的时候图省事，都是让系统自动管理虚拟内存，那时候跑小数据量没事，遇上现在动辄几十G的数据集，就是死穴。

　　第二个暗雷是用户权限里的系统文件保护。数据组的人喜欢装Python或者R的库，有时候为了省事，直接装在系统目录里，结果遇上系统的文件权限同步，库文件突然就没了读写权限，连import都报错。之前我跟运维吵过一次，就是因为运维给数据组的人开了管理员权限，结果有人乱删系统文件，那次之后我才特意留意这个问题，不是权限开得越大越好，是数据相关的目录得单独给权限，别跟系统文件混。

　　第三个暗雷是Windows Defender的实时扫描。那天机器崩了之后，我关了Defender才跑通数据，后来查日志，发现扫描进程占了八成的CPU资源，把数据计算的进程挤得没了空间。小周说他一直以为Defender只是扫病毒，没想到跑大数据的时候会成这样，我之前也没往这方面想，只觉得是Linux更适合数据，可Windows上默认的杀毒配置，就是个专门卡数据计算的暗雷。

　　第四个暗雷是系统的休眠文件占用。那次排查之后，我清理空间，发现休眠文件占了十几个G，问了才知道数据组的人平时图省事，机器不用就休眠，结果休眠文件一直在系统盘占着，数据临时文件又要占空间，双重压力下就崩了。我之前总怕数据丢，不敢关休眠，那天之后才把休眠文件挪到非系统盘，算是解决了一部分问题。

　　第五个暗雷是网络配置里的自动DNS。数据跑的时候有时候需要拉取在线的数据集，可Windows的自动DNS经常抽风，解析半天找不到服务器，要么报超时，要么报权限不足。那次小周的数据集是从某个大学的开源平台拉的，就是因为DNS解析慢，重试了好几次，数据没跑下来，机器还因为网络阻塞把进程弄崩了。我之前一直用固定DNS，那天才发现给数据环境单独设个固定的DNS，能省好多麻烦。

　　我原以为这些都是小问题，甚至觉得算不上暗雷，只是操作习惯不好，可后来跟另外两个数据组的同事聊，他们也都遇上过类似的问题，只是没往配置上想，都以为是数据太大或者库的问题。我之前也跟好多同行聊过，大家要么觉得Windows不适合数据，要么觉得踩过的坑都是运气不好，没往这些配置细节上总结，其实这些暗雷都是能避免的，只是没人把它们拎出来说。

　　对了，我之前说的“优胜劣汰”，不是说Windows不好，而是说那些能绕开这些暗雷的配置，本身就经过了实际数据场景的检验，是能经得住折腾的东西。就像去年12月份那次之后，我给数据组的机器都重新调了配置，后来跑了几次大的数据，都没再崩过。

　　哦对，还有个小细节，我之前把虚拟内存的大小设成了物理内存的两倍，结果跑数据的时候还是不够，后来才发现是临时文件的默认位置没改，得把临时文件的目录也设到非系统盘，不然虚拟内存再大也没用。

　　还有个事，上个月帮另外一个公司的人搭Windows的数据环境，他们之前也遇上过崩机，问我怎么回事，我一查，也是虚拟内存的问题，只是他们把虚拟内存设得太小，结果跑数据的时候直接占满了，比我们那次还严重。

　　我原以为数据科学的配置都是关于库和代码的，没想到系统层面的配置才是最容易踩坑的地方，尤其是Windows，那些默认的设置，都是为了普通用户的日常使用，不是为了跑大数据的，所以好多时候，你觉得是代码的问题，其实是系统配置没调好。

　　后来我跟小周说，别总怪Windows不行，你自己把配置调对了，它也能跑大数据，只是得先把这些暗雷找出来，别等机器崩了才后悔。他说他之前总觉得这些都是运维的事，自己不用管，现在才知道，数据组的人也得懂点系统配置，不然遇上问题，连排查都找不到方向。

　　我也不知道这些总结对不对，毕竟只是我自己遇到的情况，可能还有别的暗雷没发现，但至少去年12月份那次之后，我再给别人搭Windows的数据环境，都会先把这五个配置调一遍，再也没遇上过那种突然崩机的情况。

　　对了，还有个小矛盾，我之前跟运维说要给数据组开单独的目录权限，运维说太麻烦，不如给管理员权限，结果后来有人删了系统文件，折腾了半天才恢复，现在运维也同意给单独权限了，算是互相妥协吧，总比出问题了再收拾强。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!