@voidshine 13# 这种情况也能自举？不用存储旧信息就能实现吗？如果旧验证信息同样存在于文件内那就存在被一起篡改的可能，否则理论上就没法自举，如果能同时实现，确实是有巧思，佩服。

没做过 iOS 的开发，目前也没大佬回复，op 就参考一下哈。是不是可以不用原生实现，套个 Webview 用网页去做，只有载入图片和导出图片调用原生 api 。这样思路就能打开，前端这种东西应该有不少，canvas 的 fabric.js 或者 svg 的 d3.js 应该都可以，fabric 自带 UI ，我记得还有很多已经完成度很高的纯前端实现的图片处理工具，应该能省不少事。

@Jinnrry 不能这么说，还是跟语言有关系的，python 显然有支持这种行为的意图，现在都成为一种标准了。Java 要是装箱不用拆我也用，但它是强类型，不光写一堆拆箱还要折算性能损耗，合计下来就很不经济。

我挺喜欢帮亲戚卸载流氓软件、弹窗广告，会有那种清理的爽感。一般的老电脑，清清启动项和流氓软件，用现有杀毒软件清个缓存，机械硬盘再运行个碎片整理。实际上快不快不清楚，心理上肯定比之前快了不少。
但是我不喜欢买电脑让出配置，或者审核店家配置的行为，因为我也确实不在行，自己买电脑都是挑好看的买，遇到这种会很头痛。

@NOneKnowYeah

@oneisall8955

其实还挺贵的...一百以上了，几块钱是指定合作运营商或者内置 sim 卡不能插卡的版本

我有个淘宝二手的华为 E8372 的随身 WiFi ，非常不推荐这个型号，虽然本身带有 WiFi 功能但是由于发热太大，大包延迟超过 1000ms 基本不能正常使用。我把它插到华硕路由器上走 USB ，好了大概一年吧，但是最近经常断联，它的控制界面也进不去，一开始以为是华硕的问题，后来直接插电脑上也能复现。不堪其扰，无奈打开配置界面想要导出日志自己研究一下，结果它的日志是加密的！只有他们工程师才能解密查看内容！为什么要加密日志？日子里有什么东西是不能给用户自己看到的？我真的百思不得其解。

先从显存开始测试，可以试试 mats 之类的显存测试软件。

多嘴一句，这个需求有过度设计的味道。这种一般出现在 canvas 或者 svg 上生成个个性海报什么的，这些都有专门的库，比如 fabric js 。其他元素让用户去自定义......感觉像在哪个地方走偏了，谨慎实现。

用管理员权限的命令提示符运行 python 脚本。经常用可以写在代码里，搜索引擎找下 python uac 关键字，抄一段代码试试。不过按说不会没权限吧，除非放在了 C 盘一些系统目录，如果真是这样最方便的方法还是把视频存在另一个不需要提权地方。

@dbak 感谢推荐，简单了解了一下感觉这个比较接近理想流程了。不过我是 Windows ，这个程序好像没有提供 Windows 支持，害怕虚拟机会增加无谓的性能损耗，我还是研究下别的方案吧。

@cccvno1 一开始确实是这么做的，但是当时没有给我一次交代所有需求，导致先写了 C#程序清洗，后期有新的列清洗需求，就图方便用 SQL 处理了，结果需求越加越多，SQL 也越来越多，成了这种人不人鬼不鬼的样子......这次痛定思痛，不再奢求一次全跑完，先把大表拆了再跑吧，并且尽量用一种方式去清洗，不然两者的优势都不沾哈哈

@noqwerty 谢谢推荐，这个没听说过我会去了解一下。之前因为内存不够的问题也试过用 Vaex 替换 pandas ，结果好像不完整支持 apply ？折腾了好久最后无奈直接用 C#读数据库了。

@wxf666 如您所说，只用 SQL 确实可以解决问题，但是难以迅速定位错误。这个项目的时间其实大部分会花费在打回数据重新收集这里，所以迅速的发现数据问题、修复可以修复的，一遇到无法修复的情况迅速反馈是非常重要的。因为数据五花八门，使用 SQL 的话，每次增加新的 case when 都要全部运行后才能知道清洗结果（而且一次还只能清洗一列）。如果编写程序以行去遍历，除了可以用多核加速和显示进度以外，还能：
1. 实时查看当前错误，数据第一次跑完，整个表的例外情况就可以掌握的差不多，简单的情况很多都已经改好程序了。而 SQL 的话，运行的时候人只能闲着，甚至连什么时候能跑完都不知道。
2. 记录修改前后数据，保存进日志或者存进数据库，如果出现意外可以 rollback 。
3. 对于复杂的逻辑可以 debug ，尽管只是 if else ，写多了也会混乱，也能美美地单元测试。对于这个量级的数据，在我的小电脑上跑是真的不想再来第二次。

@512357301 感谢回复。我查到 clickhouse 不擅长更新数据，文档中也写明 update 是繁重操作。不过就原理上如果只查询+修改同一列，效率应该比行式数据库更高的。因为数据清洗势必牵扯到大量数据更新操作，不希望在这里产生意外。如果列式数据库在这方面不自信，我还是用回传统方法跟稳妥一些。

@renmu 确实是这样，可以按照反馈数据的最小单元去拆分，导出成清洗完成和未完成两个文件夹，然后每次遍历未完成的文件夹，有新数据就替换掉未完成文件夹的旧数据。很有启发，谢谢。

@lambdaq 只是觉得目前了解的程序不太适合处理这类问题，openrefine 也看了一下，好像也是针对列处理的，还得学习就不如继续用 SQL 了。这种需求想想也不算少，应该在我认知之外有合适的程序吧。不行就只能扩写那个 C#程序了......

喜欢玩游戏 ≠ 有兴趣学做游戏 +4

做游戏的人是要下功夫的，下的功夫就是让别人喜欢玩游戏。
人人都爱吃好菜，但未必人人都想当厨子。

稳定性/性能 - 扩展性 - 工作量 三者不可兼得。未来的需求不可预测，在这个前提下看项目组如何选择也算是一种项目设计的美学。