java 做爬虫它牛就牛在爬虫业务两不误。
招个 py 做完爬虫是开掉还是开掉呢？

@lurenw “完全达到线上验证的效果”其实不用刻意追求，没必要。
使用生产数据主要有两个作用：
1，主流程验证，包括读写操作。
2，针对个别生产数据产生 bug 的情况做复现、测试、回归。

其实都只需要近期部分数据就可以了。
基础数据包括配置等一般需要全量，也不会很多。比如社区全局配置。
大量同构数据只选择一部分即可。比如社区最近一个月的用户帖子回复。

@HuasLeung 可以说说原因吗？

预发布环境有独立的库，每次发布之前从生产数据库同步+脱敏数据过来。

两个异构子系统没必要直接调来调去啊。强扭的瓜不甜。
作为两个可执行程序，命令行就是个交互接口。
作为两个进程，有进程间通讯机制。
作为两个服务，有 http/rpc 接口或者 mq 做同步 /异步调用。

后端是 PHP 无疑。
这个问题不仅仅因为后端垃圾，还因为你们的技术经理、项目经理、架构师等相关角色缺失或者垃圾。

深夜食堂的心态一定得是闲。这就别想了。
深夜快餐店倒是没问题。最好是可以带着边吃边赶车的那些食品。
你得抓住 996 下班族当前的心态和行动路线。

咆哮体大概是 2008、09 年左右开始流行的，大概流行了三四年？
在机房通宵、只有一台电脑，穷成这样那是 05 年之前的学校？
10L Robin 首富是 2011 年？搞单反，搞摄影也差不多那个年代。
毕竟现在程序员都去搞女装了吧。/手动狗头

IE6 糟糕在什么地方？
不是它战胜 Netscape 成为领先浏览器的时候。
也不是它市占率第一独领风骚的时候。
而是它自创标准并且严重落后于时代并且浑身 bug 的时候。

说实话，先进+独占对于开发者来说非常友好。不用考虑碎片化，不用考虑兼容性，有什么不满足？
所有的槽点都在 IE 落后于所有人成为一坨又臭又旧的大便的时候开始。

现在的 chrome，满足以上哪几个条件？
1，自创标准。其实主要是因为很多技术由 chrome 引领。一旦成为业界标准，chrome 的完成度是向来在一线的。这一点值得吐槽的应该是 Safari，新一代墨迹王。
2，严重落后于时代。并没有。
3，浑身 bug。整体来说表现还不错了。在这一点上 Safari 依然占据头把交椅。

真要说当代 IE6，倒是可以提名 Safari 和微信 X5 魔改内核。

@ericgui 听说过薅实习生毛的，第一次见薅候选人毛的。。。

倒让我想起类似的一件事。
——小张啊，前两天那个疑难问题，还没解决吗？
——领导，这个太底层太高深，我们实在搞不定。
——那这样，你写个高级工程师招聘 JD 发出去。你去面试。
——哇！您终于肯帮我们团队招募一个高级工程师 /架构师了吗？可是，我水平有限实在不敢面大牛啊。
——招个屁，面试的时候你就拿这个问题问问他。

4kw 个 int，160M，可以直接放内存。
设计一个分布尽可能均匀的散列函数（这一步不太确定我不是搞数学的。瞎拍一个 md5(obj)//4kw 的算法不知道效果怎么样？）
遍历每个 obj 求 hash，把 obj 的 index 放在对应的桶里。
如果桶里已有元素（ hash 冲突），单独放在另一个冲突列表里。
对于冲突列表里的每个冲突 hash，遍历并精确对比每个 obj，从源数据集删除完全相同的 obj。

稍微注意一下 getObj(index)的 O(1)复杂度，理论上可以应对任意量的数据了。

强蹭热点有意思吗？还有没有更具攻击性更具侮辱性的比喻？照照镜子先自我分类一下？

程序员简直是最科学最真理最硬核的职业了。我觉得比数学比物理还硬核。

撒一把枯草树枝把深不见底的真相盖住并树一个玄学的小牌牌是不对的。

技术方案凭什么要对前端透明？是因为前端不归后端管而且老大又惹不起吗？
而且有个疑问：有 2 个请求势必有 2 个响应回来，搞不好后发先至都是有可能的。如果真的前端透明，如何区分、处理这两个响应？

要拦截，也应该是请求方做拦截比较合适啊。比如说封装到前端底层库里面。业务层只管 util.post()，由底层去做判断去重和状态管理，哪怕直接黑吃了第二个请求也行。

而且原则上来说，一件错误应当尽可能的消灭在更早的阶段，而不是往后延伸到系统深处统一处理。比如简单却有效的 doubleclick.js ，直接在事件层就把双击误操作消灭掉了。带来的好处是可以尽量避免制造不必要的约束和暗逻辑并且带到系统的各个角落。

@jmc891205 那么一定会催生题库解题法。
select input {
case 123:
return 1;
case 456:
return 2;
}

不管什么类问题，时间复杂度全是 O(1)。

没有绝对的万无一失的安全。所有的安全都是 概率 vs 成本。
但就跟多因子校验一样，多一项异质、异构的因子，安全性能将大大提升。
假如数据库被脱裤的风险是万分之一，代码泄露的风险是万分之一，那两项同时失密的风险是多少？