原文: 谣言传播出来的第一视角,PDF内容是完全假的。 事情应该分成三个阶段。 首先,有人用非常简单的方法破解出了Anthropic的CoT,让Claude复读一遍传进去的加密CoT的内容就可以直接复述出来。 事件主人公等人就也开始如法炮制对GPT的CoT提取。由于GPT服务端不检测它使用Fernet加密后的CoT的内容,也就是根本就没有抗重放攻击的能力,我们可以通过重放一个拒绝或者正常的CoT使得模型输出对应内容。但这个阶段根本就没有解密出GPT的原始CoT,甚至连GPT的CoT是怎么运作的都不清楚。 尝试过后,发现GPT对自己的CoT守口如瓶,直到现在也没有破解成功,就直接告一段落了。 谣言开始传播。 另一个群中的一个传播者告诉我们关于国模的一些消息,包括但不限于这些内容: - K3的所有能力都是通过解密Anthropic和GPT的CoT并进行硬标签的蒸馏来获得的。 - Kimi获取了各大公开或闭源的榜单的测试集进行针对性过拟合来刷榜。 - Kimi裁员了所有RL组和后训练组的人,只通过上面的到的这些数据进行SFT。 而且这些信息还带有所谓的内部人员的证据,但实际上完全就是对原话的断章取义和故意曲解。 虽然我强调只有硬标签根本就不可能蒸馏出那么强的能力,就算尝试使用极大大量样本暴力拟合出这个分布也肯定会被Anthropic给发现然后批量IP封禁。但是传谣的那个人和主人公都不信我的说法。 但主人公由于此前也看过相似的论调,就从半信状态转移到深信不疑了。然后他就使用一些自动化工具把前面提到的CoT解密技术和这些关于Kimi的谣言传闻给糅合起来汇总成了一份Markdown文档,转发到了别的群里。 扩散阶段 在这个Markdown文本发出过后,由于主人公本身转发的群就很多,而且信息足够有爆发力,很快就在各大技术群里开始传播。有人把Markdown内容整理为PDF格式文档继续传播 信息爆发,而我们的主人公直到现在才意识到事态严重性,开始紧急联系各个群的管理和群主要求撤回信息,但没能阻止进一步扩散。 而一开始向他传谣的人将自己的谣言内容全部撤回了,没有撤回我们主人公所发表的言论。使得整个舆论火力全部砸到了主人公一人身上。 所以,所谓的蒸馏风波肯定是假 首先,只通过SFT不可能蒸馏出有非常强推理能力的模型,不然ChatGPT o1时代也不至于CoT技术被他们垄断了那么久之后才有DeepSeek出来把技术普惠大家。 而撤掉全部RL和后训练团队的指控也几乎一定是假的,根据群友和一些人查资料的结论已经告诉我们了Kimi团队仍然好好的。
初中生的极限操作
作者:初中生的极限操作