由于机器只到了5台,线更是只有一条。 那就先把skill制作一下,等到6台齐了直接让ai重复就行了。 skill的制作使用双机最适合的deepseek-v4f模型,在1m上下文,dspark加速下,能跑到30-40的decode,将近2000的prefill。 如果设置为256k上下文,可以跑到70的decode,3000-5000的上下文。 还不错。 接下来等待后续机器的到来,测试glm-5.2-nvfp4的英伟达官方模型。 #ai本地部署 #deepseek #dgxspark #DGXSpark实测
双机GX10部署deepseek-v4f-dspark测试成功
作者:双机GX10部署deepseek-v4f-dspark测试成功