Brett Winton: 喜欢每年 2.5 倍的成本下降预期是如何在新年的前 3 天内交付的 （无论如何推理）https://t.co/clYHpDEti1 引用来自@AlphaSignalAI 的推文： 非常需要的论文。 GPT 系列模型可以一次性修剪 50% 以上的稀疏度，无需任何重新训练，精度损失最小： – 在 OPT-175B 和 BLOOM-176B 上实现 60% 的稀疏度 – 在推理时可以忽略 1000 亿个权重 ? 论文：arxiv.org/abs/2301.00774 https://t.co/z0fk39oRwO

Quoted tweet from @AlphaSignalAI:

A much needed paper. GPT-family models can be pruned 50%+ sparsity in one-shot, without any retraining and minimal loss of accuracy:

– Achieves 60% sparsity on OPT-175B and BLOOM-176B

– 100 billion weights can be ignored at inference time

? Paper: arxiv.org/abs/2301.00774 https://t.co/z0fk39oRwO