太伟大了QwQ[泪]
Q4km版本在 AGX Orin 64GB 上可以达到11tk/s。正在下载Q80。
根据我自己在电子鹦鹉上的量化实验，量化实际上是很危险的操作。
所以能不量化就不量化。若条件有限，尽量用Q4/5km这个甜点设置。
发布于 中国香港
归零归零归ww
太伟大了QwQ[泪]
Q4km版本在 AGX Orin 64GB 上可以达到11tk/s。正在下载Q80。
根据我自己在电子鹦鹉上的量化实验，量化实际上是很危险的操作。
所以能不量化就不量化。若条件有限，尽量用Q4/5km这个甜点设置。