更多还是架构问题,冯诺依曼架构相比仿生模式,无论是核酸存储,还是类脑计算,连接密度和计算单元复用程度都差距太大,能耗也就高。transformer模式也类似,靠调节注意力密度和联用能够做到能用好用,但突破不了qkv为核心的底层架构带来的高功耗,摩尔极限和注意力稀疏度极限规定了功耗成本优化极限。
发布于 陕西
更多还是架构问题,冯诺依曼架构相比仿生模式,无论是核酸存储,还是类脑计算,连接密度和计算单元复用程度都差距太大,能耗也就高。transformer模式也类似,靠调节注意力密度和联用能够做到能用好用,但突破不了qkv为核心的底层架构带来的高功耗,摩尔极限和注意力稀疏度极限规定了功耗成本优化极限。