关于下一代算法和架构改进的猜想[并不简单]，文字版本在这里：“最好的结合是，把混合注意力里面的全局注意力换成Sparse Attention。我觉得理论上只要Sparse Attention能选得准的话，它是完全可以取代Full Attention这个层的。但它现在问题可能是选不准。”
http://t.cn/AX2qSTqT
发布于 新加坡
张小珺Benita
关于下一代算法和架构改进的猜想[并不简单]，文字版本在这里：“最好的结合是，把混合注意力里面的全局注意力换成Sparse Attention。我觉得理论上只要Sparse Attention能选得准的话，它是完全可以取代Full Attention这个层的。但它现在问题可能是选不准。”
http://t.cn/AX2qSTqT