【号称1200万token上下文的模型来了，数据亮眼但疑点重重】

当地时间 5 月 5 日，迈阿密一家名为 Subquadratic 的公司走出隐身模式。CTO Alexander Whedon 在 X 上把首款模型 SubQ 称作“a major breakthrough in LLM intelligence”（LLM 智能领域的重大突破），声称这是首个完全基于次平方稀疏注意力（Subquadratic Sparse Attention，SSA）架构的前沿模型，1,200 万 token 上下文，1M token 场景下比 FlashAttention 快 52 倍，成本不到 Claude Opus 的 5％。同日宣布完成 2,900 万美元种子轮，估值 5 亿美元。

融资由 Tinder 联合创始人 Justin Mateen 旗下 JAM Fund 与前软银愿景基金合伙人 Javier Villamizar 领投，参投方包括 Anthropic、OpenAI、Stripe、Brex 的早期投资人。CEO Justin Dangel 是连续创业者，履历集中在健康科技、保险科技和消费品。

CTO Alex Whedon 此前在 Meta 担任软件工程师，之后在咨询公司 TribeAI 出任 Head of Generative AI。官网称团队还有 11 名来自 Meta、Google、牛津、剑桥、字节跳动、Adobe的 PhD，姓名未公开。

按官方文档，SubQ 要解决的是 Transformer 最根深蒂固的那道天花板：注意力机制的算力消耗随上下文长度呈平方级增长，序列翻一倍，算力翻四倍。

戳链接查看详情：http://t.cn/AXJ8SRbf