今日凌晨,xAI预训练负责人庄钧堂发推宣布,自己已在今年早些时候从xAI离职,他曾负责Grok大规模训练基础设施及核心训练方案,主导了Grok 2/3/4/4-fast/4.1/4.2/4.3的训练。
在他的推文下方,有不少曾与庄钧堂共事的同事在评论区道别,用代表“GOAT”,意为“Greatest of all time(史上最佳)”。
5月7日,马斯克在X上官宣“xAI将不再作为独立公司存在,它将只是SpaceXAI,即SpaceX的AI产品。”同日,SpaceX宣布与Anthropic合作,将拥有超过22万张英伟达GPU的AI超算Colossus 1的所有算力供给Anthropic。
此后,xAI成员离职的消息就开始逐步放出。除庄钧堂外,xAI技术团队成员Xiuyu Li以及前端工程师、设计师Fraster Cook均发文称自己已从xAI离职。据庄钧堂Github主页介绍,他同时是X平台和特斯拉上Grok语音模型的预训练负责人。此外,其还担任Grok编程模型的强化学习负责人。
在加入xAI之前,他曾是OpenAI的研究科学家,是GPT-4o的核心贡献者,研发了GPT-4-Turbo 128k长上下文算法,还是DALL-E 3的主要贡献者,以及OpenAI Embedding模型的第一位贡献者。同时他也是AdaBelief优化器与TorchDiffEqPack等开源项目的创作者,其中AdaBelief优化器已被集成至PyTorch、Tensorflow-Addons、Google Flax、Deepmind Optax等主流框架。
根据其领英主页,庄钧堂本科毕业于清华大学工程物理专业,辅修法律。本科毕业后,庄钧堂前往耶鲁大学攻读统计学硕士,以满绩毕业后留校读博,博士专业为生物医学工程。
