http://t.cn/AXozUJnK
GitHub 正式发布 GitHub Multilingual Repositories Dataset(GitHub 多语言仓库数据集)。这是一个仓库级元数据数据集,旨在帮助研究人员和开发者发现那些包含非英语自然语言内容的公开 GitHub 仓库。在构建该数据集的过程中,我们发现,不同类型开发者内容中的语言分布存在明显差异:在 Issue 文本中,韩语是最常见的非英语语言;而在 README 中,韩语仅排名第五。相比之下,葡萄牙语则位居非英语 README 榜首,覆盖超过 300 万个仓库。
该数据集现已在 GitHub 上以 CC0-1.0 协议开放发布。这也是 GitHub 对 2025 年所作承诺的进一步落实——作为微软欧洲数字承诺(European Digital Commitments)的一部分,GitHub 致力于让多语言数据更加开放、更加易于获取,包括为开源 AI 开发者提供支持。
发布于 山东
