英伟达宣布推出名为 Nemotron-CC 的大型英文 AI 训练数据库，总计包含 6.3 万亿个 Token，其中 1.9 万亿为合成数据。该数据库旨在为学术界和企业界进一步推动大语言模型的训练过程。现有公开数据库在规模和质量上存在局限性，而 Nemotron-CC 通过提供大量经过验证的高质量数据，解决了这一瓶颈。
Nemotron-CC 基于 Common Crawl 网站数据构建，并经过严格的数据处理流程，提取而成高质量子集 Nemotron-CC-HQ。与目前业界领先的公开英文训练数据库 DCLM 相比，使用 Nemotron-CC-HQ 训练的模型在 MMLU 基准测试中的分数提高了 5.6 分。
进一步测试显示，使用 Nemotron-CC 训练的 80 亿参数模型在 MMLU 基准测试中分数提升了 5 分，在 ARC-Challenge 基准测试中提升了 3.1 分，并在 10 项不同任务的平均表现中提高了 0.5 分，超越了基于 Llama 3 训练数据集开发的 Llama 3.1 8B 模型。
Nemotron-CC 的开发过程中使用了模型分类器、合成数据重述等技术，最大限度地保证了数据的高质量和多样性。同时，针对特定高质量数据降低了传统的启发式过滤器处理权重，从而进一步提高了数据库高质量 Token 的数量，并避免对模型精确度造成损害。
英伟达已将 Nemotron-CC 训练数据库在 Common Crawl 网站上公开，相关文档文件将在稍晚时候在英伟达的 GitHub 页中公布。
关注我们
