“璇玑玉衡”大模型家族
MoE技术架构,融合多模型推理
核心能力及应用场景
大模型全栈技术
数据工程:
PT数据:数据清洗、低质过滤、安全审查、去重等技术
SFT数据,self-instruct 、self-qa、self-kg等核心技术
模型评估:
标准化的行业模型评估流程
通用榜单评测、垂直榜单评测、超级模型评测、人工抽检
模型预训练:
领域自适应预训练 DAPT
任务自适应预训练 TAPT
训练效率比传统的高30%~50%
模型应用:
领先的RAG技术,和Agent智能体技术
prompt压缩技术,实现了长文本的10-20倍压缩率
模型微调:
指令微调(instruction tuning)
对齐微调(alignment tuning)
指令监督微调、奖励模型训练、PPO 训练、DPO 训练等
高效微调算法QLoRA、GaLore、DoRA、LoRA+
模型压缩:
量化压缩和低秩分解,PTQ(训练后量化)和QAF(量化感知微调)
模型参数减少72%,推理成本减少68%。消费级显卡(如3080/3090显卡)推理应用
安全策略
多重数据保护
采用开源密钥管理系统Vault方案,可以动态生成密钥;用户上传数据后,使用用户登录Valut后创建和存储的对称加密密钥和卓世系统管理员公钥进行双重加密;训练完毕后,对用户数据进行删除
价值观对齐
通过专门的数据处理工具,对数据中的不合规或者与社会主流价值观的数据进行处理;模型生成数据中,对输出结果进行检查,保证与价值观进行对齐;在模型评估中,通过测试用例对模型的价值观进行测试
训练框架
训练框架支持使用联邦学习、差分隐私和加密计算(如多方计算(MPC)和同态加密(HE))将私有数据从模型训练中解耦。
多种独立部署方式
模型可本地部署;可基于企业提供的私有云进行部署;可基于大模型一体机独立部署;MaaS平台和Agent平台可单独部署;训练数据不离开企业内部IT环境
大模型应用落地行业