“璇玑玉衡”大模型家族
MoE技术架构，融合多模型推理
核心能力及应用场景
大模型全栈技术
数据工程：
PT数据：数据清洗、低质过滤、安全审查、去重等技术
SFT数据，self-instruct 、self-qa、self-kg等核心技术
模型评估：
标准化的行业模型评估流程
通用榜单评测、垂直榜单评测、超级模型评测、人工抽检
模型预训练：
领域自适应预训练 DAPT
任务自适应预训练 TAPT
训练效率比传统的高30%～50%
模型应用：
领先的RAG技术，和Agent智能体技术
prompt压缩技术，实现了长文本的10-20倍压缩率
模型微调：
指令微调（instruction tuning）
对齐微调（alignment tuning）
指令监督微调、奖励模型训练、PPO 训练、DPO 训练等
高效微调算法QLoRA、GaLore、DoRA、LoRA+
模型压缩：
量化压缩和低秩分解，PTQ（训练后量化）和QAF（量化感知微调）
模型参数减少72%，推理成本减少68%。消费级显卡（如3080/3090显卡）推理应用
安全策略
多重数据保护
采用开源密钥管理系统Vault方案，可以动态生成密钥;用户上传数据后，使用用户登录Valut后创建和存储的对称加密密钥和卓世系统管理员公钥进行双重加密;训练完毕后，对用户数据进行删除
价值观对齐
通过专门的数据处理工具，对数据中的不合规或者与社会主流价值观的数据进行处理;模型生成数据中，对输出结果进行检查，保证与价值观进行对齐;在模型评估中，通过测试用例对模型的价值观进行测试
训练框架
训练框架支持使用联邦学习、差分隐私和加密计算(如多方计算(MPC)和同态加密(HE))将私有数据从模型训练中解耦。
多种独立部署方式
模型可本地部署;可基于企业提供的私有云进行部署;可基于大模型一体机独立部署;MaaS平台和Agent平台可单独部署;训练数据不离开企业内部IT环境
大模型应用落地行业
关注我们
