微信扫码了解我们
服务热线
13321112233

预约演示

姓名
* 电话
邮箱
地址
内容

璇玑玉衡大模型

卓世科技秉持AI·普惠的理念,以“大模型中间层能力”为核心,构建从基础设施到模型应用的一体化服务能力
及全栈技术产品能力,帮助企业标准化一站式完成专属行业模型及场景应用的建设。

“璇玑玉衡”大模型家族

MoE技术架构,融合多模型推理

核心能力及应用场景

大模型全栈技术

数据工程:

PT数据:数据清洗、低质过滤、安全审查、去重等技术

SFT数据,self-instruct 、self-qa、self-kg等核心技术

模型评估:

标准化的行业模型评估流程

通用榜单评测、垂直榜单评测、超级模型评测、人工抽检

模型预训练:

领域自适应预训练 DAPT

任务自适应预训练 TAPT

训练效率比传统的高30%~50%

模型应用:

领先的RAG技术,和Agent智能体技术

prompt压缩技术,实现了长文本的10-20倍压缩率

模型微调:

指令微调(instruction tuning)

对齐微调(alignment tuning)

指令监督微调、奖励模型训练、PPO 训练、DPO 训练等

高效微调算法QLoRA、GaLore、DoRA、LoRA+

模型压缩:

量化压缩和低秩分解,PTQ(训练后量化)和QAF(量化感知微调)

模型参数减少72%,推理成本减少68%。消费级显卡(如3080/3090显卡)推理应用

安全策略

多重数据保护

采用开源密钥管理系统Vault方案,可以动态生成密钥;用户上传数据后,使用用户登录Valut后创建和存储的对称加密密钥和卓世系统管理员公钥进行双重加密;训练完毕后,对用户数据进行删除

价值观对齐

通过专门的数据处理工具,对数据中的不合规或者与社会主流价值观的数据进行处理;模型生成数据中,对输出结果进行检查,保证与价值观进行对齐;在模型评估中,通过测试用例对模型的价值观进行测试

训练框架

训练框架支持使用联邦学习、差分隐私和加密计算(如多方计算(MPC)和同态加密(HE))将私有数据从模型训练中解耦。

多种独立部署方式

模型可本地部署;可基于企业提供的私有云进行部署;可基于大模型一体机独立部署;MaaS平台和Agent平台可单独部署;训练数据不离开企业内部IT环境

大模型应用落地行业