模型训练-卓世科技-中国行业大模型先锋

微信扫码了解我们

服务热线

预约演示

模型训练

高质量的模型训练

技术架构

技术架构

璇玑玉衡MoE架构大模型体系，融合多模型推理，实现知识增强、检索增强、决策增强和跨模态增强。璇玑玉衡大模型还在模型安全、模型压缩、边缘计算，以及RAG和Prompt压缩能力方面都具有绝对领先的技术优势。璇玑玉衡大模型在同等成本和效率的情况下，大幅提升了模型性能和输出准确性，在行业知识和综合任务能力方面处于行业领先地位。

大模型备案

备案说明

在国家网信办2024年4月2日最新权威发布的《关于发布生成式人工智能服务已备案信息的公告》中，卓世科技自主研发的“璇玑玉衡大模型”凭借其卓越的技术实力和合规表现，荣登国家备案清单。

模型预训练

预训练

采用领域自适应预训练 DAP/T任务自适应预训练 TAPT；针对行业模型/场景模型（L1/L2）算法调优。实现了同等算力条件下，训练效率比传统方式提供30%～50%。

模型微调

模型微调

利用指令监督微调、奖励模型训练、PPO 训练、DPO 训练等多种微调训练及 QLoRA、GaLore、DoRA、LoRA+等高效微调算法，实现更精准的模型微调

模型压缩

模型压缩

模型训练充分结合用户的应用场景，通过量化（Quantization）和低秩分解（Low-Rank Factorization）两种模型压缩技术对大模型进行压缩。在几乎不影响大模型性能的情况下，使得模型的参数规模减少72%，模型推理成本减少68%，并可以采用低成本的显卡（如3080/3090显卡）进行模型推理，大大降低大模型使用成本，实现AI大模型的“普惠化”应用。

超长中文Prompt压缩

超长中文Prompt压缩

卓世科技创新性的Prompt压缩技术，利用对齐训练的小的语言模型剔除prompt中的不重要token，将其转化为一种人类很难理解但是LLMs能很好理解的形式。这种被压缩的prompt可以直接用在LLMs中，实现最高20倍的压缩，且几乎不影响下游任务性能。

多模态技术

多模态技术

卓世科技基于LLaVa-1.5，CogVLM-17B，Qwen-VL 7B，Emu2-37B等多模态开源大模型进行微调和应用开发，支持自然语言理解和图像理解。在某政府项目中，基于大模型多模态图像识别能力，完成对智能水务场景下的图像识别与语义理解。

模型评估