AAMAS 2024 CE Competition
本次比赛由中国科学院自动化研究所主办,吸引了来自中科大、南大、人大、爱丁堡、布里斯托、俄勒冈等海内外众多学术和科研机构的队伍。
本次竞赛的赛题为智能税收 (Optimal Tax) 问题,比赛设置两个赛道:
赛道一:智能税收-政府 挑战赛—— 模拟政府角色,调控税率和政府支出,最大化GDP和平衡财富分配。
赛道二:智能税收-个人挑战赛—— 模拟个人角色,调整工作时间和投资比例,最大化个人利益。
来自卓世科技的队伍“Zhuoshi Technology AI Cutting-edge Laboratory”首次参赛,分别拿下两赛道冠亚军。卓世科技人工智能前沿实验室团队致力于AI大模型前沿技术的研究,目前已经在Multi-Agent、模型量化压缩、MoE方向取得了重要突破。
难点和挑战:
此次竞赛的难点和挑战在于,所面临的对手策略未知,需要训练智能体,能应对不同的对手策略,因此卓世科技设计了一种MARL+进化的训练框架。在该框架中,每类智能体(政府或家庭)维持一个长期策略池和短期策略池,长期策略池中保存历史策略参数(每隔50轮训练保存一次模型),短期策略池中维持最好的20个策略,具体而言,我们通过随机匹配对手,进行大量测试,挑选出top20的策略参数。长期策略池中维持了多种多样的策略,用于训练top20策略,使其具有鲁棒性。
在正赛1中,我们训练完成后,我们从top20的短期策略池中选取平均得分最高的策略作为提交比赛的智能体。在正赛2中,短期策略池中仍然维持top20的策略参数,与阶段1不同,我们从top20中再次进行对抗测试,从中选出top12的策略参数,与阶段1中的策略参数进行集成。我们尝试从这十几个策略中选择一部分进行集成。对于政府,我们选择10个策略,而对于家庭,我们选择12个策略。每个策略输出自己的动作,然后去掉一个最大值,去掉一个最小值,然后对剩下的动作取平均,以此作为最终的策略。主要是为了提高策略的鲁棒性。
领先35%强势夺冠:
卓世团队迎难而上,凭借以下技术方案亮点,在竞赛中脱颖而出,以领先第二名35个百分点的成绩强势夺冠!
策略网络架构:采用Actor-Critic框架,Actor使用部分可观测状态,Critic包括全局状态。
训练算法:采用MATD3算法,集中式训练和分布式执行。
策略集成:挑选top K策略进行集成,提高模型鲁棒性。策略网络架构上,卓世科技采用经典的Actor-Critic框架,其中Actor仅使用部分可观测的状态,Critic包括所有智能体部分观察和全局状态。为了缓解部分可观测问题,我们将历史4步的状态进行合并,具体而言,我们将每步的特征向量进行非线性变换,之后进行拼接,这类似于时空卷积结构,如图1所示。在训练算法上,我们采用了MATD3,这是一种改进MADDPG的算法,每次状态Q值估计都会输出两个值,并使用最小值作为目标Q值,这有利于缓解状态价值得过估计问题。训练上采用集中式训练和分布式执行,训练完成的Critic网络不再使用,Actor网络根据局部观察进行动作输出。
图 1 Actor和Critic网络结构
在训练完成的top K策略池中,我们挑选出最好的N个模型进行策略集成,以提高模型对位置策略的鲁棒性,如图2所示。
图 2 策略集成
综合以上策略,在赛道二,卓世团队以2845.58分、领先第二名35个百分点的成绩强势问鼎冠军!该得分是综合考虑家庭端工作时长和消费的表现,并与多只参赛队伍PK的最终得出。在赛道一,团队以1个百分点微弱之差夺得亚军!该得分是综合考虑政府端gdp增长率和贫富差距的基尼指数表现。团队在赛道一和赛道二取的成绩,得益于自主研发的分布式训练框架,在短时间内可与多样性的智能体进行对抗,学习足够鲁棒的策略模型, 体现团队在Multi-Agent方向拥有较强的技术储备和实战能力。
卓世科技CEO屠静赛后表示:“我们以卓越的AI技术实力和创新精神,在全球计算经济学领域舞台上赢得了荣誉,向全世界展现了中国AI力量的崛起。卓世科技将持续引领AI产业化落地,不断创新变革,助力各行各业找到真正的商业应用场景。我们致力于成为行业模型服务的领导者,与合作伙伴共同推进中国产业AI的落地化进程。”
关于卓世科技:
卓世科技致力于推动产业智能化和科技普惠,以" AI 让产业更智能,科技让未来更美好"为使命,"智能普惠、开源共享、科技平权"为愿景。公司专注于AI前沿技术研究,在大模型预训练、微调、量化压缩、评估、推理、知识增强、MoE/MoD等方面取得显著成果。在技术成果方面,卓世科技已获得24项软件著作权,7项正在申请中,37项作品著作权。预计到2024年底,公司将拥有100项专利,包括50多项发明专利。这些核心技术为公司的模型家族和产品矩阵提供了强大支撑。
在模型家族方面,公司自主研发的璇玑玉衡模型已于2024年获得中央网信办颁发的大模型牌照,彰显了公司在大模型领域的领先地位。在产品矩阵方面,公司的MaaS平台、Agent平台、GCA平台、GDA平台已在中医康养、文化旅游、教育、智能制造等多个领域成功落地,为合作伙伴创造了显著的经济效益。卓世科技将继续深耕AI技术,以创新驱动发展,用技术赋能产业,为建设更加美好的智能世界贡献力量。