“我不玩游戏,也不刷短视频,省下来的时间都用来思考和做项目。”前不久,杭州电子科技大学卓越学院计算机科学英才班2022级学生陈龙昊拿下了第十九届“挑战杯”揭榜挂帅国赛“特等奖”,他说,“大模型推理优化与算法加速是我的兴趣所在,与其有关的学习、研究、竞赛,奇妙无比。” 翻开陈同学的履历,含金量不低:挑战杯全国特等奖,IEEE国际赛事大奖,国家机器人竞赛一等奖,搭建叙事表达系统大模型算法,还发表了一系列大模型训练推理主题硬核学术期刊论文…… 他的学业指导老师、计算机学院教授秦飞巍说:“陈龙昊用一次次‘破壁’式突破,诠释了当代青年科技人才的成长路径:不是被动接受知识,而是主动在项目中学习,在竞赛中锤炼,在研究中升华。” 从数据源头破局 成专项赛最年轻特等奖得主之一 今年“挑战杯”揭榜挂帅专项赛题目是《大模型训练调优与性能加速》,发榜单位是华为技术有限公司,其挑战是,如何在有限资源下,训练出一个参数量小但精度高的模型。 简单来说,参赛者要让大模型的算力变得更快,更优。性能排名靠前的队伍往往依赖庞大算力堆叠,而陈龙昊选择走一条更具创新性的路——从数据源头入手。 他设计了一套基于AI Agent(AI智能体)的数据集生成与筛选系统,历时近一个月,构建出高质量、高覆盖率的训练数据集。这套系统不仅能自动评估样本有效性,还能根据反馈动态调整生成策略,极大提升了模型泛化能力。 不仅如此,他还针对性改进训练算法,在复赛阶段虽性能略逊于部分对手,但其模型精度显著领先,最终凭借综合优势斩获特等奖,成为这个赛道,最年轻的特等奖得主之一。 其实比赛前,陈龙昊从未接触过华为的NPU平台、其相关软件栈及相关硬件,“我在此之前,对英伟达的GPU平台及其软件栈已经有深入的了解,所以我能很快地发现他们之间的共同点,因此,我也能在几个小时的时间内入门和使用华为的NPU平台。” “他利用对英伟达GPU的熟悉,基于对底层逻辑的深刻理解,顺势驾驭华为NPU。更绝的是,他用AI Agent自动生成高质量训练数据,让小模型跑出高精度,硬是在资源劣势下逆袭拿下奖项。”杭电指导老师盛庆华说。 打通技术底层逻辑 积累跨界创新经验 2024年寒假,陈龙昊在阿里天池平台偶然看到“AICAS2024IEEE人工智能电路与系统国际会议大挑战”比赛信息。主题是“通用算力大模型推理性能软硬协同优化”。 此时大模型热度正盛,陈龙昊的参赛原因也很朴实:入围团队可受邀参加国际会议并报销差旅。 “既是学习机会,又能开阔眼界”,抱着这样的初衷,他决定试一试。在比赛过程中,他系统自学了大语言模型结构、推理加速原理、量化方法以及主流推理引擎架构,建立起完整的知识框架,并且结合硬件特性,创新性地提出了一种减少计算过程中指令的方法,加快了计算速度。最终,他所在团队在全球众多高校和企业队伍中脱颖而出,成功入围,并由此开启了他在大模型算力优化方向的深入探索。 此后,他将大模型与智能鱼缸融合,实现使用者通过自然语言交互,该项目获第七届中国高校机器人创意大赛全国一等奖;还连续两年以视觉识别队员和顾问身份,在全国大学生机器人大赛RoboMaster赛事中获奖。此外,他作为视觉识别队员和顾问,连续两年在全国大学生机器人大赛RoboMaster赛事中获奖。 “很多技术本质相通,关键是能不能打通底层思维。”陈龙昊表示,众多比赛经验为他打下了这次“挑战杯”获奖基础,“在打挑战杯时,很多东西都能与我之前打的比赛中非常相像,很多思路可以迁移使用。” 专注竞赛亦懂留白 为国产AI积蓄力量 陈龙昊的“赛道”,不仅是竞赛场。截至目前,他已以一作身份或参与发表多篇高水平论文,包括SCI期刊论文1篇、EI检索会议和期刊论文3篇,内容涵盖大模型压缩、推理加速架构设计及低资源微调技术、数值模拟等前沿方向。 在为一套目前已经在用的大模型做总体算法架构时,他提出了一整套从数据生成、监督微调到强化学习的完整训练流程。 虽然听起来是个“六边形战士”,但陈龙昊说,自己也有短板。比如他依然很努力地在考英语四级,为此错过了保研和直博的机会。但他并没有为此感觉沮丧,“如果想要每门课程都几乎满绩然后又拿下许多竞赛奖,这对大多数人来说都很难达到,懂得取舍很重要。” 面对失败,他早已习以为常:“十个方案九个不行,很正常,关键是不停尝试。”在他看来,竞赛的意义远不只获奖,而是一个不断试错、迭代认知的过程。每一次挫折都在加固他的技术底盘,也为未来攻克“卡脖子”难题积蓄力量。 “我不玩游戏,也不刷短视频,省下来的时间都用来思考和做项目。”陈龙昊说,自己也并非不近人情的“拼命三郎”,他曾因连续熬夜调试模型导致判断失误,后来学会在露营、旅行等放松状态下留白思考。一次野外露营中,他突然想到解决模型精度下降的新方案,当即打开笔记本远程调试,次日结果验证成功。“最好的灵感,往往出现在放下压力的那一刻。” 如今,陈龙昊的名字已频频出现在国内人工智能竞赛榜单上。他是少数能在本科阶段就深入参与国产AI芯片生态优化的学生之一,其在华为昇腾NPU平台上的实践经验,具有重要的国产替代意义。 |