庆功宴定在一家烤鸭店，是苏念念订的。正是顾司玥过生日时，韩路一和她一起去过的那家。
赵文渊听说后还抱怨了一句：“怎么回了海城还吃烤鸭啊？”结果直接被苏念念怼回去：“在京城的时候吃了几次烤鸭？”赵文渊想了想，还真是一次都没吃过。
下班后，江松然、薛兆恒、宋嘉宁和苏念念各有司机送过去——毕竟是庆功宴，晚上大概率要喝酒；只有赵文渊蹭了韩路一的车。
几人进了包厢才发现，顾司玥到得最早，却还没入座，正在一旁的沙发上等着。
韩路一自然坐主位。他眼神一示意，赵文渊便抢先坐了左手边；余下几位男士依次落座，再过去是宋嘉宁，最后只剩韩路一右手边两个空座。
苏念念看了看剩下的两个位置，拉开外侧椅子，坐到宋嘉宁旁边。
顾司玥也没说什么，走到韩路一旁边坐了下来。
韩路一轻咳一声，说道：“今天有了一个阶段性进展，对我们接下来的发展很重要；把大家叫来，就是简单庆祝一下。”
薛兆恒感慨道：“韩总，我跟您说，我当时真开始琢磨怎么把HBM去掉了。”
江松然饶有兴趣地问：“还真能去掉？你想到了什么好办法？”
“哪有什么办法啊，愁得我都睡不着觉。要是没有HBM，这片上的传输速度怕是连片间速度都赶不上。”
江松然拍拍他的肩膀，说：“还好韩总给你救回来了。”随即转向赵文渊，问：“文渊，刚才老薛的话倒提醒我了：我们的训练体系有没有机会再改进一下？尽量在内存里多算一点儿，把传输上的浪费避掉。”
“江总啊江总，升职之后就脱离一线了吧？你这话说晚了，我们团队早就和老薛一起研究过了。”赵文渊接过话头，说道，“这次我们算是从头做软硬件协同，吸收了不少这些年业内的先进经验，不比当初在谷歌时差。”
苏念念出声打断他们：“几位技术专家，咱们今天是庆功宴，技术讨论还是留到办公室里吧，先把菜点了。”
在烤鸭店，烤鸭自然必点；另点了几个冷热菜和饮料酒水。苏念念点完，韩路一看了一眼，又添了两个辣菜。
既是庆功宴，共同举杯的环节自然少不了。顾司玥自己开车，喝矿泉水；其余几人则喝红酒和白酒。
司机和秘书们在隔壁还有一桌，负责送他们回家。
菜上来后，韩路一举杯算作开场，大家便各自闲聊起来。
江松然和赵文渊这两位从美国回来的高级人才且不论，薛兆恒倒是比较守老派饭局的规矩——只是来到起源后，他专注研发岗位，参加这种饭局的机会也少了。
这位芯片部门副总裁起身对韩路一说：“韩总，我敬您一个，感谢您把我们部门这么大的危机给扛了。”说完，一口干了杯中的茅台。
江松然和赵文渊这才后知后觉，觉得自己是不是也该表示表示。
韩路一看了看几人的反应，有点儿哭笑不得，和老薛把杯中酒喝了，赶紧嘱咐道：“老江、文渊，咱们今天都是自己人，内部庆功，就别搞这些形式主义了；大家想喝就喝，喝不了也不用强求。”
真论酒局经验，做过多年合伙人的宋嘉宁或许比薛兆恒还丰富些，只是她仍在观察大老板的风格。如今韩路一发话，她便低头安心吃菜，偶尔和身边的苏念念，以及再旁边的顾司玥说两句话。
没了白酒热场，大家到底都是朝夕相处的同事，很快便聊开了。一群人坐在一起，话题又很快转到技术上；尤其L200的研发进度，是江松然和赵文渊共同关心的。
江松然半开玩笑地开口：“从现在的进度看，月底把设计敲定，流片应该不会耽误，老赵你那边的算力很快就能富裕起来啦。”
赵文渊叹了口气，说：“老江，江总，我知道你筹措算力不容易，可你这饼我吃不下了。别的不说，你现在再多匀我五千张L100，汤圆2.0的训练进度都能快不少。”
江松然脸色一变，不吭声了。
给你一万张L100已经是榨干了，还要五千张，你可真敢要。
韩路一打断两人的互动，问：“文渊，2.0的进度怎么样了？”赵文渊是突然被他从京城叫来的，到现在还没正经汇报过。
赵文渊此时已喝了几杯白酒，脸色酡红；说起研究进度，脸上露出些激动神色。
“研究团队有些特别的想法，我觉得很有趣，趁这次机会都加进了预训练。最主要的调整在模型架构上——”
赵文渊放下筷子，举起双手比划了一个圆，接着说道：“业内不是一直说，模型参数越大，模型能力越强，可需要的算力也越多吗？我们的算力一直不够用，就探索了一个新方向：让参数量继续增长，但每次实际参与计算的参数量不必跟着增长。”
“MoE架构？这个你之前不是说过吗？”韩路一问，“汤圆1.0现在已经是MoE架构了吧？”
赵文渊露出些许得意，说道：“对，是MoE，但不是普通的MoE。”
“讲讲。”
赵文渊说：“之前业内通行的混合专家方案，是把前馈网络分成几个专家模型并行参与计算，这中间会造成大量重复知识。我们这次提出了一个共享专家角色：大量共通知识交给共享专家，特定类型的任务再由专门专家模型负责，尽量避免重复学习造成的浪费，专家领域分类也能变得更细。”
江松然的注意力也被吸引过来，插嘴问：“那不是还要解决不同专家之间负载均衡的问题？专家变多，这个问题也变得更难了吧？”
说到这儿，他意识到了什么；果然，旁边的赵文渊笑道：“我们最近在路由方面可是积累了不少经验啊。”
赵文渊之前走基于编码器BERT的路线，做出了豆汁儿模型：参数小、运行快，对给定小范围输出的任务表现很好。这个新模型如今在算力分配的路由任务中承担着重要作用，凭空把算力利用效率提升了一大截。
也怪不得他又把这个灵感带回了超大规模模型的训练架构中。
具体实现方式虽不同，但如何在不同节点间分配任务、避免负载集中，这些底层原理毕竟相通。
“那最终大概能有多大提升？”韩路一问。技术上的突破，最终还是要转化为性能提升才有价值。
赵文渊想了想，说：“保证同样激活参数量的情况下，模型容量至少在1.0的两倍以上。”
韩路一挑了挑眉。
汤圆1.0现在的参数是一万亿出头；两万亿的参数，各项指标又会有什么变化？
当然，不是说参数越多结果就一定越好，但这确实带来了可能性。
韩路一对汤圆2.0的预训练结果也期待起来。
韩路一最近精力都放在算力上，对赵文渊那边的进度确实关注不足，可模型研发的重要性毋庸置疑。
起源能有今天，模型能力才是根本。
三人讨论的内容，做芯片的薛兆恒已经不太跟得上；另一侧的三位女士则完全没有参与这场讨论。
作为起源总裁，苏念念还试图多了解些技术细节，最后还是放弃了。
这时，苏念念余光看见顾司玥递了什么东西过来。她低下头，才发现自己餐盘上放着一个卷得很精致的烤鸭卷饼。
是顾司玥包好放过来的。
苏念念转过头，发现刚结束谈话的韩路一正从盘子里拿起一个一模一样的卷饼往嘴边送。
愣了愣神之后，苏念念把烤鸭卷拿起来，说了一句：“谢谢。”
顾司玥冲她笑了笑。
……
饭局结束，几人与韩路一打过招呼，各自离场。
赵文渊还是蹭韩路一的车。
和赵文渊同来的京城研究院同事，今天白天都已坐飞机或高铁回去了。毕竟今天是周五，又是出差又是团建，总不能占用大家的休息时间。
赵文渊太久没回来，准备过个周末、看看父母再回京城。
车在高速上行驶，坐在后排的韩路一忽然对旁边的赵文渊开口问：“对了，文渊，你明天有什么安排吗？”
喝得醉醺醺的赵文渊努力睁开眼，问：“没事，怎么了？韩总？”
韩路一笑了笑：“我有个做自媒体的朋友，在做一个AI主题系列访谈节目，你知道吧？你明天要是有空，可以去聊聊？”
赵文渊一个激灵，酒都有点儿醒了。
他能不知道吗？他可太知道了。马小飞的《小飞聊AI》如今算是各大平台人工智能相关视频博客里的头部节目，只要对人工智能这个领域有兴趣，多多少少都听说过。
主要是马小飞请来的嘉宾都是大咖。
第一期是起源创始人韩路一，第二期是鼎盛首席科学家刘大海……赵文渊早就想上了，恨不得主动找韩路一开口问。
“有空啊，韩总，我肯定去。”赵文渊保证道，“我现在回家就睡觉，保证不耽误明天录制。”
韩路一看了看赵文渊突然爆发出的热情，说：“行，我和那边联系一下，让他们也准备准备。”
韩路一说着，已经给马小飞发去信息：“明天的嘉宾我给你约好了，我们起源研究院的院长。”
马小飞不知是不是还在工作，很快回复：“干爹就是给力！你瞧好吧，这次播放量不得干到全网上亿。”
韩路一想了想，还是嘱咐一句：“我们公司机密的事情，别问啊。”
“嗨，我都这么多年的媒体人了，这还用你说吗？什么能说什么不能说，肯定采访之前就聊明白。”
韩路一看到回复，一阵汗颜。
做自媒体的也能自称媒体人吗？那媒体人还真是不太有门槛呢。
过了一会儿，马小飞的信息又到：“那你明天过来不？晚上叫上张浩然一起吃一顿？好久没聚了。”
韩路一想了想，应该没安排，回了一个OK的表情。
另一边，苏念念虽没喝茅台，刚才却也喝了一点儿红酒。她本准备让司机送自己回家，顾司玥忽然发出邀请。
“念念，要不我送你回去？”
苏念念意识到顾司玥有话要和自己说，便让司机先把车开回去，明天早晨再去她家接她，随后跟着顾司玥上了那辆白色保时捷。
车开出去一会儿，两人都沉默着没说话。
苏念念盯着车窗外掠过的路灯，想找个话题。
“你周末有什么打算？”
顾司玥笑了笑，没有回答，反问：“你呢？”
“去逛逛街吧——要不要一起？”苏念念问，为拉近和顾司玥的关系做出一点儿微小的努力。
女生之间，逛街是一种行之有效的变熟方式。
顾司玥既没答应，也没拒绝，只问：“今天这家店挺好吃的，你怎么找到的？”
苏念念笑了笑，说：“之前聊天时听韩总提起过，他说挺好吃；我也是第一次来，确实不错吧？”
顾司玥也笑笑，说：“你和路一不是大学同学吗？叫韩总是不是太生分了？”
苏念念有点儿心虚地说：“工作上，习惯了……”
顾司玥飞快扫了旁边的苏念念一眼，说：“我明天要去一趟京城，下周才能回来，逛街不能陪你啦，你让路一陪你去吧。”
苏念念犹豫一下，问：“你不介意吗？”
车正驶向路口，前方交通灯切换成红色。顾司玥踩下刹车，车子缓缓停下。
车停稳后，顾司玥转过头看着苏念念，问：“你不介意吗？”
(爱腐竹小说网http://www.ifzzw.com)