赵文渊听了这个问题,也没什麽头绪。
他其实也不确定韩总的这个数字是不是随便说说的。
从计算机系统设计的角度来说,两百毫秒不算是一个很快的数字了,很多高可用系统甚至要求响应时间在五十毫秒以内。
就像赵文渊正做到一半的豆汁儿模型,也就是那个基於系统一设计的模型,他已经对着韩路一和江松然夸下了海口,要把单次响应时间做到十毫秒。
但是脑机接口,这就是个完全不同的领域了。
不过系统瓶颈诊断嘛,还是有流程可走的,第一步是先找到瓶颈在哪。
有句老话说得好:你不可能解决一个你看不见的问题。
解决问题的第一步就是先看见它。
所以赵文渊开口问道:「梦总,梦脑设备现在的单次运行的时间是怎麽分布的?我的意思是说,慢在哪儿了?」
梦瑶苦笑了一声,说道:「从我的角度来看,哪儿也没慢,就是要做的事情太多了。侵入式脑机能做到一百毫秒,我也做过一些推测,我猜他们因为把电极直接接在神经元外面,可以直接采集到电信号,解析起来也简单。但是我们的采集方式,中间隔着头皮、颅骨、硬脑膜和脑脊液,信号本来就微弱,还要把电位信号转化成数位讯号。」
「采集到信号之後,大部分都是噪声,我们先要进行滤波,然後再做傅立叶变换——光是攒够一次傅立叶变换的采样窗口就得三四百毫秒。这还没完,後面才是我们的算法模型、分类器、模式匹配。现在的八百毫秒,我是看不出还有什麽优化的空间了。」赵文渊听完,对梦脑的计算流程有了大概的了解。
他几乎是脱口而出:「这就是为什麽要做自监督训练啊。基於 transfrmer架构的模型本身就有强大的高维隐空间。简单的说,我们根本没必要认识脑电信号。」
梦瑶听完一愣。
赵文渊此时还站在白板前面,又用马克笔把刚才梦瑶描述的流程写了下来。
采样,滤波,傅立叶变换,特徵提取,分类器,动作。
梦瑶惊讶地看着白板,没想到赵文渊只听一次就把流程图都摸清楚了,这还并不是严谨的讲解,只是她随口一说而已。
画完之後,赵文渊说道:「这是一个完全手工的思路。」
詹想皱了皱眉头,忍不住出声反驳道:「赵总,这是脑电领域最成熟的做法。」
「是吗?」赵文渊说道, 「但是在机器学习领域,这已经是不那麽主流的做法了。」
这话把詹想又噎了一下,但是又无话可说。
毕竟赵文渊确实是机器学习领域的顶级专家。
「就拿汤圆举例吧,我们训练的时候不会告诉它哪些特徵是重要的,只要训练的数据足够多,足够准确,这些信号进入高维空间之後,有用的模式自然会有更大的比重,之後再次接受到这个模式的脑电波之後,不管它是信号还是噪声,这个整体都可以被通用模型识别出来,里面的信号部分也可以得到有效的分离。」赵文渊继续解释道。「可是,就算我们能拿到信号,它代表的是什麽意思呢?」詹想问道。
在他们现在做的传统方法里,这里需要对设备使用者进行一对一的训练和特徵提取,让模型可以理解一个脑电信号表达的到底是什麽意图。
机器学习还能有什麽好办法?詹想想道。
「这里就需要用到後训练微调了,现场收集使用者的几个典型动作的脑电波,然後在通用模型的基础上进行微调,我们就能知道哪个波形对应哪个动作了。」
「这一步要多久?」梦瑶问道。
他们之前的定制阶段可能要花几十个小时,一般使用者无法连续高强度地使用,就可能需要几个星期的时间。
赵文渊想了想,说道:「使用云端算力的话,几分钟到十几分钟吧。」在0.5b的模型上进行微调,还能需要多久呢?
「这个微调出来的模型,可以把上面大部分步骤都打包进去,新的架构就变成了这样。」
赵文渊在刚才的架构图正下方又画了一个新的架构图:
采样,模型,动作。
梦瑶的心猛地一跳,问道:「一次模型运算要多久?」
「几百毫秒吧。」赵文渊说道,然後不等梦瑶和詹想失望,又补充道:「但是我们最近恰好在研发一个新的模型架构,叫豆汁儿。」「豆汁儿?」梦瑶和詹想不禁重复了一遍。
两人都在京城生活多年,当然知道这是什麽。
把模型都命名成食物的名字,这位赵总还挺恶趣味的。
赵文渊不知道梦脑科技的两位高管把这个锅安在了自己头上,名字明明都是韩总起的。
他接着说道:「这是我受到系统一系统二的理论启发想出来的架构,其目的就是让模型以系统一的模式进行运算,如果条件合适的话,应该可以把单次运算时间控制在五十毫秒以内。」
五十毫秒,五十毫秒。
梦瑶不禁默念了两遍。
如果是这个速度的话,再加上采样和电信号到设备的时间,可能真的能做到两百毫秒。
「那我们快试试!」梦瑶说道。
赵文渊点了点头:「第一步的训练一到位,我们就可以进行这一步了。」
对两个阶段的实现方案都讨论完了,双方也都对接下来的工作有了一定的预期,赵文渊起身和梦瑶、詹想分别握了握手,说道:「期待梦脑的朋友们下个星期的入驻。」
到了这个时候,梦瑶对於起源可能会後续强制收购梦脑科技或者对研发、落地路线的影响依然怀着警惕,但也同时意识到,这次投资给梦脑科技带来的,恐怕远远不止是四千万的研发运营资金那麽简单。
一个人工智慧大厂所能够带来的科研能力、产品落地能力,有可能比梦瑶一开始想像的还要强大的多。
梦瑶正要告辞,赵文渊突然说道:「梦总,我这里还有最後一个问题想问一下。」
「赵总您讲。」
赵文渊说道:「你们的数据现在存在哪?如果你们可以把数据通过安全的方式共享过来的话,我想要尽快开始第一轮训练,运气好的话,下周一就能有结果了。」
「下周一?」梦瑶惊讶出声。
赵文渊解释道:「刚才我们讨论的,第一轮先跑个五亿参数的模型,如果是这个参数量的话,直接用汤圆的训练框架先跑一遍,我们现在还有一个千卡集群可以机动,第一轮预训练两三天应该就能出结果,也就是下周一或者周二。」
梦瑶和詹想对视了一眼,都没想到赵文渊这麽着急。
而且,千卡集群从赵文渊嘴里轻而易举地说出来,他们又一次从侧面感受到了起源的实力。
赵文渊笑了一下,说道:「现在是周五了,我们要过周末,我可舍不得让计算集群休息,还是尽快给他们安排上任务最好。」
其实这是他的玩笑话,现在起源的算力这麽紧张,计算集群怎麽也轮不上休息,即使没有梦脑科技的活,也有其他的任务要跑呢。「那我们一会儿去跑一趟吧,把数据硬碟和备份都带过来。反正本来周一也要搬过来了。」梦瑶说道。
赵文渊笑眯眯的看着她说道:「那真是麻烦梦总了。」他语气里全是对数据的期待,全没有一点儿抱歉的意思。
晚上六点多,飞机落地海城。
刚关闭飞行模式,韩路一就收到了赵文渊的信息:「韩总,脑电信号的第一轮训练已经开始了,有结果我随时向您汇报。」
韩路一看着信息,摇了摇头。
文渊,这也太卷了,怪不得给章博士逼得都住办公室了。
不行,回去得单独和他说说这件事。
要劳逸结合,队伍才能维持战斗力啊。就算真要加班,加班费也得给够才行。
韩路一和张彪刘彧一边走向到达大厅,韩路一一边说道:「彪哥,打个车吧。刘彧你回去好好休息。」其实韩路一这次出门没打算去这麽久,但是梦脑科技的机会难得,一直到投资事定,和他们的启动会开过之後,韩路一才回到海城。
刘彧说道:「韩总,您好像有人接。」
韩路一听完,心中一动,回头看去,正看到顾司玥站在远处。
她穿了一身浅色裙装,黑丝袜,高跟鞋,站在人群中显得格外得高挑,配上她精致又冷若冰霜的面容,自然而然地散发出一种生人勿近的气场,周围有不少路人忍不住偷看,却没又一个人敢上前去搭讪。韩路一回头看了看张彪,又看了看刘彧,说道:「你们都下班吧,周一见。」
然後他快步走到顾司玥身边,也不顾周围人的目光,把律师姐姐拥入了怀中。
顾司玥既没有表现出羞涩,也并不抗拒,还伸手轻轻地环住了韩路一的後背。
静静抱了一会儿,两人才轻轻分开。
韩路一笑着问道:「你怎麽突然跑来接我,也不提前说一下?」
他之前和顾司玥说过自己的航班信息,但是律师姐姐当时完全没说过要来接机的事。
顾司玥看了他一眼,眼神里情绪复杂,说道:「飞机上吃过饭了吗?我要带你去应酬一下。」
韩路一挑了挑眉,问道:「应酬?谁?」
「我的一个客户。」
(爱腐竹小说网http://www.ifzzw.com)