赵文渊轻轻咳嗽了一声,把几人的注意力拉了过来,然後开口说道:
「既然大家都同意按照韩总的思路试一试,那我先详细讲解一下我们这边现在的成果,以及两边怎麽融合。」
听了赵文渊的话,梦脑科技的人都提起了重视。
汤圆和起源的大名在人工智慧这个领域如雷贯耳,但是毕竟隔行如隔山,他们的技术有多少能用在脑机接口这个领域还真不好说。
现在对方的首席科学家发话了,詹想的心里格外矛盾,既期待这位赵博士能从别的角度带来新的解决方案,又不甘心自己卡了几年没有进展的难题被别人轻而易举地解决掉。
詹想心想,最好是他们提供一点思路,但是自己来把整个工作完成。
赵文渊起身,站到了会议室的白板前面,拿起一支马克笔就在上面画了起来。
他没有使用预先准备的幻灯片,也不需要,起源旗下所有模型的训练思路都在他的脑子里,架构图信手拈来。
不一会儿,汤圆训练架构就被画在了白板上。
「梦总,詹总,你们看,汤圆1.0就是这麽被训练出来的,从原始语料建立起基座模型,到高精度标注的调整权重,造就了它的意图理解和问题解决能力。按照韩总刚才提出的思路,我们先使用梦脑现在积累的脑电数据来训练出一个基座模型,这个模型不需要能够准确地理解每一个脑电波所代表的意思,它更像是一个预训练模型,能够把你们所提供的三万个小时的原始数据中,哪些模式是反覆出现的通用信号,哪些是杂乱的噪声分辨出来。」
詹想试图跟上赵文渊的思路,听他说完之後摇了摇头:「赵总,这恐怕不行,这些数据量虽然大,但是太杂了,想从里面直接总结规律不太可行。」赵文渊看了他一眼,心想,是你懂机器学习还是我懂机器学习。
自监督预训练恰恰不需要有统一的标签,那是後训练阶段才需要做的事情,自监督本身就可以从杂乱的数据里学习通用结构。
但是他没把这质疑说出来,新方法和梦脑现行方法差距太大,他们的团队有所怀疑也是正常的。但是旧方法显然没用,不然梦脑科技不会卡在这里。
这倒是让赵文渊想起来翻译领域的历史来。
最一开始做机器翻译的时候,人们也是先从翻译家和语言学家的方法开始,想要用人做翻译的方法教会计算机做翻译,什麽语法、文法、从句结构,都写到规则里去。
效果怎麽样?
一言难尽。
直到後来人们走了另一条路,用大规模的数据统计概率,也就是机器学习来进行训练,效果得到了显着提升。
做语音识别的大牛弗雷德里克·杰利内克对此有句名言:「我每从团队中开除一个语言学家,语音识别的性能就提升一大截。」
顺带一提,transfrmer架构本身最初发明出来就是用於翻译的,效果确实惊艳,并且後来被证明这个架构不只可以用来做翻译。
赵文渊不打算当面说服詹想,语言上的交锋毫无意义,只是说道:「詹总,不如我们尽快开始第一轮训练,有了第一轮的结果,我们就可以知道这个方向是不是可行了。」
他相信,等到结果出来,詹想自然会被说服。赵文渊接着问道:「这些脑电波数据的采样率是多少?对应的数据量有多大?」
詹想一愣,没想到赵文渊对自己的问题避而不答,显然对训练结果极为自信,一时没回答赵文渊的问题。
反而是梦瑶先说道:「是256赫兹,标准采样率,我们的微型电极阵列会对采集到信号进行聚合,采集通道最高1024个,使用24比特精度。」
她看出赵文渊这个问题是想问数据大小,把原始数据的参数一下都报了出来。
赵文渊沉吟了一下,迅速在脑子里做了个估算。
三万个小时,按照256赫兹计算:
30000x3600x256=27648000000
单通道就是接近两百八十亿个采样点。
1024个通道的话,总的数据量就是二十八万亿个电位信号,24比特精度,大概也就是84tb的数据。
作为脑电波数据,这个量很大;但是作为训练模型的数据,这个量简直小得不值一提。
训练系统做久了,会对数据量级有一个近乎本能的敏感度,刚才这些数据的估算在赵文渊脑海中也就是十几秒的时间。
然後他开口说道:「这个数据量,我们没必要起得太大,可以先做一个五亿参数的模型看一看。」詹想下意识地重复了一遍:「五亿?」
他们团队手工特徵提取出来的模型,参数还在千万这个级别。
赵文渊听他开口,以为他觉得小了。
毕竟五亿参数,只有0.5b,市面上随便一个开源模型都比这个大。汤圆1.0可是万亿级的巨无霸,就这还远远算不上市面上最大的模型。
这个预计第一轮叠代的脑电模型,和大语言模型们比起来,简直像一个小可爱了。
赵文渊开口宽慰道:「开头先做小一点,效果好我们再提升。」
詹想被噎了一下,接下来的话也没说出来。
五亿——小吗?那我们现在的模型算什麽?微微?
梦瑶倒是没被这个数字刺激到,她的领域在脑科学领域,算法本来就不是她的专长。
所以从刚才开始,她一直更关注的是韩路一刚才所说的第二点,通过起源的新模型架构实现快速的从意图到动作的翻译。
两百毫秒。
她不确定韩路一是不是随便说出来的数字,但是这个数字恰好是人类平均从大脑产生想法到肌肉响应,最终做出动作的平均时间。也就是说,如果脑机接口真的能实现这个延迟水平的信号传递,它就能让残障人士像使用真实的肢体一样使用外接的人造设备。
那才是真正解决了助残这个难题。
甚至於,如果能够实现这个级别的性能,再加上非侵入脑机本身的无害性,民用、娱乐用的场景也会大幅度拓宽。
至少玩家们能用它来打游戏了。
梦脑科技现在的平均延迟在八百毫秒到一秒,这个速度肯定是不合格的。
但问题是,这已经是他们竭尽全力才能做到的水平了。
要想做到两百毫秒,速度还要再提升四五倍。
说实话,neralink通过侵入式的解决方案,在脑神经活跃的地方直接收集电信号,能做到这个速度已经很惊人了。
以梦脑科技现在的技术路线,通过什麽方式才能做到?
梦瑶忍不住开口问道:「赵总,我们假设第一步的通用模型能成功——」
「可是下一步怎麽办?我们怎麽才能做到两百毫秒?」
(爱腐竹小说网http://www.ifzzw.com)