就在孟繁岐目标明确，准备先直奔350亿参数版本的chatGpt而去的时候。
隔壁的openAI则显得有些佛系，他们在玩游戏。
启动资金几个亿美金，目标是【不受经济回报的限制来推进数字智能造福人类】。
这种非盈利的愿景不错，但有些时候也会对他们产生诸多限制。
比如设备困境，自身不以盈利为目标的openAI没办法做到像孟繁岐一样，斥资大几亿美金去建立超算中心。
他们需要仰仗创始人们的慈善赞助才能够获取这些计算资源。
而马斯克这样的创始人们，有良心，但不多。
此时的马斯克正在全力推动特斯拉产能发展，以及自动驾驶智能的研究。
让他这个时候分出精力来关心一个慈善AI研究机构...
对不起，做不到！
马斯克不仅没有资源来分给openAI，他还经常想着从openAI挖人去特斯拉，为他的电车自动驾驶事业添砖加瓦。
这可不是想想，在神经辐射场发布之前，他就已经私下里拉走了两名openAI的研究员。
特斯拉适配神经辐射场和孟繁岐此前所专门设计的特征提取算法之后，自动驾驶电车整个行业欣欣向荣，马斯克也干脆不装了，挖人的举动越发明显张狂。
这一系列操作引发了openAI董事会不少成员的强烈不满，山姆代表不少董事对马斯克的行为进行谴责之后。
马斯克非但没有消停，反而更加变本加厉。
他表示：“openAI已经远远落后于谷歌，尤其是deepmind了。必须由我来全权负责掌管，才有可能逆转现在的局势。”
这话说出来，董事会的所有成员都绷不住了。
尤其是孟繁岐，他不得不感叹于马斯克的超厚脸皮，觉得自己在这方面还得多多向这位前辈学习。
“让马斯克接管openAI，能不能超过deepmind不好说，把特斯拉整得肥肥的那是一定的。”私下里，孟繁岐与山姆如此表了态。
在过去的几个月内，孟繁岐与特斯拉频繁在自动驾驶方面合作，如今特斯拉的自驾系统，孟繁岐能占个一半多的功劳。
山姆非常担心孟繁岐会联合马斯克，将openAI变成一个特斯拉下属的盈利性质机构。
虽然此前孟繁岐曾经表态过不会支持马斯克，但此一时彼一时，当时的自动驾驶还没做起来，没看到蛋糕，山姆当然相信孟繁岐的承诺。
如今特斯拉的股价一路飞升，山姆原本安下去的心又提了起来。
最近一段时间，以山姆为首的人工智能理想派，和与马斯克为首的商业盈利派，斗争已经越发火热。
几乎已经到了水火不容的境地。
在内部，很多人都认为，大约撑不到这个夏天，马斯克和山姆肯定会有一派离开openAI。
这件事，孟繁岐乐见其成，因此迟迟没有在其中斡旋调停。
否则以他目前在人工智能界的地位，不说能够解决两边的矛盾，至少不至于让两人争到现在这样你死我活的程度。
“我就说吧！我们当初捐这个openAI，就是为了大家可以自由自在地做研究，不受拘束。没有这样的环境，整天去做盈利的事情，有些AI技术一辈子都不可能被研发出来！”山姆在这个方面是有理想的，并且一直坚持着。
因而只要他在一天，马斯克就休想将将openAI当成特斯拉的外包公司。
“最近你们的游戏计划搞得怎么样了？”孟繁岐个人觉得，也不能完全怪马斯克急功近利。
山姆在财富自由之后有自己的理想，希望维持一个非盈利的AI机构。
这也就导致了openAI现在捣鼓的许多内容，短期内看不到什么价值。
成立这么久以来，openAI主要的一个研究方向是强化学习，这在一定程度上是受到孟繁岐很大影响的。
去年此时，世界各地的人都在偷看一场围棋比赛，孟繁岐牵头的阿尔法围棋打败了世界冠军李世石。
围棋被尊为最复杂的棋盘游戏，号称千古无同局，人类千年来的智慧最终败给了人工智能。
这件事情最大的意义在于宣告了一件事情，【面对极其复杂的问题和一个明确的胜利目标，计算机可能做出一系列决策，并且比人类的经验表现得更好】。
为了继续探索AI的能力，孟繁岐选择了蛋白质结构预测，也就是阿尔法Fold。
而openAI则开始挑战更加复杂的游戏项目，以探索现在人工智能能力的边界。
普通的棋盘游戏已经满足不了他们了，openAI已经将自己的手伸向了电子游戏领域。
“如果将时间回溯到上个世纪40年代，人工智能和游戏一直有着难解难分的渊源。图灵当年便是想要通过国际象棋游戏来测试计算机的能力。现在围棋已经被你解决了，我们则在考虑一款叫做dota2的游戏，openAI Five已经定下来，要做5对5的moba游戏了。”
在山姆看来，不论是国际象棋还是围棋，都是1v1的策略博弈游戏。
当这个博弈游戏的规模来到5v5，自然会带来新的挑战。
并且，在这个游戏过程当中，人类又或者是电脑可以做出的策略非常之多，不像围棋最多也只能在三百多个位置上选一个地方落点。
它蕴含的可能性又要再上升数个数量级，挑战这样的游戏，openAI可以说是勇气可嘉的。
唯一的问题就是马斯克急了，他觉得这帮人真不是东西，要收自己十个亿美金，却放着特斯拉现在的自动驾驶大业不去发展，反而整天沉迷游戏去搞什么5v5。
简直荒唐！
“选择dota2挺好的，这种5v5三路兵线的游戏比起围棋，复杂程度要更接近现实世界中的问题。尤其dota2即便在moba游戏里面都算是比较困难的，对新手不大友好。游戏细节太多，各种技巧和套路也太多。”
孟繁岐的dota2实力，差不多4000分左右。
“你还懂这个啊？”山姆有些意外，他以为孟繁岐这样成果狂出的人，肯定是没什么时间玩游戏的。
“稍微懂一点，我朋友唐璜你应该有印象，就是最开始跟我一起在ImAGENEt上组队的舍友，他dota2水平很高，现在差不多6400分左右。”
按dota2的分数分布，3000是深海鱼塘，无数大仙各显神通。
3000到5000属于中端桌，孟繁岐的水平在所有玩家里也就是中等，5000到7000属于绝对的高分局了。
可以说唐璜在这个游戏上是非常有天分的。
毕竟他其实也没有那么多的时间专门去冲分。
“那挺好的，我们现在就缺一些技术和游戏都懂的人协助帮忙。”山姆直接提出了邀请。
“有空的时候我也去看看吧，对这方面的内容我也挺感兴趣的。”openAI Five这款dota2的智能，是孟繁岐少数只看了新闻，完全没有去学过代码和原理的知名项目。
触类旁通，懂还是稍懂一些的，但对细节就不是那么明白了。
对此他也非常好奇。
因为下围棋对玩家来说，就是一两百手的决策需要做出。
dota2这样的策略游戏，单个英雄需要一盘下来需要操作上万次。
其中每次操作可能是行走、攻击、施法、使用物品、交易物品等等，根据英雄的不同，AI可选择的操作有8千～8万种。
需要判断的东西也有太多了，英雄，小兵，防御塔；血量，攻击，护甲，位置，等级；物品，技能，状态栏。
这种游戏当中，值得关注的信息点也是海量，绝非轻易能够搞明白的。
在深度学习阿尔法围棋取得世界瞩目的成绩之后，openAI押宝了强化学习，而孟繁岐最近则将注意力集中在了Gpt大语言模型上。
“openAI那边的事情过段时间再看，眼下最重要的事情还是尽快出一版chatGpt。”
虽然对openAI手头的事情比较感兴趣，不过事情还是要分清主次。
前世chatGpt的出现震惊了整个世界，毫无疑问，它又强又聪明，跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。
那么问题就来了：chatGpt是怎么变得这么强的？
Gpt技术早已有之，为何此前并没有如此强劲的威力呢？
这个问题最浅显的回答当然是数据和模型的规模，在前世，17到19年，大家还普遍在玩几个亿大小的人工智能模型。
结果chatGpt直接就把这个数字干到了1750亿。
整整一千多倍的差距，使得人工智能模型在知识密集型任务上的性能实现了飞跃。
人们普遍认为，更多的模型参数记住了更多的知识。
数据则是另一大原因，三千亿单词的文字库加上Gpt的模式，两者强强结合，产生了神奇的化学反应。
孟繁岐认为这些很容易想到的观点是正确的，但只靠这两者还远远不够。
一个非常好的例子就是Gpt3，chatGpt实际上是Gpt3.5版本。
Gpt3最初版的模型大小并不逊色于chatGpt，训练使用的数据也相差不多，但实际的能力和效果确是天差地别。
不能说Gpt3很弱，因为在很多任务上，它都挺出色地回应了很多指令。但同样的，在许多任务上，它的性能会非常诡异地逊色于远远小于它的模型。
因此，如果考虑到我们想要追求的是一款比较全面的通用智能的话，的确可以说Gpt3不咋地。
可前世后来的许多研究都表明，其实Gpt3有着很大的潜力，这些能力后来通过代码训练，指令微调和基于人类反馈的强化学习（也就是大名鼎鼎的RLhF）解锁，最终版本终于展现出了强大的威力，成为了chatGpt。
“首先，我要做的就是先获得一个初始的Gpt3，不过我现在很难做1750亿参数那么大，最多只能做到350亿参数左右。”
孟繁岐选择这个大小，是根据最新的p100显卡的显存深思熟虑之后的结果。
这里其实并不存在放不下放得下的问题，前世chatGpt使用的A100显卡也就只有80G的显存，想放下1750亿参数那是痴人说梦。
孟繁岐有着一套拆分模型的招式，能够无限制地将庞大的模型拆分到不同的显卡上面。
理论上来说，只要显卡够多，他就能够无限制地训练更加庞大的模型。
如果100张可以训练100亿参数，那么张就能训练亿参数。
可理论终究是理论，同时调度过多的显卡是非常痛苦的事情。
单张显卡出状况，很有可能好几周的成果都会受到影响。
孟繁岐出于风险的控制，选择了350亿的大小，他有信心可以将最后的结果做得跟初版1750亿参数的chatGpt相差无几。
获得最基础的Gpt3模型并不困难，基础的模型结构一年半之前，孟繁岐就已经实现了许多。
庞大的人工智能模型只是最基础最核心结构的反复堆叠，并不需要从头仔细设计一个不同的版本。
就像是二阶魔方和三阶魔方的区别，基础的模块是那一个个小方块，二阶魔方拥有2x2x2一共8个方块，三阶魔方则有3x3x3，一共27个方块。
基本元素没有任何的改变，只是数量上变多了。
而这些参数的设置，除了最好是2的N次方之外，通常也没有什么特别的规矩和道理。
因此，只要单纯地将此前已经做过的Gpt系列模型放大、加深，孟繁岐就已经获得了一个350亿左右参数的Gpt3模型。
但想要将这个大小的模型给训练起来，那可就麻烦了。
“350亿参数的模型，参数本身、梯度、优化器的状态个个都是本身大小的好几倍。按理来说，每一台服务器都应当有tb级别的内存来存放这些状态。现在你们知道，我为什么特意要求英伟达将服务器内存再扩大好几倍了吧？”
显卡的显存是比较高难度的硬件技术问题，英伟达一时间也没法解决。
但服务器却是可以加装高速内存的。
在普通人的游戏主机上，通常都是2到4根内存条，一般一根8G或者16G的居多。
正常的用户，内存大都是8到32G，富有一点的，64乃至128，不得了了。
而孟繁岐则是为每一台服务器，直接配备了4个t的内存大小。
其规模令人瞠目结舌。
这特么的可是内存，不是硬盘啊！
内存只是一种临时存储设备，用于存储计算机正在使用的数据和程序。
硬盘才是用来永久存放数据和文件的设备。
“4t的内存...比我自己电脑的总硬盘量还大两倍...”
此时此刻，主流的笔记本一共可能才500G，自己组装的台式机也就1t的硬盘大小。
这一台的内存，就能装下8台中高端笔记本的所有数据，奢华的程度，不言而喻。
孟繁岐使用大量的高速内存，目的在于解决当今显卡的显存不足问题。
将绝大多数暂时不参与运算的数据和参数，从显卡移到内存上，需要的时候再从内存取回。
如此反复读写，需求次数太多，普通的硬盘速度太慢，孟繁岐直接上了内存级别的设备。
钞能力发动！
“训练启动，那就得几个月后见了。”孟繁岐为了这一刻已经持续收集了接近两年的高质量数据，上千亿词的训练数据，总规模已经接近两个t的大小。
“等到夏天，差不多应该可以完工，到时候还得专门针对中文优化一版，更适合华国宝宝体质的chatGpt。”
前世中文数据的质量和数量都不大够，孟繁岐当然要弥补这个遗憾。
“算算时间，我也差不多要本科毕业了，这个chatGpt，就当我的毕业设计成果吧。”