这个时期,这么做起到的收益也十分巨大,比如去年的le和今年的dre,都有很恐怖的提升。
不过在孟繁岐看来,时代后期的结构就不怎么变化了,最重要的还是大力出奇迹,加上他很清楚什么任务用什么结构比较好,结构设计对他来说太过简单。
“当竞争走到最后,大模型的训练技术,和海量优质资源更为关键一些。”
杰夫和辛顿偷偷交换了一下眼神,感觉怪怪的。
本来是杰夫来给这个还在学校里接触研究的本科生展现一下谷歌的野望,什么多领域开花,最大的计算平台之类的。
怎么感觉这小子对工业的主要痛点问题了解的如此清楚,不像是象牙塔里搞研究的样子。
学界研究,主要是为了验证某个猜想,提升具体的指标。
工业则更加务实一点,怎么实现需要的资源少,怎么做模型的速度更快,怎么样才能部署到不同的设备上。
两边经常彼此看不惯,学界觉得工业界就是干脏活累活的打工仔,没什么创新突破。工业界则觉得学界就会写论文吹牛,做出来的东西大家根本用不到。
杰夫和辛顿可以说是工业界和学界的代表人物了,杰夫就连读书的时候,所写的毕业论文都是工业方向的,大型神经网络的并行训练。
那时候才1990年,杰夫已经开始研究2023年最为核心的技术,大模型的训练方法。
“我不得不说,我本以为连续做出算法方面突破的你会是一个偏学界风格的人。”杰夫表情诧异中带着惊喜,“没想到你看待问题的思维和我们工业界的需求非常符合。”
杰夫接触过的出色学者很多,甚至就连辛顿都带有学界的思维惯性,因此在谷歌大脑内部,辛顿并不参与任何管理和决策工作,只专心负责学术研究。
或许这一次,我招聘的并不仅仅是一个出色的算法研究员,他可能在公司的战略上也能够给我不小的帮助。
杰夫隐隐约约有这种预感。
他之前的十几年是谷歌的技术骨干,参与的管理项目并不多。但这个方向,是他大力支持吴恩达推动的,因此这方面的许多事情都由他来领导。
作为一个领导者,杰夫喜欢不一样的观点,喜欢新鲜的事物。
比如神经网络和,虽然90年时期他也曾钻研过,但之后他在谷歌的工作更多的是架构,搜索,广告方面。
其实并没有再更新过任何知识。
直到2011年,吴恩达与谷歌合作项目,他向杰夫建议道,情况在飞速改变,谷歌应当重视技术。
杰夫很迅速就拥抱了这个变化,甚至可以说,他天生就对这种自己不够熟悉的潜力方案感兴趣。
一旦被他搞懂了问题的解决办法,他反而会失去兴趣。
孟繁岐在战略的想法与自己不同,杰夫反而更加欣喜,心中暗道,这回真的是捡到宝了。