出品 | 虎嗅科技组
作家 | 王欣
裁剪 | 苗正卿
头图 |《奥本海默》
“天下上不需要非凡 5 个或是几个大模子，我以为这实足跟当年 IBM 的董事长的论调——天下不需要非凡5台缠绵机是一模相同，瑕瑜常短视的。”面壁首席科学家、清华⼤学长聘副缓助对虎嗅暗示，“我认为异日的大模子就像是CPU相同，无处不在。是以咱们起始要作念的是缩小资本，让每个东说念主有属于我方的多少个大模子来支抓生计、学习和责任。”
这是近期中关村初冬的清晨。2024中国东说念主工智能大会(CCAI 2024)像呈燎原之势的大模子产业切片，鸠集了AI新锐企业和学者。此时距离刘知远在CCAI 2024端侧专题论坛发表Densing Law主题演讲，不及一小时。
在宽绰AI企业中，面壁从道路、格式致使名字，王人显得又些另类。当刘知远坐在我眼前，这些另访佛乎王人找到了谜底源流——他的身上，学者的儒雅和接地气的一面达到了奇妙的均衡比例。
偶合的是，在交流的前一天，llya发表了预考试期间将会终结的判断，又撼动了一些从业者关于大模子和AGI的信心。
刘知远也不雅察到，目下国内还是有大模子公司废弃预考试。“这种事情在历史任何时刻王人会存在”，就像2000年互联网泡沫碎裂时，不坚硬的参与者批量离场，“好多东说念主看到大模子这个主见火，然后加入进来，这么的东说念主，他一定会在遭遇贫乏的时候率先退场。”
“数据差未几虚耗了，接下来确凿会靠近，模子可抓续考试的异日的发展瓶颈”，但刘知远认为：“通过强化学习或者合成数据依然不错制造更多半据，来岁仍然照旧快速发展的阶段。”
这一瓶颈是刘知远在一年前就预判到的问题：“半年之后，国内一定有五六家不错把GPT-4水平的模子作念出来，那还有必要作念这个事情吗？”
从生意上辩论“参预了几千万，市面上五六个同类型的模子，你奈何能确保你的模子能卖得的比别东说念主王人好？”
因此一年前，脱胎于清华NLP实验室的面壁智能，就运行专注端侧模子的道路。
交流收尾后，刘知远上台共享了近期团队的商议效果。恰是Scaling Law遭遇瓶颈后的“破壁之法”，预测大模子发展的另一视角——大模子密度定律（Densing Law）—— 模子智商密度随期间呈指数级增长。
就像摩尔定律背后的中枢其实是灵验地进步芯片上的电路密度，而不是简简便单的芯片尺寸。大模子行业也有着和摩尔定律相似的限定，和芯片的电路密度访佛，大模子的智商“密度”也在进步，这意味咱们能用更少的参数兑现换取的智能水平。
模子智商密度进步意味着——若是一个4B的模子能兑现40B模子的效果，那么它能搭载运行的末端范围会大大拓宽，比如原本干事器上的模子，就不错胜仗在手机上运行，它的利用范围也就拓宽了。
以下为虎嗅与刘知远一双一交流实录：
虎嗅：最近半年你饶恕的问题是什么？
刘知远：目下算力摧残风景严重，导致模子考试资本过高。历史上，IBM曾预测全球仅需5台大型缠绵机，但如今咱们有13亿台PC、70亿部手机和数百亿联网配置，以及2000亿个CPU在运行。有种说法是天下上不需要非凡 5 个或是几个大模子，我以为这实足跟当年 IBM 的董事长的论调一模相同，瑕瑜常短视的。我认为异日大模子应像CPU相同普及，让每个东说念主王人能领有大模子来改善生计、学习和责任。因此，缩小资本是要害，来让大模子达到信息篡改PC机的时刻。（虎嗅注：密度定律标明，达到换取智商的模子参数指数递减，2023年以来每3.3个月减少一半，相应模子推理速率进步一倍。举例，GPT-3.5级模子在夙昔20月内API价钱下跌至1/266.7，约2.5个月下跌一倍。）
虎嗅：llya最近暗示预考试毫无疑问将会终结，考试模子需要的海量数据行将空匮。你怎样看待他的不雅点？
刘知远：我以为他说了一部分的这个正确的事情，目下数据差未几虚耗了，可能接下来确凿会靠近，模子可抓续考试的异日的发展瓶颈。因为所谓的Scaling Law有两个基本的支抓点，数据和算力。llya主要照旧强调的数据问题，然则其实咱们会认为算力亦然要害问题，跟着这个模子变得越来越大，考试算力资本有限。怎样支抓这个模子不错去灵验scale？是以咱们会认为llya淡薄来的是合时宜的，管制决策还要探讨。
其实咱们在旧年的时候就缔结到这个问题。
虎嗅：目下国内有公司还是不时废弃预考试，你奈何看？
刘知远：大模子是旧年才运行火的。是以咱们会认为，好多看到这个主见火然后就加入进来，这么的东说念主，他一定会在遭遇贫乏的时候率先退场。这是势必的。因为在历史上的任何的时刻王人会存在这么的事情，就跟千禧年互联网兴起的时候，也有好多东说念主被诱骗念念要参与，然则互联网泡沫碎裂时，就会主动地或者被迫地退出。
虎嗅：这可能跟来岁哪些新的趋势相联系？ 你对来岁大模子发展的预判是什么？
刘知远：不错看到等于的，不论是比如说这个推理，照旧说Agent，照旧说别的强化学习等等，等于包括 o1他提到的各式各种，其实回首到实质的话，其实无非等于要念念到某种主见，然后能够为这个模子来提供更多半据。
比如AlphaGo先从东说念主类积攒的数据来学习下起，总共的基础王人学完后，就出现AlphaZero让下围棋的Agent跟我方棋战，来产生更多半据。
若是咱们散伙这个模子的参数鸿沟不变，咱们不错跟着工夫的发展，把更多智商放进去。也等于说模子的鸿沟不变，然则模子的这个学问量密度在增多。是以我以为面向异日其实仍然平坦大路，来岁一定照旧快速发展的阶段。
这个流程其实就像是，科学工夫的发展，来扞拒这个天下的熵增的流程，就像芯片是要通过工夫率先，来改善算力密集度，以更高的质料，更低的价钱来达到换取的智商。
虎嗅：一年前是怎样提前预判到行业目下近况的？为什么当时运行专注端侧？
刘知远：这个波及到对工夫的预判。等于在旧年头的时候，ChatGPT的横空出世，其实是让好多东说念主畏俱。因为寰球王人还不知说念这个东西到底是奈何考试出来的。然则经过寰球快速的研判和探索，推行上在旧年的概况到 4 月份，还是节略找到了到底怎样达到换取水平的旅途。
咱们那次判断是：国内是到 2023 年12月兑现GPT-3.5水准的模子智商，差未几需要一年的期间。
事实解释咱们的判断是对的，因此2023年4月份GPT-4发布时，咱们瞻望国内一定会在2024年的六月份前作念出GPT-4水平模子。
是以我目下念念问你，若是你是咱们这个团队的决策者，你发现一年后国内一定有五六家不错把GPT-4水平的模子作念出来，那还有必要作念这个事情吗？问题是在于GPT-4的模子智商，至少需要几千万好意思元的算力。
诚然，工夫上是不错作念的，但你作念出来之后，你奈何把这个钱给赚回来？你投了几千万。但市面上有五六个同类型的模子，你奈何能确保你的模子能卖的比别东说念主王人好？
也等于说在咱们确保工夫上可行的时候，得去看这件事情在生意是不是值回资本的一件事情。
是以咱们会认为应该愈加青睐的是极地面去缩小考试模子的资本，极地面进步用换取的资本考试出来的模子品性，是以阿谁时候咱们坚抓的是这么的事情。这件事情其实预先咱们并莫得那么多信心一定是对的，诚然过后的话解释咱们是对的。
虎嗅：你奈何看目下有公司也运行转向端侧了？
刘知远：是的，我以为这是善事。这是感性的决定。因为你不走向端侧，那就讲解你还莫得作念出感性的决定。
虎嗅：你以为异日这么公司会越来越多吗？
刘知远：一定会。
虎嗅：履历过这一年之后，你的感受是什么？
刘知远：我以为学到好多事情。因为我是算作清华的真挚，去参与创业。我以为这确凿是一个大的期间，一定要抽身参与其中，然则这内部其实对我来讲有好多清新感受。
咱们最近几个月其实一直在尝试着去总结说咱们到底奈何办？背面的路奈何走？因为这件事情是充满不深信的。
llya的判断出来后，好多东说念主对AGI信心又撼动了。是不是llya说的就一定是对的？或是我说的就一定是对的？
这个天下自己等于充满非共鸣的。着实创新的东西才是鼓吹科学发展的力量，是以其实我以为照旧要能够去寻找，历史上的一些蛛丝马迹的限定，来指引着咱们往前走的主见。
我一直跟实验室的同学说要践规踏矩。不要因为你在这方朝上获取了上风和一些积攒，你就会认为这个主见就一直是对的。
咱们团队其实从 2010 年运行，就在作念，然后再到 2018 年从深度学习到大模子，其实咱们应该算是最早作念这个事情的。原因在于我会认为等于这个天下的趋势，它不以个东说念主意志为转念，不会说因为你以为这个工夫有裂缝，它就不会发展。该发生的一定会发生，咱们要作念的事情等于要去适合事实，并且咱们看得更前瞻，更前沿去作念一下。
虎嗅：之前被斯坦福抄袭时，你的感受是什么？怎样看待中好意思大模子发展互异？
刘知远：我以为它可能算是一个随机事件，自己对面也非凡于仅仅一个学生团队，我个东说念主倾向于不太会把这件事情当成有长远含义的一件事情，我以为若是放在强大的历史上往复讲，就像是黄仁宇的《万历十五年》，等于通过那一个年份，来回报通盘明朝的战败，是以其实宽绰的case，会集聚成一个大的趋势。
咱们其实能赫然地看到，中国在夙昔的这十年、二十年的发展，其实瑕瑜常快速地在去成为这个天下上的，从追逐者到去原创始新的一个变装。
20 年前，寰球王人在说copyto China。那又过了十年，到 2010 年的时候，当时中国的 AI 论文发表还是在外洋上能足数得着，还是算是崭露头角，阿谁时候其实寰球一般就很少说 copy to China，而是说，中国好像不太善于作念工夫创建，善于作念格式的创建。
目下又过了十年。咱们会看到外洋的顶级会议，国东说念主的身影还是占了一半 ，是以我会认为咱们目下还是有实足多的高水平后生学者。目下咱们也像历史上的任何一个强国相同，能够兑现工夫超车，这就跟Densing Law所指向的阿谁趋势一定会发生。
