Lecun此次是真跟Hinton爆了……

Hinton之前从来没杰出热心过LLM。放胆2023年GPT-4出来，他短暂跟顿悟了同样：

"天哪，这些模子照旧相配接近东说念主类智能了，它们可能有主不雅体验……"

对于这种转变，Lecun示意——

完满不认同，难以集聚。

我感觉他即是想摆烂："好了，这即是咱们需要的，我可以布告告成了。"

"嗯嗯，我可以退休了。然后到处去作念对于AI危急的演讲。"

紧接着，话锋一排，又把锋芒指向了另一位图灵奖得主。

其实许多事情我早在几年前就说过，Hinton最近才刚烈到。

Bengio的情况访佛。

这亦然为什么Lecun在被独揽东说念主问到为奈何此「另类」时，回答：

从来莫得什么我和Hinton和Bengio分说念扬镳，是他们变了。

既然要可汗大点兵，天然幸免不了聊到老东家。

到了2024岁首、尤其是2025年，FAIR照旧不合乎我认为保持改变、运筹帷幄和突破所需要的条款了。

许多优秀的东说念主都走了。

至于原因，Lecun说其实扎克伯格很好，指点层也都很复古他。只不外，Meta也卷入LLM竞赛后，实在没办法只顾着埋头作念运筹帷幄了。

对此，Lecun示意很缺憾。

因为在他看来，要得回突破性运筹帷幄「其实很浮浅」。

就雇最佳的东说念主，这些东说念主有感觉，知说念该作念什么。你给他们告成所需的资源，然后……

滚蛋，别挡路。

但独揽东说念主如故不太逍遥，一齐刨根问底：为什么？为什么？为什么？？

重心怀疑对象——亚历山大王。

独揽东说念主：

Scale AI的收购是不是这个纯LLM聚焦的催化剂之一？

LeCun的回答也很实在了，确切问啥说啥。

笃信是的。但我不祥情我是否有弥漫的里面信息来褒贬。

扎克伯格可能在亚历山大王身上看到了某种交班东说念主的影子，一个更年青版块的我方。

除了这些，天然也保留了经典节目。

Lecun用带着点辱弄的口吻，再次向LLM阵营发起了寻衅。

JEPA类天下模子，五年内总揽AI圈。（笑）

这是Lecun的最新一期播客专访，他跟独揽东说念主聊了快一个半小时，对于天下模子、JEPA、为什么离开Meta、为什么LLM走不到AGI……

好久莫得这样一字一板地听访谈了，真有点力竭。

全程不敢跳过，全程无尿点，Lecun全程都在跋扈输出暴论：

Anthropic在试图用畏怯来推动AI监管，我完满不认同这种作念法。

LLM永远不可能可靠，不是整个事情都是Coding。

效法学习即是不行，连自动驾驶这一个任务都搞不定。

天下模子但愿责罚的，是zero-shot责罚新任务

若是你在读PhD，别作念LLM。没道理，你作念不了孝敬。

还有少数场合是真的在作念运筹帷幄，比如DeepMind。但整个这个词行业越来越顽固了。

以下附上访谈全文。

为保证可读性，量子位在不改变喜悦的基础上，对内容作念了部分调整。

Enjoy。

为什么LLM不是通往智能的路

独揽东说念主：你当年押注神经蚁集，整个东说念主都在质疑你，放胆讲解你是对的。

咫尺你又在作念一个访佛的事情，押注against LLM和主流的生成式架构。

你最近还围绕这个标的创办了新公司AMI。AMI在作念什么？

LeCun：率先我要证明晰，LLM莫得什么问题。

LLM是许多相配有用的AI居品的基础，我我方也在用，它们很好，作念它们该作念的事情。

但LLM不是通往东说念主类水平智能的旅途，致使不是通往动物水平智能的旅途。

独揽东说念主：你我方还帮着作念了最早一批主要的开源LLM。

LeCun：没错。是以AMI是什么？AMI代表Advanced Machine Intelligence，咱们的定位是AI for the real world。

今天寰球熟知的AI时间，擅长的是语言操作。

语言是很特地的一种东西，它杰出适应咫尺这些告成的架构。

但现实天下呢？是高维的、连气儿的、有噪声的、雄壮的。难度完满不在一个量级。

这亦然我泰半个办事生计在作念的事情，往时五六年加快鼓吹，最近两年取得了实质性进展。

到前年年底，很领悟Meta照旧不是鼓吹这个容颜的合适阵势了，是以我离开并创办了AMI。

独揽东说念主：这似乎是一个行业趋势，越来越多的东说念主从大公司或运筹帷幄实验室出来，带着我方得意的运筹帷幄标的创业。

LeCun：这照实是一个很奇怪的trade off。

有两种模式。一种是大批探索性运筹帷幄，许多标的并行。然后某个东西好像work了，你需要络续鼓吹，但它照旧不是运筹帷幄了。

作念这些事的东说念主是运筹帷幄员——至少媒体这样叫他们——但现实上照旧变成了工程和居品化。

这种事在Meta发生过好几次。

2023岁首，FAIR开发的Llama 1相配有长进，Meta专门创建了Gen AI组织来把它变成信得过的居品，其后出了Llama 2、Llama 3、Llama 4。

Llama 4有点令东说念主失望，扎克伯格对此不逍遥，把整个这个词组织重组了，换了新东说念主。

但往时一年信得过发生的事情是，Meta刚烈到我方过期了，于是把策略重新聚焦到追逐行业上。

反作用即是，大批的探索性运筹帷幄被裁汰了优先级。

我作念的JEPA和天下模子的办事倒莫得受影响，但公司其他部分完满聚焦在LLM上了。

这让我很明晰，Meta不再是鼓吹这个容颜的合适场合。

咱们有了初步效果，需要从运筹帷幄转向信得过的时间开发、范畴化和居品化。

同期咱们也刚烈到，大部分讹诈场景Meta其实不太感意思，比如制造业。

天下模子

独揽东说念主：你在追求天下模子这个大标的。但也有其他东说念主从更偏生成式的角度切入天下模子，比如Google的Genie、多样视频模子，VLA，还有李飞飞作念的3D空间模子……你若何看JEPA模子和这些按序的比拟？

LeCun：天下模子正在快速变成一个buzzword，在运筹帷幄范畴照旧是了，在工业界也运行了。

VLA我就未几说了。这条路咫尺宽敞被认为走欠亨了，不够可靠，需要的考验数据太多。

那什么是天下模子？从根柢上说，天下模子即是让一个智能体能预计我方步履的后果。

我无法想象你若何能构建一个agent系统，而这个系统莫得预计我方步履后果的本事。若是东说念主类不议论后果就行径，别东说念主会以为咱们是白痴。

是以天下模子即是这样回事，能够预计你我方步履的后果，你就可以规画一系列行径来完成一个任务、达成一个盘算。

通过规画、推理、搜索和优化来作念这件事，而不是像LLM那样一个token接一个token地自转头预计。你是在搜索一个能完成任务的最优行径序列。

LLM莫得预计我方步履后果的本事，也莫得信得过的规画本事，因为推理即是预计下一个token，不是搜索。

是以，智能步履需要三个特征。

第一，预计步履后果的本事。

第二，通过优化和搜索来规画的本事，找到能产生正确放胆的行径序列。

第三，即是你若何预计步履的后果。

比如我眼前有一个莫得盖的水瓶。若是我推瓶子底部，它会在桌上滑动。若是我推瓶子顶部，它可能会翻倒。

但咱们无法精准预计瓶子会往哪个标的倒。咱们不可能在像素级别预计这些。

咱们大脑中的天下模子，预计的是一个概括层面的表征。

JEPA

独揽东说念主：这个架构的遐想，很猛进程上是受东说念主脑启发的？

LeCun：至少是受领会科学的启发。能不可平直翻译成一个具体的神经蚁集架构，这中间有很大的gap。

领会科学照实是一个动机。心境学中的系统二即是这个好奇，你在作念三想尔后行的、反想性的步履时，会想象、预计我方步履的后果，然后据此规画。跟系斡旋那种本能的、响应性的步履不同。

是以有灵感起首，但也有大批的实证笔据标明，你不应该去生成像素。

我对通过预计来建立天下模子这件事感意思很深远。

大致五年前有一个顿悟的时刻，我刚烈到整个告成学到了好的图像和视频表征的架构，都长短生成式的。

VAE，变分自编码器，或者更广义的自编码器，直观上似乎是学习输入的概括表征的天然方式。你把图像输入一个神经蚁集，考验它在输出端重建输入。

但若是你用一个大的神经蚁集平直这样作念，什么风趣的事情都不会发生，它仅仅学到了恒等函数，完满没道理。

用VAE来学图像表征，能得到一些东西，但效果真的不好。稀少自编码器也同样。

还有一类时间，叫denoising auto encoder，MAE是它的一个变体，BERT在NLP里亦然访佛的想路。你把图像损坏一部分，然后考验神经蚁集恢回答始图像。

FAIR也曾有一个大容颜作念这件事，参预了大批诡计资源，放胆相配令东说念主失望。

但同期，一些相易的东说念主和巴黎、纽约的其他东说念主，在作念另一套时间，用的长短生成式架构。

你拿一张图像，损坏它，把两个版安分辨送入编码器，然后用一个预计器，从损坏版块的表征去预计原始版块的表征。

这即是JEPA。一个编码器对一个不雅察编码，另一个编码器对另一个不雅察编码，然后用一个预计器从第二个的表征预计第一个的表征。

当下具身模子的问题

独揽东说念主：咫尺许多机器东说念主公司发布的demo越来越impressive，似乎展示了某种规画和推理本事，即使面对没见过的房间或任务版块也能推论。你若何看？

LeCun：照实有真实的进展，有些demo照实令东说念主印象深刻。但这些系统需要海量的数据来考验，要么通过遥操作采集，要么通过东说念主手捏着夹持器操作来网罗……

主要靠效法学习考验，加上少许在仿真中作念的强化学习。

问题在于，效法学习需要大批数据，而且对每个你想让机器东说念主完成的任务都要单独网罗数据，本钱高、也比拟脆弱。

而若是系统有一个天下模子，能预计动作的放胆，它就可以平直规画行径去完成一个新任务，不需要专门为这个任务考验。

天下模子带来的泛化本事要大得多，用更少的考验数据就能障翳更宽的任务谱。

任务之间照实有协同效应，你考验系统完成的任务越多，它学新任务需要的数据就越少。

但天下模子的但愿是，能zero-shot责罚新任务。盘算是用很少致使零考验数据就能责罚大批问题，也许加少许RL作风的微调就够了。

东说念主类完满有这个本事，许多动物也有。

一个17岁的孩子学开车只需要十几二十个小时。咱们有几百万小时的驾驶数据，到咫尺还莫得L5的自动驾驶。

效法学习连自动驾驶这一个任务都搞不定。

独揽东说念主：有一种想路是用视频模子生成大批合成数据来作念仿真，即使物理上不完好，也能改善机器东说念主在真实天下的阐述。你若何看？

LeCun：如故阿谁问题，为什么17岁的孩子20个小时就能学会开车？

你不需要几百万小时的示范数据，也不需要合成数据。

若是咱们破解了这个问题，就不需要生成数据了。

可能仍然需要在仿真中考验，但不需要现存系统所需的那种数据量和试错次数。

硅谷的羊群效应

独揽东说念主：一个迥殊想的点是，若是你是OpenAI，你知说念某个东西络续scale就会络续变好，那从交易角度看，你并莫得太大的能源去作念数据效力更高的事情。

LeCun：其他公司也莫得能源作念不同样的事，谁都承受不起过期于敌手的代价。这是一种硅谷的羊群效应，整个东说念主都在挖并吞条战壕。

这亦然为什么我把AMI的总部设在了巴黎，好意思国办公室在纽约，不在硅谷。

独揽东说念主：你最得意的AMI时间的讹诈标的是什么？

LeCun：AI for the real world。家用机器东说念主、L5自动驾驶。

独揽东说念主：我什么时候能有一个家用机器东说念主？

LeCun：这还要好几年。尽管有大批公司在造机器东说念主，但莫得一家信得过知说念若何让它们弥漫灵巧。

独揽东说念主：也不真实任它们在有婴儿的家里办事。

LeCun：那笃信不行。即使是相对窄的制造业任务，靠效法学习也只可处理少数几个任务，莫得东说念主信得过知说念若何让它们可靠地办事。

短期来看，工业范畴有海量的讹诈场景。

你需要一个智能系统能预计若是我改变这个复杂系统上的某个戒指变量会发生什么。喷气发动机、化工场、发电厂、分娩线、东说念主体、东说念主体细胞……

这些系统复杂到无法用少数方程来建模，传统的建模方式行欠亨。

你需要作念的是用深度学习从数据中考验出一个模子来捕捉这个系统的动态步履。得到的即是一个阵势学模子。

若是它是action-conditioned的，那你就得到了一个这个系统的天下模子，可以用来作念最优戒指。

这类讹诈的数目是惊东说念主的。

独揽东说念主：你以为JEPA模子在接下来几年会发展到什么进程？

LeCun：五年吧。

五年内，完满总揽天下。

独揽东说念主：好的，五年总揽天下。（笑）

LeCun：开打趣的。

这话是援用Linus Torvalds。当年有东说念主问他Linux的盘算是什么，他说total world domination。他照实作念到了。

但我照实认为JEPA类天下模子即是异日智能系统的蓝图。

LLM还会有一小块位置，四肢语言接口。

但咱们在遐想的是能想考的系统。它们一运行可能不会语言或听，但它们会想考，然后你可以在上头再加语言和听的本事。

独揽东说念主：你之前就有过这样的履历，在神经蚁集上作念了一个极其逆共鸣的押注，最终被历史讲解正确。

你以为此次，在什么时天职，寰球会刚烈到你又对了？

LeCun：我以为会比预期来得更快。

许多东说念主刚烈到VLA不行，LLM处理不了真实天下的数据。范式调治的领会正在发生。到2027岁首，这会变得对整个东说念主都完满不言而谕。

Tapestry

独揽东说念主：换个话题，聊聊你在作念的Tapestry。

LeCun：这个跟AMI Labs有点正交。

独揽东说念主：好像光AMI还不够你忙的。

LeCun：这是我往时三年操纵迟缓酿成的一个想法。

东说念主们越来越多地使用AI助手来作念多样事情，传统搜索引擎的使用量鄙人降，寰球都平直问我方的AI助手。

若是Meta和其他公司开发的智能斥地规画末端了，比如智能眼镜之类的，你基本上即是通过语音跟你的AI助手对话。你整个的信息获取都将由AI助手来中介。

那么问题来了。

若是你是中好意思之异邦度的东说念主，你用的AI助手是硅谷或者北京公司作念的。其实不太好。

你说的语言，根柢莫得被厚爱对待。

你的文化，这些作念AI的公司不睬解。

你的价值不雅，在互联网上公开可用的考验数据里险些莫得体现。

若何责罚这个问题？

你需要一个平台，基于一个敞开的、免费的基础模子，Llama那种作风的，任何东说念主都可以微调，去适配特定语言、特定文化。

这即是Tapestry的中枢。全球的孝敬者参与考验一个全球模子，这个模子本色上是全天下知识和文化的存储库。

孝敬者孝敬的是数据和算力，同期保留对数据的戒指权。他们不需要把数据分享给其他孝敬者。他们孝敬的是参数向量。

这是一种联邦学习的想路。

一堆数据中心，每个拿到一个全局共鸣模子的参数向量，可以把它集聚为整个孝敬者参数向量的平均。整个孝敬者如期通过一个中心折务器交换参数向量。

土产货worker在更新我方的参数时，同期尽量让它接近全局共鸣向量。跟着考验鼓吹，整个参数都拘谨到一个共鸣模子，它就止境于在所罕有据上考验出来的效果。

咫尺你有了一个敞开模子，效果跟在全天下数据上考验过同样好。然后你可以针对我方的主见去微调。

我认为有一种天然的力量会推动这件事发生。

AI正在快速变成一个平台，平台有天然走向敞开的趋势。

Linux即是这样，互联网的软件基础设施亦然这样，无线蚁集亦然这样。一运行都是独有的，其后全被开源替代了。

OpenAI即是下一个Sun Microsystems

独揽东说念主：这照实是一个很灵巧的方式来叛逆开源萎缩的趋势。许多东说念主惦记闭源模子越来越强，会被用来考验下一代，酿成一种闭源的潜逃效应。

LeCun：还记起1996年互联网基础设施的大玩家是谁吗？

Sun Microsystems、HP、Dell。Sun给你搭配Solaris和他们的独有硬件，HP搭配HP-UX。

Unix比Windows可靠多了，你不会在Windows上跑web server。

但咫尺谁还在用Windows NT跑web server？全部被Linux干掉了。整个这个词互联网跑在Linux上，连Azure都是，微软我方都是Linux。

是以今天的OpenAI、Anthropic，即是昨天的Sun Microsystems和HP-UX。

独揽东说念主：这背后隐含的是你对这些模子本事上限的判断，开源晨夕能追上来。

LeCun：它们照旧用完数据了。

公开可用的、有价值的文本数据照旧全部用罢了，莫得更多了。这些公司在作念的即是购买交易版权数据的授权，或者用合成数据考验。

独揽东说念主：但往时几年照实有一些impressive的放胆，是在大范畴预考验之后取得的。IMO金牌、多样benchmark继续提高。

LeCun：这个很迥殊想。

想想这两个范畴，大阳城(Suncity Group)数学和代码。这两个范畴的共同点是什么？

语言自己即是推理的载体。不是独一的载体，但当你在纸上作念阵势化的数学推演时，你操作的即是语言，LLM在这上头照实很强。讲解定理之类的，LLM很擅长。

但LLM不太擅长建议好的见解、好的界说。创造性的步履，LLM作念不到。数学不仅仅解题，大部分其实是创造性步履。

代码也同样。

LLM是好的智力员，但不是软件架构师，不是诡计机科学家。它们能帮咱们写代码，但还替代不了东说念主类。

它改变的是东说念主类的脚色。

东说念主类咫尺往概括层级上走一层，咱们的办事是决定造什么，而造的经过可以让LLM帮衬。

独揽东说念主：LLM需要作念到什么才能劝服你改变看法？

LeCun：zero-shot的agenting。

给它一个全新的问题，它莫得被考验过责罚这个问题，莫得针对它的剧本。它能不可完成这个从未考验过的任务？

除非这个系统有预计步履后果的本事，何况能用这个本事来作念规画。

也许一个被大幅增强的LLM可以，加上了搜索和规画本事的那种。

咫尺作念数学的LLM其实照旧在作念这件事了，它们搜索能完成特定任务的token序列，可以跑代码或考证讲解是否正确，是以有一种方式来搜检输出是否正确。

但这不是一种高效的规画方式，而且只在token空间里能作念搜索的范畴有用。

我说的JEPA，不是在token空间作念这件事，是在概括想维空间作念。

独揽东说念主：可能有些听众会想，就算效力低，在token空间能work的事情照旧障翳了经济中很大一部分了。

LeCun：对。

LLM擅长什么就用它作念什么，这完满没问题。

我仅仅说，它不是通往AGI的路。而通用AGI能障翳的范畴会止境巨大。

独揽东说念主：听起来你以为LLM在成为软件架构师之前就会到达天花板。

LeCun：它不会到天花板。但它在越来越多的讹诈场景中部署起来会变得越来越艰苦，因为每个场景都要网罗大批考验数据。

而且你没法让这些系统完满可靠，莫得幻觉，莫得危急步履。

为什么与Hinton和Bengio分说念扬镳

独揽东说念主：你和另外两位图灵奖得主分享这份荣誉。但他们似乎对LLM的后劲，或者说潜在控制和安全风险，看法完满不同。你们是什么时候运行分歧的？

LeCun：2023年。

独揽东说念主：什么驱动了这个分歧？

LeCun：不是我改了主意，是他们改了主意。

Hinton之前根柢不这样，他从来莫得杰出热心过LLM。

放胆2023年GPT-4出来的时候，他短暂顿悟了：

天哪，这些系统照旧相配接近东说念主类水平的智能了，它们可能有主不雅体验。

我知说念他的想法玩忽是这样的——

东说念主类皮层大致有160亿个神经元。

若是你想作念某种访佛反向传播的事情，大脑不是平直作念反向传播的，但若是它作念某种梯度预计来优化某种盘算函数，你玩忽需要一个几个神经元构成的电路来复现一个凭空神经元的功能。

是以假定你需要10个真实神经元来复现一个反向传播神经元的功能，那你的皮层就只止境于16亿个神经元。

然后他推理得出：

天哪，GPT-4照旧很接近这个数了！也许它会变得跟东说念主同样灵巧。

我完满不认同这个说法。

我感觉他即是想摆烂了，然后到处去作念对于AI的但愿和危急的演讲。

好了，我可以退休了，我可以布告告成了。

我一辈子都在寻找皮层的学习算法，也许我莫得发现它到底是什么，但反向传播似乎是一个可以的替代品，它work得很好。

嗯嗯，这即是咱们需要的，我可以退休了。

(笑)

……

不外他咫尺对于AI危急的声息比一两年前小多了。

我以为他刚烈到了几件事。

第一，咫尺的LLM没那么灵巧。

第二，在达到东说念主类水平的智能之前，还需要一些见解性的突破。

第三，这些系统的蓝图会跟LLM很不同样，而且咱们很可能有办法让它们可控。

我早在几年前就说过这些事，Hinton最近才刚烈到。

Bengio的情况访佛。

我以为他们两个信得过惦记的，是社会体系能不可确保AI的刚正被最大化，确保AI不会仅仅加重不对等。

这不是那种AI总揽天下的末日场景，更多是坏的使用者的问题。

LLM本色上是不安全的

独揽东说念主：但这个风险光靠今天的LLM就照旧存在了。

LeCun：照实。但我不认为它像一些东说念主宣称的那么末日。笃信不像Anthropic宣称的那么末日。

Anthropic在试图用畏怯来推动AI监管。我完满不认同这种作念法。

独揽东说念主：他们看起来是真的信托。

LeCun：我以为他们照实真的信托。但我也以为，他们有一些很好的交易原理去信托这些。

独揽东说念主：说到这些新架构，你对LLM不是终局这件事很详情，但你我方对新架构的时分线也止境激进。你若何看这些新架构若是真的带来突破，安全方面的问题？

LeCun：我要说一个可能有争议的话。我在Meta的共事笃信不会可爱我说这个。

LLM不可被作念到可靠，因为你没法禁绝它们产生幻觉。

独揽东说念主：按你这样说，它们能完成那些15个小时的编程测试不让你不测吗？

LeCun：代码是一个你能考证的范畴。你生成的代码是否豪迈specification，这是可以搜检的。

但不是整个事情都是代码。照旧有编程agent把你的硬盘给清了的例子，或者作念了蠢事让你亏本了大批数据或资产。

你给一个prompt，它完成对应的任务，但仅限于考验让它学会了对这个prompt作念正确的事。莫得任何硬性料理强制它完成这个任务，也莫得机制让它预计任务是否被正确完成。

而且它们莫得学问。一个月前流传的阿谁洗车见笑，我两周前又试了一遍，整个模子都说你应该走路去。除了Gemini。

独揽东说念主：那Gemini玩忽是考验的时候用了你之前讲这个例子的视频。

LeCun：不是我的视频。不是我发明的这个例子。但照实有这种情况，我说LLM作念不到某件事，六个月后它就能作念了。

原因很浮浅，我在播客上说了LLM作念不到这件事以后，整个东说念主天然会去ChatGPT上打这个问题。于是它就变成了考验集的一部分。下一个版块天然就能回答了。

但这不是因为它短暂变灵巧了，仅仅因为它被这个问题考验过了。

我不认为在刻下范式下有办法缔造这个问题。

我建议的架构是objective-driven AI。你给一个AI系斡旋个盘算，即是完成这个任务。

系统若何知说念它会完成这个任务？

它有一个天下模子，它预计一系列想象中的行径的放胆。

若是这个放胆豪迈一个cost function，态状任务完成到什么进程。那么这个系统通过优化来办事，找到一个能完成任务、最小化cost的行径序列。

天然还有许多可能出错的场合。

cost function可能不准确，你以为它在斟酌任务完成度，但也许不准。

天下模子可能不准确，系统对行径后果的预计可能是错的。

这个系统仍然会犯错，但它至少能在某种进程上预计步履的后果，我认为这对任何agentic系统都是不可或缺的。

你还可以在这个系统上不单加一个保证任务完成的cost function，还可以加一堆其他的盘算函数、cost function，致使是料理条款。

你可以在概括层面指定这些，也可以有底层的盘算函数，组合起来保证系统不会危急。系统从构造上就不可违背这些条款。

LLM作念不到这少许。

LLM老是能潜逃。考验舛讹和测试舛讹之间总有gap，总会存在某个prompt让系统作念出相配愚蠢的事情。

独揽东说念主：能不可聊一个具体范畴。咫尺也有许多东说念主在医疗范畴用LLM。LLM在医疗里作念不到什么，需要一个信得过集聚天下的模子？

LeCun：比如为慢性病患者遐想调整决策，致使非慢性病也同样，杰出是当这个患者的情况不完满合乎你之前见过的模板时，若是你有一个好的对于患者生理动态的心智模子，你可能能遐想出一个信得过能把患者带到好气象的调整决策。

患者也可以是一个细胞。

若何让一个干细胞变成能产生胰岛素的胰腺beta细胞？

一个1型糖尿病患者，免疫系统挫折了我方的beta细胞。若何继续制造beta细胞？

你有莫得一个东说念主类细胞的模子，能让你搞明晰需要给干细胞发什么序列的信号，让它变成beta细胞？

LLM能作念的是复述你能在书上读到的知识。

但你不可只靠念书当大夫。你得作念入院医培训，得会听腹黑，按肚子，才能作念会诊。

为什么离开Meta？

独揽东说念主：你在Meta待了十多年，建了一个天下上最受尊敬的运筹帷幄实验室。最近离开了。精雅那段时分，你以为作念对了什么，作念错了什么？

LeCun：作念对的事情是，建了一个顶级运筹帷幄实验室，信得过作念出了改变，产出了大批基础按序、科学效果和用具，比如PyTorch。

还有一种敞开的、尊重科学经过的文化，我认为这对突破性改变是必要的。

改变有一整条链条。最前端是蓝天运筹帷幄，全新的见解，大部分发生在大学里，少部分发生在工业界的高档运筹帷幄实验室里，这样的实验室一只手数得过来。

Google有一个好的，FAIR也曾是一个好的。但愿它还会络续是。

然后下一步是，这是个好想法，让咱们鼓吹望望它能不可变得有用。

但仍然是运筹帷幄层面的好奇，咱们不会自欺欺东说念主只找一个对这个问题work的决策，咱们要看这个时间能不可被鼓吹到practical，不一定是产等级别的，但至少能讲解它在某个任务或benchmark上随意了纪录。

再下一步是公司说，好了，咱们要参预大批工程力量把这个推上前。

这一步是大批容颜失败的场合，亦然许多公司掉链子的场合。

Meta在这方面其实还可以，但远非完好。

部分是组织问题。

你需要一个离运筹帷幄很近、但又不完满是居品组织的团队来接力。不是那种三个月deadline出居品的组织，而是能络续往前推时间的。

咱们也曾有过这样的组织，其后丢了。FAIR在公司里变得一身，有许多想法没东说念主接。

2023年Gen AI组织成立，从FAIR抽了60到70个科学家和工程师，其后范畴扩大了。

但它靠近太大的短期压力，没时分跟FAIR交流。放胆原本应该在LLM上保持前沿和改变的Gen AI，只可聚焦短期盘算，变得相配保守。运筹帷幄和居品之间出现了gap。

独揽东说念主：Llama 4即是这样的情况吗？

LeCun：致使从Llama 3运行即是了。Llama 1是2022年到2023岁首FAIR里面的一个小容颜。

然后Gen AI组织成立，Llama的东说念主被调了往时，运行作念Llama 2。

接着一批东说念主刚烈到，我可以出去创业。

这即是Mistral的发祥，Llama 1的两位作家和一个来自Google的东说念主一说念创办了Mistral。

那段时分，不少东说念主离开了Meta。

接办了Llama后续办事的Gen AI组织靠近巨大的短期压力，变得相配保守。

有来自指点层的压力，也有团队自身的问题。事情出问题的方式有许多种，你没法怨尤于某一个东说念主。

独揽东说念主：咫尺许多组织都靠近这种短期压力。你以为像当年FAIR那样的纯运筹帷幄环境，在今天的行业里还有可能存在吗？如故说独一的前途即是离开、我方开公司？

LeCun：我以为Google Research和DeepMind里面还有少数场合是真的在作念运筹帷幄。但整个这个词行业越来越顽固了。

Google在收紧，Meta和FAIR也在往并吞个标的走。咫尺对发表论文有了更多末端，若是你作念的东西中期来看跟公司业务关联，他们会告诉你不要公开商议。

这种氛围对突破性运筹帷幄是不利的。

很缺憾，因为要得回突破性运筹帷幄其实很浮浅。就雇最佳的东说念主，这些东说念主有感觉，知说念该作念什么容颜。

你给他们告成所需的资源，然后……

回望FAIR

独揽东说念主：这对更庸碌的运筹帷幄社区意味着什么？FAIR的遗产之一是培养了大批运筹帷幄者，他们咫尺遍布整个这个词生态系统。但咫尺进入这个范畴的年青东说念主，可能一上来就被扔进短期导向的环境。

LeCun：自得跟我一说念办事的东说念主，频繁有两个秉性。

一是弥漫疯。

二是认并吞个理念，即是在学术界读PhD时间，你应该作念下一代AI系统，不应该作念刻下这一代。

若是你咫尺在学术界作念LLM，说真话相配败兴。基本上即是运筹帷幄LLM为什么work、若何work、局限性是什么。这是态状性科学，没什么创造性。没好奇。

而且若是你真想用LLM作念新东西，你在学校根柢拿不到需要的GPU。

是以算了。

若是你在读PhD，别作念LLM。莫得道理，你作念不了孝敬。

独揽东说念主：你若何知说念是时候离开Meta了？

LeCun：是多种成分的组合。

许多东说念主对我在Facebook和Meta的脚色有完满不实的领会。我2013年底加入，信得过运行是2014岁首。头四年半我是FAIR的director，我建立了FAIR的组织架构，建树了文化，雇了中枢的东说念主，管理整个这个词团队。

四年半后我从这个脚色退下来了，变成了Chief AI Scientist。

一方面，快六十了，我即是不想作念管理了。我自得作念一阵子来把组织建起来，但我不擅长这个。

我更像是一个科学或时间上的visionary，一个engineering scientist。

成为Chief AI Scientist之后，我向CTO陈说。运行鼓吹一个我认为必要的运筹帷幄容颜，因为FAIR的贪心一直是构建智能系统。我管FAIR的时候把我方的运筹帷幄扬弃了，没时分作念。

其时我照旧酿成了一个见解，这个架构会基于自监督学习，基于从感知信号比如视频中作念预计。这些即是天下模子的想法。

2016年我在NeurIPS作念了一个keynote，说AI运筹帷幄应该走这个标的，天下模子，预计步履的后果，然后规画。

我说RL不会带咱们到那边，因为太低效了。监督学习照旧领会了它的局限。异日是自监督学习和天下模子。

那若何作念自监督学习和天下模子？

我启动了几个容颜，有些标的没走通。作念了一些视频预计的办事，然后酿成了这个见解：

你可以在视频上作念自监督考验，但必须让系统在表征空间作念预计，而不是在像素空间。

这即是JEPA的中枢想法。

这个想法玩忽在2020年景形。2022年我写了一篇很长的vision paper，把我的整个这个词愿景都写出来了。把整个好意思妙都摊开，我不在乎。我但愿这能把一批东说念主拉到这个方进取来。

照实work了。

不仅眩惑来了一批学生，在NYU和巴黎的，因为他们想作念这个标的。

FAIR里面也有一整个这个词团队说，这即是咱们想作念的。然后Joelle Pineau说，这应该成为FAIR的一个紧要责任，咱们管它叫Advanced Machine Intelligence。

独揽东说念主：然后他们让你带着这个名字出去创业了。

LeCun：对。扎克伯格读了那篇论文，知说念它在说什么，认同这个容颜。CTO Andrew Bosworth亦然，前CTO亦然，CPO亦然。指点层对这个容颜有许多复古。

但其后公司把整个元气心灵重新聚焦到LLM上了。

尽管有指点层的复古，底下的层级不太买账。

而且JEPA天下模子的讹诈，天然在可穿着智能体和机器东说念主方面有场景，但Meta机器东说念主运筹帷幄组被砍掉了。

是以这个环境不合了。

JEPA的大部分讹诈场景在Meta不感意思的工业范畴。FAIR越来越被要求去帮LLM的忙。

独揽东说念主：Scale AI的收购是不是这个纯LLM聚焦的催化剂之一？

LeCun：笃信是的。可能还有其他原因。我不祥情我有弥漫的里面信息来褒贬，但有可能扎克伯格在亚历山大王身上看到了某种交班东说念主的影子，一个更年青版块的我方。

独揽东说念主：许多媒体叙事是说亚历山大王来了以后，纯运筹帷幄组织就更难运转了。

LeCun：这里有一个很大的污蔑，对于我的脚色、我跟亚历山大王的干系，以及AI在Meta是若何运作的。

我对Llama的时间孝敬是零，完满莫得。我对Llama的独一孝敬是力主开源Llama 2。

其时里面有很大的争论。这是一个相配高层级的商议，每周两小时，从扎克伯格往下玩忽40个东说念主，继续了好几个月。

我和Boz都相配明确田主张，安全风险被夸大了，创造一个产业的契机相配大，开源Llama 2会启动整个这个词AI产业。事实讲解照实如斯。

但Llama自己，我的时间孝敬是零。我既莫得推动它，也莫得装束或拖慢它。

FAIR里面有许多东说念主在作念LLM，这很好。我从来莫得反对过，仅仅说这不是通往东说念主类水平智能的路。但它有用，跟语音识别或翻译同样有用。

杰出是2018年我从FAIR director退下来以后，我对别东说念主在作念什么莫得平直影响。我仅仅发表我的愿景，然后把东说念主拉到我的容颜上来。

他们跟我合营是因为他们自得，不是因为我是他们的雇主。

到了2024岁首、尤其是2025年，FAIR的走向和管理方式照旧不合乎我认为保持改变、运筹帷幄和突破所需要的条款了。

播客相连：

https://unsupervised-learning.simplecast.com/episodes/ep-86-yann-lecun-on-leaving-meta-breaking-the-llm-paradigm-why-hinton-is-wrong-rZ6fpa_8

参考相连：

[1]https://x.com/jacobeffron/status/2055279354821607551

一键三连「点赞」「转发」「留神心」

迎接在褒贬区留住你的想法！

— 完 —

中国AIGC产业峰会全声势发布！🔍检察议程

从底层架构到爆款讹诈，从软件到硬件，从创作到投资... 这一次，咱们但愿聚王人AI赛说念的实战派，聊透AI到底若何落地、若何收获、若何改变办事。

5月20日，北京·金茂万丽酒店，@整个东说念主，随即AI起来！👉 

一键热心 👇 点亮星标

科技前沿进展逐日见澳门大阳城官网(SuncityGroup)