深度學習之父 Yann LeCun 創立 AMI Labs：10 億美元押注模塊化 AI 架構
深度學習之父、Meta 前首席 AI 科學家 Yann LeCun 去年底離開 Meta，創立了 Advanced Machine Intelligence Labs（AMI Labs），獲得高達 10 億美元的融資，然而公司僅有 12 名員工。這項投資顯示投資人對 AI 領域仍抱有高度期待，但 LeCun 本人認為，目前所稱的 AI（即大型語言模型 LLM）並非能產生有意義、長期結果的正確技術路線。
AMI Labs：五年內不考慮商業化
AMI Labs 將維持作為研究組織的定位，預期在 五年內不會推出可銷售的產品。LeCun 認為，AI 的未來不在於巨大的通用語言模型，而在於由模塊化組件構成的 AI 系統，這些組件針對特定用例進行訓練和運行。
LeCun 提出的 AI 系統包含以下幾種核心元素：
- 世界模型（World Model）：專注於 AI 運行領域的模型，可能是行業特定或角色特定
- 執行器（Actor）：基於經典強化學習，提出下一步動作
- 批評者（Critic）：根據世界模型和短期記憶分析不同選項，並根據硬編碼規則評估建議的步驟
- 感知系統（Perception System）：特定於 AI 用途的感知，如影片、音頻、文字、影像等
- 短期記憶（Short-term Memory）
- 配置器（Configurator）：協調上述各模塊之間的信息流動
與現有 LLM 的根本差異
大型語言模型的訓練數據僅來自單一來源（從網際網路抓取的文本），而 LeCun 提出的 AI 每個實例都會接收與其環境和用途相關的定向數據。在每個版本中，各模塊的重要性可能有不同的設置。例如，在處理敏感資訊的領域，批評者模塊將更加全面；在需要快速回應現實事件的系統中，感知模塊則至關重要。
LeCun 表示：「不同於透過觀察人類學習，系統是透過模擬環境中的自我訓練來學習。」每個模塊都會根據 AI 特定領域的相關方式進行訓練。歷史上已有幾個成功的案例，例如可以自學如何玩視訊遊戲或棋盤遊戲的機器學習系統——這些與目前構成主流 AI 討論的大型語言模型形成對比。
財務意涵與產業影響
若 LeCun 的想法能產生豐碩且可行的結果，AMI Labs 方法所產生的 AI 將對當前 AI 產業產生有趣的財務影響。過去五年來，大型科技公司（Anthropic、Meta、OpenAI、Google 等）的大型語言模型每次迭代都消耗更多資源。除早期模型規模增長外，改進其後版本輸出所需的遞歸提示意味著訓練和運行大型模型的成本越來越高，只有大型企業能夠承受財務虧損來運行它們。
AMI Labs 提出的解決方案中，較小的專注模塊可以在只需巨型 LLM 所需 GPU 功率的一小部分上運行，甚至可以在設備上運行。與 ChatGPT 使用的數千億參數模型相比，專家模型（不需要成為通才）可能只需要幾億參數。再加上運算成本普遍下降的假設，代表本地化、廉價且本質上更精確的 AI 可能即將到來。
來源：