大佬喊話，AI寒冬已來？
OpenAI原聯合創始人-Ilya Sutskever言明AI已遇瓶頸。
OpenAI的原聯合創始人-Ilya Sutskever指出，使用大量未標記數據來理解語言模式和結構的訓練階段已經接近尾聲。
他提到，擴展訓練的結果已經趨于平穩，意味著通過增加數據和算力來提升AI模型性能的方法（即Scaling Law）已經遇到瓶頸。
像ChatGPT這樣的大型語言模型（LLMs）當前擴展策略已達到極限
根據Ilya Sutskever的說法，簡單地通過增加更多數據和計算資源來擴大規模已不足以實現有意義的進步。
Ilya表示，雖然增加計算能力仍然是提升AI性能的一個方式，但已經無法像以前那樣通過不斷堆砌算力和數據量來實現模型的大幅提升。
大模型企業需要采用更智能的訓練技術，更加重視模型訓練的方式和內容，而不僅僅是關注規模大小。
這種方法的轉變代表了人工智能發展的關鍵轉折點，超越了“越大越好”的理念。
預訓練階段，大模型被輸入大量未分類數據以識別模式和結構的過程，一直是開發強大LLMs的基石。
這個階段，模型通過消化各種文本——從書籍、文章到網站和社交媒體帖子——來學習語言表示，使其能夠識別語法、語法和含義。
從過往發展上看，這種方法效果很好，通過簡單地增加數據量，LLMs提高性能。
然而，Ilya Sutskever認為這種方法現在已經趨于平穩。增加更多數據所帶來的性能提升正在減少，更重要的是，人們越來越意識到模型的有效性不僅取決于它處理的數據量，還取決于它接觸到的數據的質量和結構。
意味著大模型企業必須重新思考他們的策略，以在LLMs的發展上取得進一步的進展，換句話說，大模型進一步發展的大山跨不過去，也許就是一道“生死分割線”。
向“更智能”訓練的轉變，應該更關注模型的細膩度
Ilya Sutskever提及研究人員現在需要考慮更先進的方法來完善學習過程，而不僅僅是增加數據集的大小。
包括改進訓練期間使用的算法，優化數據管理，并引入更先進的技術，如強化學習或多模態訓練，其中模型不僅接觸到文本，還接觸到圖像、視頻或其他形式的數據。
Ilya Sutskever關于未來的LLMs將需要“稍微思考更長時間”的評論強調了進步的另一個關鍵方面。
大模型需要在更長時間內進行更復雜推理的能力，對于需要深度理解、多步驟推理或長期記憶的任務越來越必要。
隨著復雜性增長，大模型必須能夠在更長的對話中保持上下文，執行更復雜的任務，并響應數據中更微妙的線索。
例如，像ChatGPT當前的LLMs可以在單次對話中生成令人印象深刻的連貫且與上下文相關的回應。
但是很明顯，在長期交流中的上下文或處理復雜邏輯推理任務的時候，還存在很多困難。
為了克服這一限制，未來的模型將需要實現更好的記憶機制和更復雜的處理能力，以便“思考”更長時間。
隨著計算能力的持續增長， 走在前列的大模型企業關注的重點 逐漸從簡單地擴展模型轉向更高效和更具上下文智能發展。涉及神經網絡、機器學習算法以及人工智能系統處理和保留信息的方式的技術進步的結合。
未來有了更智能、思考更長時間的模型，人工智能可以變得更適應性，允許與用戶進行更個性化、更準確、更有洞察力的互動。
當然如果技術有進一步落地，人工智能應用也將會實現在從醫療保健到金融到客戶服務等多個行業的突破。
總之，Ilya Sutskever強調了人工智能研究中一個關鍵時刻：隨著LLMs的預訓練階段達到其極限，未來的進展取決于開發更智能的訓練技術和提高模型在更長時間內保持上下文的能力。
在當下，對于大模型企業來說，正確選擇擴展的方向比以往任何時候都更為重要。
大模型企業必須重新思考處理模型擴展的方法，少關注簡單地增加更多數據和計算資源，更多地關注完善訓練過程和開發能夠更深入、更連貫地推理的模型。
llya驚起千層浪，他的SSI什么來頭？
SSI（Safe Superintelligence）由Ilya Sutskever、Daniel Levy和Daniel Gross三人創立，旨在開發遠超人類能力的安全人工智能系統。Ilya Sutskever曾強調，他們的首要產品將是關于超級智能的安全。
SSI在沒有發布任何產品的情況下，三個多月就已經籌集了10億美元現金，公司估值達到50億美元。
Ilya Sutskever 是 OpenAI 的聯合創始人之一，在2024年5月離開。他是人工智能領域最具影響力的技術專家之一，曾師從被稱為“人工智能教父”的 Geoffrey Hinton，也是擴展假設的早期倡導者。
Daniel Gross曾擔任蘋果公司AI技術負責人，也曾是前Y Combinator合伙人，而 Daniel Levy則是 OpenAI 的前員工。
SSI以常規的營利性結構運營，現在約10名員工，分布在加利福尼亞州的帕洛阿托以及以色列特拉維。
SSI的投資者包括頂級風險投資公司 Andreessen Horowitz、Sequoia Capital、DST Global 和 SV Angel，以及由 Nat Friedman 和 SSI 首席執行官 Daniel Gross 運營的投資合伙企業 NFDG。
SSI是否能掀起大模型界的“研究山峰”
當然在這次眾人關注的對話中，Ilya也提到，SSI已經發現了一個新的研究領域，有可能改變我們對人工智能的理解。
他將這一研究領域比作一座山，表示一旦攻克這座山，AI的“范式”將發生根本性的改變。 讓大家對SSI未來的技術突破賦予期待，他們有可能帶來一場AI領域的“革命”。
然而，具體的研究方向和細節仍未公開。
另一方面，也基于Ilya過往的工作經歷，他多次表明他和SSI的目標不僅僅是推動AI技術的邊界，更重要的是通過確保超級智能的安全，避免可能帶來的倫理和社會風險。 盡管Scaling Law可能已遇到瓶頸，但SSI的探索表明，AI領域的進展依然充滿潛力，且正在朝著更加復雜和安全的方向發展。
從目前來看，AI的進步不再是單純的技術競爭，更多的是如何平衡技術發展、安全、商業化之間的關系，無疑是一個具有挑戰性的長期課題。
隨著新方法和新領域的突破，未來的人工智能可能會以一種全新的方式與我們相遇。
本文鏈接：http://knowith.com/news-23-25502.html大佬喊話，AI寒冬已來？
聲明：本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
