為什麼LLM在產生程式碼方面顯得比產生一般文字好得多？
Q 為什麼 LLMs 在產生程式碼方面顯得比產生一般文字好得多？ A 因為，與現實世界不同，程式所操縱的宇宙（變數的狀態）是有限的、離散的、確定的和完全可觀察的。 這點有解決我心中的疑問，因為在使用 Codpilot 或是 ChatGPT 當作程式設計輔助工具，體驗大部分都不錯 以下翻譯自 FB 上面看到 Yann LeCun 列出了 14 點 - 我對當前（auto-regressive）LLMs 的堅定看法 1. 它們是有用的寫作輔助工具 2. 它們是 "被動的"，沒有計劃，也沒有理由 3. 它們編造東西或大約檢索東西 4. 這可以通過人類的反饋來緩解，但不能固定 5. 更好的系統會出現 6. 目前的 LLMs 應該被用作寫作輔助工具，而不是更多 7. 將它們與搜索引擎等工具結合起來是非常不容易的 8. 8. 將會有更好的系統，它們是事實的、無毒的、可控制的。它們只是不會是自動迴歸的LLMs 9.我在為 Galactica 作為科學寫作輔助工具進行辯護時，一直堅持上述觀點 10. 警告人們， AR-LLMs 會編造東西，不應該用來獲得事實的建議 11. 警告大家， LLMs 只能捕捉到人類知識的一小部分膚淺的東西 。 12. 明確指出，更好的系統將會出現，但它們將基於不同的原則 它們不會是自動迴歸的 LLMs。 13. 為什麼 LLM 在產生程式碼方面顯得比產生一般文字好得多？ 因為，與現實世界不同，程式所操縱的宇宙（變數的狀態）是有限的、離散的、確定的和完全可觀察的。 而現實世界卻不是這樣的。 14. 與 Galactica 最尖銳的批評者所聲稱的不同 - LLMs *正在被用作寫作輔助工具。 - 他們*不會*破壞社會的結構，使無意識的大眾相信他們捏造的胡話。 - 人們會把它們用在對他們有幫助的地方。 感想 用了一陣子 ChatGPT 跟 Notion AI ，對於 AI 會捏造事實這一點確實要小心，很容易造成認知謬誤 關於我 learningnotes.plus 創辦人 Maoyang's AI Canvas Soft & Share 網站站長 開源報報主編