為什麼LLM在產生程式碼方面顯得比產生一般文字好得多？
Q 為什麼 LLMs 在產生程式碼方面顯得比產生一般文字好得多？
A 因為，與現實世界不同，程式所操縱的宇宙（變數的狀態）是有限的、離散的、確定的和完全可觀察的。
這點有解決我心中的疑問，因為在使用 Codpilot 或是 ChatGPT 當作程式設計輔助工具，體驗大部分都不錯
以下翻譯自 FB 上面看到 Yann LeCun 列出了 14 點 - 我對當前（auto-regressive）LLMs 的堅定看法
1. 它們是有用的寫作輔助工具
2. 它們是 "被動的"，沒有計劃，也沒有理由
3. 它們編造東西或大約檢索東西
4. 這可以通過人類的反饋來緩解，但不能固定
5. 更好的系統會出現
6. 目前的 LLMs 應該被用作寫作輔助工具，而不是更多
7. 將它們與搜索引擎等工具結合起來是非常不容易的
8. 8. 將會有更好的系統，它們是事實的、無毒的、可控制的。它們只是不會是自動迴歸的LLMs
9.我在為 Galactica 作為科學寫作輔助工具進行辯護時，一直堅持上述觀點
10. 警告人們，AR-LLMs 會編造東西，不應該用來獲得事實的建議
11. 警告大家，LLMs 只能捕捉到人類知識的一小部分膚淺的東西。
12. 明確指出，更好的系統將會出現，但它們將基於不同的原則
它們不會是自動迴歸的 LLMs。
13. 為什麼 LLM 在產生程式碼方面顯得比產生一般文字好得多？
因為，與現實世界不同，程式所操縱的宇宙（變數的狀態）是有限的、離散的、確定的和完全可觀察的。
而現實世界卻不是這樣的。
14. 與 Galactica 最尖銳的批評者所聲稱的不同
- LLMs *正在被用作寫作輔助工具。
- 他們*不會*破壞社會的結構，使無意識的大眾相信他們捏造的胡話。
- 人們會把它們用在對他們有幫助的地方。
感想
用了一陣子 ChatGPT 跟 Notion AI ，對於 AI 會捏造事實這一點確實要小心，很容易造成認知謬誤
留言