因為 Claude Code 搜尋文獻、載入文獻跟下載 PDF 問題不少,所以我繼續測後面的動作。

我把 PDF 全部下載整理好,請他去萃取數據。但 13 篇文獻,他只用 9 篇,指導了半天還是不行。

於是我把自己的論文 PDF 傳給他,叫他讀,仔細研究自己犯了什麼錯。截圖為表格上半部,其實錯誤率頗高。

這是「我已經知道正確答案」的方式去測試。如果都不懂的狀況,直接用 AI 第一次出的結果去寫論文……那可能就等著被檢驗,然後寫 correspondence 批評,或甚至期刊社去函工作醫院的 IRB,要求檢驗研究真實性。

的確可以訓練他,叫他記得這些錯誤。但哲學問題是:

「你怎麼知道他未來就不會犯新的錯誤呢?」還是你打算一輩子幫他檢查。

如果這樣,那一開始就自己做、自己整理,不是更好嗎?這是我的疑惑。