3月22日，特斯拉前人工智能和Autopilot負(fù)責(zé)人安德里杰·卡爾帕西分享了他在GPT-2訓(xùn)練配置中的新發(fā)現(xiàn)?？柵廖髟跀?shù)月的手動(dòng)調(diào)試后，讓一個(gè)自主智能體接管了訓(xùn)練過(guò)程，結(jié)果智能體僅用一個(gè)晚上就找到了他忽略的精細(xì)調(diào)優(yōu)參數(shù)，這些參數(shù)之間存在相互作用，人類容易遺漏，但對(duì)系統(tǒng)性搜索卻十分明顯。

卡爾帕西認(rèn)為，研究人員應(yīng)該在存在客觀指標(biāo)的領(lǐng)域中從流程中抽離自己，以充分利用現(xiàn)有工具。他指出，AI實(shí)驗(yàn)室的研究者過(guò)于依賴直覺，而他們的工作正在被系統(tǒng)性地自動(dòng)化。盡管AI模型在編程等容易驗(yàn)證的任務(wù)上不斷進(jìn)步，但卡爾帕西認(rèn)為這些進(jìn)展難以遷移到更難量化的領(lǐng)域。他強(qiáng)調(diào)，盡管模型進(jìn)步顯著，但在某些領(lǐng)域的應(yīng)用仍面臨挑戰(zhàn)。