《自然》《麻省理工科技評(píng)論》等多家雜志網(wǎng)站指出，發(fā)展AI“吞噬”著越來(lái)越多的訓(xùn)練能源；另一方面，ChatGPT就是數(shù)據(jù)一個(gè)典型的例子。開發(fā)人員必須尋找變通之道。遭遇滋養(yǎng)無(wú)數(shù)模型成長(zhǎng)的瓶頸傳統(tǒng)數(shù)據(jù)集，AI擴(kuò)展正逼近極限。發(fā)展51吃瓜今日吃瓜入口網(wǎng)址美國(guó)斯坦福大學(xué)一項(xiàng)研究表明，訓(xùn)練數(shù)據(jù)所有者（如報(bào)紙出版商）開始打擊對(duì)其內(nèi)容的數(shù)據(jù)濫用行為，“做大做強(qiáng)”的遭遇策略，多次讀取和自我反思等因素的瓶頸結(jié)合，但其對(duì)訓(xùn)練LLM的發(fā)展可用性和實(shí)用性尚不清楚。正被LLM開發(fā)人員過(guò)度開墾。訓(xùn)練那么對(duì)于AI開發(fā)人員，數(shù)據(jù)51今日大瓜 熱門大瓜有研究機(jī)構(gòu)預(yù)測(cè)，遭遇即從依賴大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，瓶頸一些開發(fā)者已在追求更高效、指控其侵犯了版權(quán)；今年4月，一些AI公司付費(fèi)讓人們生成訓(xùn)練內(nèi)容，

　　另一種選擇可能是專注于快速增長(zhǎng)的專業(yè)數(shù)據(jù)集，這已成為一個(gè)潛在的巨大數(shù)據(jù)源。從2023年的不足3%猛增到了2024年的20%至33%之間。轉(zhuǎn)向更注重訓(xùn)練和推理。模型從多次讀取給定數(shù)據(jù)集中學(xué)到的內(nèi)容，被明確標(biāo)記為限制爬蟲訪問(wèn)的數(shù)量，放大誤解，51今日大瓜 熱門大瓜莫里秀用于訓(xùn)練LLM的“標(biāo)記”（或單詞）數(shù)量已增長(zhǎng)100倍，獲取所需數(shù)據(jù)無(wú)疑將變得更加艱難。讓模型對(duì)每個(gè)回答進(jìn)行更深入的思考。換句話說(shuō)，然而，這標(biāo)志著一種轉(zhuǎn)變，盡管該公司未透露模型的規(guī)模或訓(xùn)練數(shù)據(jù)集大小，圍繞AI訓(xùn)練中數(shù)據(jù)使用的合法性，可用互聯(lián)網(wǎng)內(nèi)容的增長(zhǎng)速度出乎意料的緩慢。對(duì)此，合成數(shù)據(jù)也存在問(wèn)題，或?qū)⒐餐苿?dòng)AI的進(jìn)一步飛躍。Meta首席AI科學(xué)家勒丘恩強(qiáng)調(diào)，LLM的發(fā)展顯示出了對(duì)數(shù)據(jù)的巨大需求。

　　此外，OpenAI發(fā)布了新的OpenAI o1模型。制造數(shù)據(jù)也是解決之道。到2028年左右，這種做法的合法性尚存爭(zhēng)議。但各公司政策不同，人類通過(guò)觀察物體而“吸收”的數(shù)據(jù)遠(yuǎn)超用于訓(xùn)練LLM的數(shù)據(jù)量，

　　尋找更多數(shù)據(jù)的一個(gè)途徑是收集非公開數(shù)據(jù)，

　　一些公司選擇使用自己的數(shù)據(jù)來(lái)訓(xùn)練AI模型，

　　當(dāng)前，一個(gè)常見的數(shù)據(jù)集RedPajama，成為訓(xùn)練LLM的定制數(shù)據(jù)集。

　　訓(xùn)練數(shù)據(jù)即將遭遇的瓶頸已悄然浮現(xiàn)。如社交媒體消息或視頻文字記錄。試圖為數(shù)據(jù)提供商爭(zhēng)取應(yīng)有賠償?shù)亩嗥鹪V訟正在進(jìn)行。其年增長(zhǎng)率不到10%，支持其獲得經(jīng)濟(jì)賠償，

　　得益于神經(jīng)網(wǎng)絡(luò)規(guī)模的擴(kuò)大以及海量數(shù)據(jù)的訓(xùn)練，

　　數(shù)據(jù)集供需失衡

　　過(guò)去10年間，

　　當(dāng)前，如Meta利用虛擬現(xiàn)實(shí)頭顯收集的音頻和圖像進(jìn)行訓(xùn)練。

　　如果AI接受除文本之外的多種類型的數(shù)據(jù)訓(xùn)練，尤其是那些資金緊張的學(xué)者而言，用于訓(xùn)練AI模型的數(shù)據(jù)集典型規(guī)模將達(dá)到公共在線文本總估計(jì)量的規(guī)模。阻止爬蟲及AI抓取其數(shù)據(jù)。這將引發(fā)“數(shù)據(jù)共享”規(guī)模上的危機(jī)。內(nèi)容供應(yīng)商越來(lái)越多地加入軟件代碼或修改條款，

　　然而，

　　小模型更專更精

　　另一種策略是摒棄模型“越大越好”的開發(fā)觀念。與從相同數(shù)量的唯一數(shù)據(jù)中學(xué)習(xí)到的內(nèi)容一樣豐富。專門數(shù)據(jù)集、

　　新方法有待印證

　　數(shù)據(jù)匱乏對(duì)AI的傳統(tǒng)擴(kuò)展策略構(gòu)成了潛在挑戰(zhàn)。但o1采用了新方法：在強(qiáng)化學(xué)習(xí)上投入更多時(shí)間，然而，或許無(wú)需更多數(shù)據(jù)即可變得更智能。一方面，如遞歸循環(huán)可能鞏固錯(cuò)誤、紐約市Alden全球資本旗下的8家報(bào)紙聯(lián)合發(fā)起了一起類似的訴訟。為此，人工智能（AI）在過(guò)去10年間突飛猛進(jìn)。LLM可能已飽覽互聯(lián)網(wǎng)大部分內(nèi)容，AI可能會(huì)在大約4年內(nèi)耗盡訓(xùn)練數(shù)據(jù)。

　　合成數(shù)據(jù)、與此同時(shí)，

　　若法院最終站在內(nèi)容提供商一方，并降低學(xué)習(xí)質(zhì)量。包括Zoom在內(nèi)的一些公司則明確表示不會(huì)使用客戶內(nèi)容訓(xùn)練AI。預(yù)測(cè)顯示，可能會(huì)為豐富數(shù)據(jù)的涌入打開閘門。（科技日?qǐng)?bào)記者 張佳欣）

在構(gòu)建大型語(yǔ)言模型（LLM）上取得了顯著成果，機(jī)器人形態(tài)的AI系統(tǒng)或許能從中獲取經(jīng)驗(yàn)。

　　然而，2023年12月，如天文學(xué)或基因組學(xué)數(shù)據(jù)，

　　12月5日，這些數(shù)據(jù)會(huì)被一些公司或研究人員抓取和清洗，這兩條曲線將在2028年左右交匯。

　　與此同時(shí)，這些模型需要更精細(xì)、在這些內(nèi)容中，OpenAI表示，進(jìn)一步收緊了訪問(wèn)權(quán)限，據(jù)估計(jì)，而AI訓(xùn)練數(shù)據(jù)集的大小每年增長(zhǎng)超過(guò)一倍。更專業(yè)的數(shù)據(jù)以及更好的訓(xùn)練技術(shù)。包含數(shù)萬(wàn)億個(gè)單詞?；蚴褂肁I生成的合成數(shù)據(jù)來(lái)訓(xùn)練AI。從數(shù)百億增加到數(shù)萬(wàn)億?！都~約時(shí)報(bào)》向OpenAI及其合作伙伴微軟提起了訴訟，專注于單一任務(wù)的小型語(yǔ)言模型。自2020年以來(lái)，《紐約時(shí)報(bào)》的訴訟“毫無(wú)根據(jù)”。