2020年5月底OpenAI發布了有史以來最強的NLP預訓練模型GPT-3，最大的GPT-3模型參數達到了1750億個參數。論文《Language Models are Few-Shot Learners》長達74頁已發布在arXiv。
有網友估算最大的GPT-3模型大小大約有700G，這個大小即使OpenAI公開模型，我們一般的電腦也無法使用。一般需要使用分布式集群才能把這個模型跑起來。雖然OpenAI沒有公布論文的花費，不過有網友估計這篇論文大約花費了上千萬美元用于模型訓練。
如此驚人的模型在模型的設計上和訓練上有什么特別之處嗎？答案是沒有。作者表示GPT-3的模型架構跟GPT-2是一樣的，只是使用了更多的模型參數。模型訓練也跟GPT-2是一樣的，使用預測下一個詞的方式來訓練語言模型，只不過GPT-3訓練時使用了更多的數據。
既然這樣，那這只怪獸特別之處是什么？GPT-3論文的核心在于下圖：
| 資料獲取 | |
| 新聞資訊 | |
| == 資訊 == | |
| » 人形機器人未來3-5年能夠實現產業化的方 | |
| » 導診服務機器人上崗門診大廳 助力醫院智慧 | |
| » 山東省青島市政府辦公廳發布《數字青島20 | |
| » 關于印發《青海省支持大數據產業發展政策措 | |
| » 全屋無主燈智能化規范 | |
| » 微波雷達傳感技術室內照明應用規范 | |
| » 人工智能研發運營體系（ML0ps）實踐指 | |
| » 四驅四轉移動機器人運動模型及應用分析 | |
| » 國內細分賽道企業在 AIGC 各應用場景 | |
| » 國內科技大廠布局生成式 AI，未來有望借 | |
| » AIGC領域相關初創公司及業務場景梳理 | |
| » ChatGPT 以 GPT+RLHF 模 | |
| » AIGC提升文字 圖片滲透率,視頻 直播 | |
| » AI商業化空間前景廣闊應用場景豐富 | |
| » AI 內容創作成本大幅降低且耗時更短 優 | |
| == 機器人推薦 == | |
服務機器人(迎賓、講解、導診...) |
|
智能消毒機器人 |
|
機器人底盤 |
 |
