第一天

大模型的歷史發(fā)展

大模型的起源：從早期神經(jīng)網(wǎng)絡(luò)到Transformer

重要的里程碑：AlexNet、BERT、GPT系列等

大模型的演進(jìn)：模型規(guī)模與性能的關(guān)系

大模型在不同領(lǐng)域的應(yīng)用

自然語言處理領(lǐng)域

計算機(jī)視覺領(lǐng)域

自動駕駛、醫(yī)療、金融等領(lǐng)域的案例分析

自動駕駛、醫(yī)療、金融等領(lǐng)域的案例分析

大模型商業(yè)模式

大模型的商業(yè)應(yīng)用場景

云計算與AI服務(wù)

大模型數(shù)據(jù)許可與訪問模式

大模型的商業(yè)利潤模式

當(dāng)前中國的政策支持

中國AI產(chǎn)業(yè)政策的演變

大模型的政策支持與監(jiān)管

數(shù)據(jù)隱私與安全政策

知識產(chǎn)權(quán)保護(hù)

案例研究與討論

分析大模型在中國的商業(yè)成功案例

政策對企業(yè)和行業(yè)的影響

介紹Lora、FT和PT的基本原理和方法

未來展望：中國大模型行業(yè)的機(jī)遇與挑戰(zhàn)

第二天

Lora

介紹Lora的背景、原理和優(yōu)勢

講解Lora的核心技術(shù)，包括低秩矩陣分解、稀疏注意力機(jī)制和動態(tài)投影

演示如何使用Lora對GLM等大模型進(jìn)行壓縮和加速

指導(dǎo)學(xué)員進(jìn)行Lora的實驗，包括安裝環(huán)境、下載數(shù)據(jù)集、運行代碼和評估結(jié)果

FT

介紹FT的背景、原理和優(yōu)勢

講解FT的核心技術(shù)，包括參數(shù)共享、任務(wù)適應(yīng)和知識蒸餾

演示如何使用FT對GLM等大模型進(jìn)行微調(diào)和遷移一

指導(dǎo)學(xué)員進(jìn)行FT的實驗，包括選擇任務(wù)、加載模型、調(diào)整參數(shù)和測試性能

第三天

PT

介紹PT的背景、原理和優(yōu)勢

講解PT的核心技術(shù)，包括自監(jiān)督學(xué)習(xí)、掩碼語言模型和下一句預(yù)測

演示如何使用PT對GLM等大模型進(jìn)行預(yù)訓(xùn)練和初始化

指導(dǎo)學(xué)員進(jìn)行PT的實驗，包括構(gòu)建語料庫、設(shè)計目標(biāo)函數(shù)、訓(xùn)練模型和保存權(quán)重

實驗

實驗室實踐：參與者將應(yīng)用所學(xué)知識，進(jìn)行一個大模型訓(xùn)練和微調(diào)的實際項目

案例研究：探討大模型在實際項目中的成功案例