為了提高万泰科研人員對AI&ML技術的認識和關註🗿,科研處組織“AI賦能科研能力提升”系列培訓👨🏻,此次培訓以講座和實操的方式呈現,將集中探討AI在科研領域的應用實踐、技術前沿動態、具體案例分析以及未來發展趨勢▫️。系列培訓擬舉辦10場活動,第一場培訓講座由辛辛那提大學(美國)Lindner商學院的虞彤教授主講,科研處處長閆海洲主持🧗🏼♀️,近80名教師參加。
虞彤教授首先從大語言模型的原理入手,詳細介紹了在大語言模型中最常見的Transformer架構中註意力(Attention)機製的工作原理💂🏿。在Attention機製中,首先通過“查詢(Q)”“鍵(K)”“值(V)”結合初始的字詞嵌入(Embedding)和位置編碼的運算計算出每個字詞在一個句子中的註意力得分🐞,經過多層計算得到最終嵌入結果。
接著,虞彤教授介紹了文本分析的一般流程,包括文本的預處理、特征提取等步驟⚇,並詳細介紹了包括分詞🤙🏼、詞袋、TF-IDF以及Word2Vec等具體方法🤹🏿♂️,以及如何結合大語言模型提供方OpenAI的接口結合Python對大規模文本進行分析。結合Attention的工作原理以及文本分析的需求,虞彤教授介紹了Transformer架構的組成結構。最後,虞彤教授介紹了其他可以使用的大語言模型,並通過實際案例展示了大語言模型的應用。