格隆匯7月17日丨海天瑞聲(688787.SH)接受特定對象調研時，有投資者問及：大模型範式下的預訓練階段數據需求和傳統的數據需求有什麼區別？

公司回覆：大模型預訓練階段的數據需求和深度學習技術路線下的傳統訓練數據需求，兩者在形態上基本一致，都是文本、語音和圖像，但在數據規模、質量、來源等方面，預訓練數據較傳統訓練數據會存在一定差異。例如，規模上，預訓練數據的token量普遍在萬億量級，而傳統模型數量則大約在10億量級。從數據來源的角度看，由於大模型所需數據規模遠超傳統模型，因此其數據來源將更加豐富以滿足規模化、多元化數據需求。具體來説，大模型數據來源除了來自傳統的定向採集外，還將涉及版權數據、公共數據等新型海量高質量數據來源。

此外，數據處理的核心技術也存在一定差異。例如，由於大模型預訓練階段的原料數據規模更大，因此大模型預訓練數據更加註重數據清洗的工程化能力，在預訓練階段需要結合原料數據特點以及所涉及的主題、領域等，對海量數據完成高質量清洗，這對數據服務商的工程化數據處理能力以及過往服務經驗的積累都提出了更高要求。