通義千問-7B（Qwen-7B）是阿里云研發(fā)的通義千問大模型系列的70億參數(shù)規(guī)模的模型。Qwen-7B是基于Transformer的大語言模型，在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。預(yù)訓(xùn)練數(shù)據(jù)類型多樣，覆蓋廣泛，包括大量網(wǎng)絡(luò)文本、專業(yè)書籍、代碼等。