BLT 在許多基準測試中超越了基于 token 的架構(gòu)。

• 提出了 BLT，這是一種字節(jié)潛在 LLM 架構(gòu)，動態(tài)分配計算資源以提高 flop 效率；
• 展示了在 8B（即 80 億）參數(shù)規(guī)模下，能夠?qū)崿F(xiàn)與 Llama 3 模型相當?shù)挠柧?flop 控制，同時可以通過犧牲一小部分評估指標來換取高達 50% 的 flop 效率提升；
• BLT 模型為擴展大型語言模型開啟了一個新的維度，現(xiàn)在可以在保持固定推理預算的同時擴展模型大小。

• 論文標題：Byte Latent Transformer: Patches Scale Better Than Tokens
• 論文地址：https:///pdf/2412.09871
• 項目地址：https://github.com/facebookresearch/blt

局部編碼器模型（用 ε 表示）是一種基于 transformer 的輕量級模型，具有層，其主要作用是有效地將輸入字節(jié)序列 b_i 映射為表達性 patch 表征 p_j。與 Transformer 架構(gòu)的主要區(qū)別是在每個 Transformer 層之后添加了一個交叉注意力層，其功能是將字節(jié)表征池化為 patch 表征（圖 5）。

首先，使用矩陣嵌入輸入字節(jié)序列 b_i ，表示為 x_i 。然后，這些嵌入可以選擇以散列嵌入的形式添加附加信息。然后，一系列交替的 transformer 和交叉注意力層將這些表征轉(zhuǎn)換為由全局 transformer G 處理的 patch 表征 p_i。transformer 層使用局部塊因果注意力掩碼；每個字節(jié)都關注前面字節(jié)的固定窗口，該窗口通?？梢钥缭絼討B(tài) patch 邊界，但不能跨越文檔邊界。

與局部編碼器類似，局部解碼器 D 是一個基于 transformer 的輕量級模型，具有層，它將全局 patch 表征序列 o_j 解碼為原始字節(jié) y_i 。局部解碼器根據(jù)先前解碼的字節(jié)來預測原始字節(jié)序列，因此將局部編碼器為字節(jié)序列生成的隱藏表征作為輸入。它應用了一系列交叉注意力層和 transformer 層的 lD 交替層。解碼器中的交叉注意力層在 transformer 層之前應用，以首先從 patch 表征創(chuàng)建字節(jié)表征，并且局部解碼器 transformer 層對生成的字節(jié)序列進行操作。

• 比較計算最優(yōu)訓練方案的趨勢；
• 在大量訓練上訓練匹配的 8B 模型數(shù)據(jù)并評估下游任務；
• 測量推理成本控制設置中的擴展趨勢。