HLS，Http Live Streaming 是由Apple公司定義的用于實時流傳輸?shù)膮f(xié)議，HLS基于HTTP協(xié)議實現(xiàn)，傳輸內(nèi)容包括兩部分，一是M3U8描述文件，二是TS媒體文件。

1、M3U8文件

   用文本方式對媒體文件進行描述，由一系列標簽組成。

#EXTM3U

#EXT-X-TARGETDURATION:5

#EXTINF:5,

./0.ts

#EXTINF:5,

./1.ts

#EXTM3U：每個M3U8文件第一行必須是這個tag。

#EXT-X-TARGETDURATION：指定最大的媒體段時間長度（秒），#EXTINF中指定的時間長度必須小于或等于這個最大值。該值只能出現(xiàn)一次。

#EXTINF：描述單個媒體文件的長度。后面為媒體文件，如./0.ts 

2、ts文件

    ts文件為傳輸流文件，視頻編碼主要格式h264/mpeg4，音頻為acc/MP3。

   ts文件分為三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數(shù)據(jù)，pes層是在音視頻數(shù)據(jù)上加了時間戳等對數(shù)據(jù)幀的說明信息，ts層就是在pes層加入數(shù)據(jù)流的識別和傳輸必須的信息

注： 詳解如下

 （1）ts層     ts包大小固定為188字節(jié)，ts層分為三個部分：ts header、adaptation field、payload。ts header固定4個字節(jié)；adaptation field可能存在也可能不存在，主要作用是給不足188字節(jié)的數(shù)據(jù)做填充；payload是pes數(shù)據(jù)。

ts header

     ts層的內(nèi)容是通過PID值來標識的，主要內(nèi)容包括：PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音視頻流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因為用戶隨時可能加入ts流，這個間隔比較小，通常每隔幾個視頻幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業(yè)務描述表）等，不過hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。

• PMT表：他主要的作用就是指明了音視頻流的PID值。

• 音頻流/視頻流：承載音視頻內(nèi)容。

adaption

     自適應區(qū)的長度要包含傳輸錯誤指示符標識的一個字節(jié)。pcr是節(jié)目時鐘參考，pcr、dts、pts都是對同一個系統(tǒng)時鐘的采樣值，pcr是遞增的，因此可以將其設置為dts值，音頻數(shù)據(jù)不需要pcr。如果沒有字段，ipad是可以播放的，但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff即可。視頻流和音頻流都需要加adaptation field，通常加在一個幀的第一個ts包和最后一個ts包里，中間的ts包不加。

PAT格式

PMT格式

（2）pes層

     pes層是在每一個視頻/音頻幀上加入了時間戳等信息，pes包內(nèi)容很多，我們只留下最常用的。

     pts是顯示時間戳、dts是解碼時間戳，視頻數(shù)據(jù)兩種時間戳都需要，音頻數(shù)據(jù)的pts和dts相同，所以只需要pts。有pts和dts兩種時間戳是B幀引起的，I幀和P幀的pts等于dts。如果一個視頻沒有B幀，則pts永遠和dts相同。從文件中順序讀取視頻幀，取出的幀順序和dts順序相同。dts算法比較簡單，初始值 + 增量即可，pts計算比較復雜，需要在dts的基礎上加偏移量。

     音頻的pes中只有pts（同dts），視頻的I、P幀兩種時間戳都要有，視頻B幀只要pts（同dts）。打包pts和dts就需要知道視頻幀類型，但是通過容器格式我們是無法判斷幀類型的，必須解析h.264內(nèi)容才可以獲取幀類型。

舉例說明：

                         I          P          B          B          B          P

讀取順序：         1         2          3          4          5          6

dts順序：           1         2          3          4          5          6

pts順序：           1         5          3          2          4          6

點播視頻dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值可以隨便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。

pts和dts是以timescale為單位的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。

用一幀的timescale除以采樣頻率就可以轉(zhuǎn)換為一幀的播放時長

點播音頻dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關(guān)，aac取值1024，mp3取值1158，audio_sample_rate是采樣率，比如24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長為1024/sample_rate秒。所以每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播視頻的dts和pts應該直接用直播數(shù)據(jù)流中的時間，不應該按公式計算。

（3）es層

     es層指的就是音視頻數(shù)據(jù)，我們只介紹h.264視頻和aac音頻。

h.264視頻：

     打包h.264數(shù)據(jù)我們必須給視頻數(shù)據(jù)加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開始）或0x000001（幀中）。h.264的數(shù)據(jù)是由slice組成的，slice的內(nèi)容包括：視頻、sps、pps等。nalu type決定了后面的h.264數(shù)據(jù)內(nèi)容。

     紅色字體顯示的內(nèi)容是最常用的，打包es層數(shù)據(jù)時pes頭和es數(shù)據(jù)之間要加入一個type=9的nalu，關(guān)鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。

aac音頻：

     打包aac音頻必須加上一個adts(Audio Data Transport Stream)頭，共7Byte，adts包括fixed_header和variable_header兩部分，各28bit。

fixed_header

variable_header

mp3音頻：

mp3音頻不需要加adts頭。

6.h264幀類型判斷

當nalu type=5或1時，表示后面跟著的數(shù)據(jù)是視頻數(shù)據(jù)，下面我們只列出前2項。

7.mp4轉(zhuǎn)ts

     我們假設mp4格式中的視頻編碼為h.264，音頻編碼為aac。我們從mp4中獲取的視頻信息包括：sps、pps、dts、pts、幀率、幀數(shù)據(jù)、ticks（每秒滴答數(shù)）。音頻信息包括：pts、采樣頻率、聲道數(shù)、幀數(shù)據(jù)。mp4文件的dts和ts文件的dts是需要進行換算的，都是初始值 + 增量，但是增量計算是不同的。

視頻信息獲取：

音頻信息獲?。?/span>

8.mp4中關(guān)于h264和aac的說明

     mp4的stsd原子中包含很多關(guān)鍵的音視頻編解碼元信息。對于視頻數(shù)據(jù)，不同的編解碼格式stsd中包含的子原子類型是不同的。MP4的視頻H.264封裝有2種格式：h264和avc1，只要看到這兩個FOURCC（四字節(jié)編碼）。就可以肯定是h.264編碼，區(qū)別在于slice是否有起始碼。對于音頻數(shù)據(jù)，stsd中包含的子原子只會是mp4a，mp4a又包含了一個子原子esds，判斷音頻編碼格式的是esds中的第十一個字節(jié)，如果是0x40則說明是aac編碼，如果是0x69則說明是mp3。

• AVC1 描述:H.264 bitstream without start codes.一般通過ffmpeg轉(zhuǎn)碼生成的視頻，是不帶起始碼0×00000001的，但是帶有4字節(jié)的長度。

• H264 描述:H.264 bitstream with start codes.一般對于一下HDVD等電影的壓制格式，是帶有起始碼0×00000001的。

     除了avc1和h264還可能是下面的FOURCC，只是名字不同而已。

• MEDIASUBTYPE_AVC1 'AVC1' H.264 bitstream without start codes.

• MEDIASUBTYPE_H264 'H264' H.264 bitstream with start codes.

• MEDIASUBTYPE_h264 'h264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_X264 'X264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_x264 'x264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

H264數(shù)據(jù)結(jié)構(gòu)

NAL  nal_unit_type中的

1（非IDR圖像的編碼條帶）、

2（編碼條帶數(shù)據(jù)分割塊A）、

3（編碼條帶數(shù)據(jù)分割塊B）、

4（編碼條帶數(shù)據(jù)分割塊C）、

7（SPS）、

8（PPS）

2、VCL視頻編碼層不做解釋。

3、NAL nal_unit_type為序列參數(shù)集（SPS）、圖像參數(shù)集（PPS）、增強信息（SEI）。表示后面的數(shù)據(jù)信息為序列參數(shù)集（SPS）、圖像參數(shù)集（PPS）、增強信息（SEI）。

4、H.264的參數(shù)集又分為序列參數(shù)集（Sequence parameter set）和圖像參數(shù)集（Pictureparameterset）。

        序列參數(shù)集：包括一個圖像序列的所有信息，即兩個IDR圖像間的所有圖像信息。

        圖像參數(shù)集：包括一個圖像的所有分片的所有相關(guān)信息，包括圖像類型、序列號等，解碼時某些序列號的丟 失可用來檢驗信息包的丟失與否。多個不同的序列和圖像參數(shù)集存儲在解碼器中，編碼器依據(jù)每個編碼分片的頭部的存儲位置來選擇適當?shù)膮?shù)集，圖像參數(shù)集本身也包括使用的序列參數(shù)集參考信息。  

總結(jié)：

1.ADTS是個啥

ADTS全稱是(Audio Data Transport Stream)，是AAC的一種十分常見的傳輸格式。

記得第一次做demux的時候，把AAC音頻的ES流從FLV封裝格式中抽出來送給硬件解碼器時，不能播;保存到本地用pc的播放器播時，我靠也不能播。當時崩潰了，后來通過查找資料才知道。一般的AAC解碼器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7個字節(jié)的ADTS header。也就是說你可以吧ADTS這個頭看作是AAC的frameheader。

ADTS AAC
ADTS_header	AAC ES	ADTS_header	AAC ES	...	ADTS_header	AAC ES

2.ADTS內(nèi)容及結(jié)構(gòu)

ADTS 頭中相對有用的信息 采樣率、聲道數(shù)、幀長度。想想也是，我要是解碼器的話，你給我一堆得AAC音頻ES流我也解不出來。每一個帶ADTS頭信息的AAC流會清晰的告送解碼器他需要的這些信息。

一般情況下ADTS的頭信息都是7個字節(jié)，分為2部分：

adts_fixed_header();

adts_variable_header();

syncword ：同步頭 總是0xFFF, all bits must be 1，代表著一個ADTS幀的開始

ID：MPEG Version: 0 for MPEG-4, 1 for MPEG-2

Layer：always: '00'

profile：表示使用哪個級別的AAC，有些芯片只支持AAC LC 。在MPEG-2 AAC中定義了3種：

sampling_frequency_index：表示使用的采樣率下標，通過這個下標在 Sampling Frequencies[ ]數(shù)組中查找得知采樣率的值。

There are 13 supported frequencies:

• 0: 96000 Hz
• 1: 88200 Hz
• 2: 64000 Hz
• 3: 48000 Hz
• 4: 44100 Hz
• 5: 32000 Hz
• 6: 24000 Hz
• 7: 22050 Hz
• 8: 16000 Hz
• 9: 12000 Hz
• 10: 11025 Hz
• 11: 8000 Hz
• 12: 7350 Hz
• 13: Reserved
• 14: Reserved
• 15: frequency is written explictly

channel_configuration:  表示聲道數(shù) 

• 0: Defined in AOT Specifc Config
• 1: 1 channel: front-center
• 2: 2 channels: front-left, front-right
• 3: 3 channels: front-center, front-left, front-right
• 4: 4 channels: front-center, front-left, front-right, back-center
• 5: 5 channels: front-center, front-left, front-right, back-left, back-right
• 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
• 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
• 8-15: Reserved

 

frame_length : 一個ADTS幀的長度包括ADTS頭和AAC原始流.

adts_buffer_fullness：0x7FF 說明是碼率可變的碼流

3.將AAC打包成ADTS格式

如果是通過嵌入式高清解碼芯片做產(chǎn)品的話，一般情況的解碼工作都是由硬件來完成的。所以大部分的工作是把AAC原始流打包成ADTS的格式，然后丟給硬件就行了。

通過對ADTS格式的了解，很容易就能把AAC打包成ADTS。我們只需得到封裝格式里面關(guān)于音頻采樣率、聲道數(shù)、元數(shù)據(jù)長度、aac格式類型等信息。然后在每個AAC原始流前面加上個ADTS頭就OK了。

貼上ffmpeg中添加ADTS頭的代碼，就可以很清晰的了解ADTS頭的結(jié)構(gòu)：

[html]  view plain copy

1. int ff_adts_write_frame_header(ADTSContext *ctx,  
2.                                uint8_t *buf, int size, int pce_size)  
3. {  
4.     PutBitContext pb;  
5.   
6.     init_put_bits(&pb, buf, ADTS_HEADER_SIZE);  
7.   
8.     /* adts_fixed_header */  
9.     put_bits(&pb, 12, 0xfff);   /* syncword */  
10.     put_bits(&pb, 1, 0);        /* ID */  
11.     put_bits(&pb, 2, 0);        /* layer */  
12.     put_bits(&pb, 1, 1);        /* protection_absent */  
13.     put_bits(&pb, 2, ctx->objecttype); /* profile_objecttype */  
14.     put_bits(&pb, 4, ctx->sample_rate_index);  
15.     put_bits(&pb, 1, 0);        /* private_bit */  
16.     put_bits(&pb, 3, ctx->channel_conf); /* channel_configuration */  
17.     put_bits(&pb, 1, 0);        /* original_copy */  
18.     put_bits(&pb, 1, 0);        /* home */  
19.   
20.     /* adts_variable_header */  
21.     put_bits(&pb, 1, 0);        /* copyright_identification_bit */  
22.     put_bits(&pb, 1, 0);        /* copyright_identification_start */  
23.     put_bits(&pb, 13, ADTS_HEADER_SIZE + size + pce_size); /* aac_frame_length */  
24.     put_bits(&pb, 11, 0x7ff);   /* adts_buffer_fullness */  
25.     put_bits(&pb, 2, 0);        /* number_of_raw_data_blocks_in_frame */  
26.   
27.     flush_put_bits(&pb);  
28.   
29.     return 0;  
30. }  

來源：

http://my.oschina.net/u/727148/blog/666824 

http://blog.csdn.net/chenchong_219/article/details/37990541