Shdjgrwjdbd

　　本文記錄一下H.264的編碼格式。H.264官方文檔：https://github.com/jiayayao/DataSheet/tree/master/encode-decode/h264。

一、H.264編碼格式

　　H.264從層次來看分為兩層：視頻編碼層（VCL， Video Coding Layer）和網絡提取層（NAL，Network Abstraction Layer）。VCL輸出的是原始數據比特流（SODB，String of data bits），表示H.264的語法元素編碼完成后的實際的原始二進制碼流。SODB通常不能保證字節對齊,故需要補齊為原始字節序列負荷（RBSP，Raw Byte Sequence Payload）。H.264引入了片（slice）的概念，每個片只攜帶該片自身獨有的句法元素，一個片的丟失不會影響其他片的解碼，還可以通過該片前后的片來恢復該片的解碼。

       NAL層實際上就是最終輸出的H.264碼流，它是由一個個NALU組成的，每個NALU包括一組對應于視頻編碼數據的NAL頭信息和一個原始字節序列負荷（RBSP，Raw Byte Sequence Payload）。以上名詞之間的關系如下：

RBSP = SODB + RBSP trailing bits
NALU = NAL header(1 byte) + RBSP
H.264 = Start Code Prefix(3 bytes) + NALU + Start Code Prefix(3 bytes) + NALU +…

　　所以H.264碼流的結構如下：

　　每個NALU之間由起始碼（Start Code Prefix）分隔，起始碼分為兩種：0x000001(3 bytes) or 0x00000001(4 bytes). 如果NALU 對應的Slice 為一幀的開始，則用4 字節表示，即0x00000001；否則用3 字節表示，0x000001.NALU針對起始碼設計了防止沖突機制，如果出現連續的0x000000，0x000001,0x000002,0x000003時，會在兩個0之間插入03，如下：

0x00 00 00 -> 0x00 00 03 00
0x00 00 01 -> 0x00 00 03 01
0x00 00 02 -> 0x00 00 03 02
0x00 00 03 -> 0x00 00 03 03

　　一個NALU就是編碼后的一幀數據。NAL header是一個字節：

　　forbidden_zero_bit(1 bit) 禁止位，等于0；

　　nal_ref_idc(2 bit)指示當前NAL的優先級，取值范圍為0~3，值越高，表示當前NAL越重要。H.264規定，如果當前NAL是序列參數集，或是圖像參數等，該值必須大于0.比如nal_unit_type等于5時，nal_ref_idc大于0；nal_unit_type等于6,9,10,11或12時，nal_ref_idc等于0；

　　nal_unit_type表示當前NALU的類型，表格如下：

　　nal_unit_type=5時，表示當前NAL是IDR圖像的一個片，此時，IDR圖像中的每個片的nal_unit_type都應該等于5.

　　一般H.264原始碼流是以SPS->PPS->SEI->IDR->SCLICE->SCLICE…開頭的。 

　　GOP即Group of picture(圖像組)，指兩個I幀之間的距離。即幾秒有一個關鍵幀。一般在2、3秒之間。

二、H.264 Tips

　　H.264有兩種封裝格式：

　　（1）annexb模式：傳統模式，使用start code來分隔NAL， SPS和PPS是在ES流的頭部；

        Annex-B: startCode Nalu1, startCode Nalu2......startCode NaluN

　　（2）mp4模式：沒有start code，使用NALU長度（固定字節，通常為4個字節）來分隔NAL。AVCodecContext的extradata內部保存著分隔的字節數，SPS和PPS；

        mp4(AVCC): NaluLength Nalu1, LaluLength Lalu2, ......NaluLength NaluN

　　SPS的頭部是0x67，PPS的頭部是0x68，要保持對數據的敏感性。

       IDR幀：IDR幀都是I幀，H.264引入IDR圖像是為了解碼的重同步，當解碼器解碼到IDR幀時，會立即將參考幀隊列清空，將已解碼的數據全部輸出或拋棄，重新查找參數及，開始一個新的序列。IDR幀之后的圖像永遠不會引用IDR幀之前圖像的數據來解碼。IDR幀一定是I幀，I幀不一定是IDR幀。

　　當解碼器性能不足需要丟幀時，nal_ref_idc可以作為判斷能否丟幀的依據。如果nal_ref_idc為0，則可以丟棄。當該幀nal_unit_type等于6,9,10,11或12時，nal_ref_idc為0。部分非IDR幀的nal_ref_idc也為0，也可以丟棄。丟棄的同時也能保證不會花屏。