解碼端若獲得所有的劃分,就可以完整重構(gòu)片;解碼端若發(fā)現(xiàn)幀內(nèi)信息或幀間信息劃分丟失,可用的頭信息仍然有很好的錯誤恢復(fù)性能。這是因為宏塊類型和宏塊的運動矢量含有宏塊的基本特征。5.參數(shù)集的使用序列的參數(shù)集(SPS)包括了一個圖像序列的所有信息,圖像的參數(shù)集(PPS)包括了一個圖像所有片的信息。多個不同的序列和圖像參數(shù)集經(jīng)排序存放在解碼器。編碼器參考序列參數(shù)集設(shè)置圖像參數(shù)集,依據(jù)每一個已編碼片的片頭的存儲地址選擇合
解碼端若獲得所有的劃分,就可以完整重構(gòu)片;解碼端若發(fā)現(xiàn)幀內(nèi)信息或幀間信息劃分丟失,可用的頭信息仍然有很好的錯誤恢復(fù)性能。這是因為宏塊類型和宏塊的運動矢量含有宏塊的基本特征。
5. 參數(shù)集的使用
序列的參數(shù)集(
SPS)包括了一個圖像序列的所有信息,圖像的參數(shù)集(
PPS)包括了一個圖像所有片的信息。多個不同的序列和圖像參數(shù)集經(jīng)排序存放在解碼器。
編碼器參考序列參數(shù)集設(shè)置圖像參數(shù)集,依據(jù)每一個已編碼片的片頭的存儲地址選擇合適的圖像參數(shù)集來使用。對序列的參數(shù)和圖像的參數(shù)進行重點保護才能很好地增強H.264錯誤恢復(fù)性能。
在差錯信道中使用參數(shù)集的關(guān)鍵是保證參數(shù)集及時、可靠地到達解碼端。例如,在實時信道中,編碼器用可靠控制協(xié)議及早將他們以帶外傳輸?shù)姆绞桨l(fā)送,使控制協(xié)議能夠在引用新參數(shù)的第一個片到達之前把它們發(fā)給解碼器;另外一個辦法就是使用應(yīng)用層保護,重發(fā)多個備份文件,確保至少有一個備份數(shù)據(jù)到達解碼端;第三個辦法就是在編解碼器的硬件中固化參數(shù)集設(shè)置。
6. 靈活的宏塊次序(FMO)
靈活的宏塊次序是H.264的一大特色,通過設(shè)置宏塊次序映射表(MBAmap)來任意地指配宏塊到不同的片組,F(xiàn)MO模式打亂了原宏塊順序,降低了編碼效率,增加了時延,但增強了抗誤碼性能。FMO模式劃分圖像的模式各種各樣,重要的有棋盤模式、矩形模式等。當(dāng)然FMO模式也可以使一幀中的宏塊順序分割,使得分割后的片的大小小于無線網(wǎng)絡(luò)的
MTU尺寸。經(jīng)過FMO模式分割后的圖像數(shù)據(jù)分開進行傳輸,以棋盤模式為例,當(dāng)一個片組的數(shù)據(jù)丟失時可用另一個片組的數(shù)據(jù)(包含丟失宏塊的相鄰宏塊信息)進行錯誤掩蓋。實驗數(shù)據(jù)顯示,當(dāng)丟失率為(視頻會議應(yīng)用時)
10%時,經(jīng)錯誤掩蓋后的圖像仍然有很高的質(zhì) 量。
7. 冗余片方法
前邊提到了當(dāng)使用無反饋的系統(tǒng)時,就不能使用參考幀選擇的方法來進行錯誤恢復(fù),應(yīng)該在編碼時增加冗余的片來增強抗誤碼性能。要注意的是這些冗余片的編碼參數(shù)與非冗余片的編碼參數(shù)不同,也就是用一個模糊的冗余片附加在一個清晰的片之后。在解碼時先解清晰的片,如果其可用就丟棄冗余片;否則使用冗余模糊片來重構(gòu)圖像。
四、H.264中實時傳輸協(xié)議(RTP)
1. RTP載荷規(guī)范
在第二部分已經(jīng)對H.264的網(wǎng)絡(luò)協(xié)議環(huán)境作了闡述,這里要詳細(xì)討論RTP的載荷規(guī)范和抗誤碼性能。RTP通過發(fā)送冗余信息來減少接收端的丟包率,會增加時延,與冗余片不同的是它增加的冗余信息是個別重點信息的備份,適合于應(yīng)用層的非等重保護。下邊闡述與多媒體傳輸有關(guān)的3個規(guī)范。
(1)分組復(fù)制多次重發(fā),發(fā)送端對最重要的比特信息分組進行復(fù)制重發(fā),使得保證接收端能至少正確接收到一次,同時接收端要丟棄已經(jīng)正確接收的分組的多余備份。
(2)基于分組的前向糾錯,對被保護的分組進行異或運算,將運算結(jié)果作為冗余信息發(fā)送到接收方。由于時延,不用于對話型應(yīng)用,可用于流媒體。
(3)音頻冗余編碼,可保護包括視頻在內(nèi)的任何數(shù)據(jù)流。每個分組由頭標(biāo)、載荷以及前一分組的載荷組成,H.264中可與數(shù)據(jù)分割一起使用。
2. H.264 NAL單元的概念
H.264 NAL單元對編碼數(shù)據(jù)進行打包,NAL單元由1字節(jié)的頭,3個定長的字段和一個字節(jié)數(shù)不定的編碼段組成。
頭標(biāo)的語法:NALU類型(5bit)、重要性指示位(2bit)、禁止位(1bit)。
NALU類型:1~
12由H.264使用,
24~
31由H.264以外的應(yīng)用使用。