張維克，龍玄耀

（國(guó)家知識(shí)產(chǎn)權(quán)局專利局 專利審查協(xié)作北京中心，北京 100190）

多視點(diǎn)視頻[1-2]是一種即將出現(xiàn)的交互式多媒體應(yīng)用，而生成多視點(diǎn)視頻的多視編碼技術(shù)在立體電視、立體視頻會(huì)議、多視點(diǎn)視頻點(diǎn)播等領(lǐng)域都有著非常廣泛的應(yīng)用前景。但是，相比于現(xiàn)有的單視點(diǎn)視頻，由于增加了多個(gè)數(shù)據(jù)源設(shè)備，多視點(diǎn)視頻毫無(wú)疑問(wèn)存在產(chǎn)生數(shù)據(jù)量過(guò)大的問(wèn)題，目前，國(guó)內(nèi)外各大廠商、國(guó)內(nèi)外的科研機(jī)構(gòu)、國(guó)內(nèi)外高校都在積極的研發(fā)多視點(diǎn)編碼技術(shù)，近幾年的專利申請(qǐng)量也在不斷增加，本文對(duì)多視點(diǎn)編碼技術(shù)的相關(guān)專利做了初步的統(tǒng)計(jì)，并針對(duì)廠商和高校聯(lián)合申請(qǐng)的案例進(jìn)行分析，提出了產(chǎn)研結(jié)合的可行性。

1 MVC技術(shù)的基本介紹

多視點(diǎn)視頻是指，在場(chǎng)景中放置不同角度的多個(gè)視頻采集設(shè)備，記錄多個(gè)視角的視頻，用戶通過(guò)視點(diǎn)選擇觀看更加真實(shí)的場(chǎng)景，它是一種有效的3D視頻表示方法，能夠生動(dòng)地再現(xiàn)場(chǎng)景，提供立體感和交互功能。圖1給出了多視點(diǎn)視頻的典型拍攝場(chǎng)景[3]和序列示例[4]。

但是，多個(gè)視點(diǎn)導(dǎo)致采集的數(shù)據(jù)量過(guò)大，因此，為了可以像目前的高清視頻點(diǎn)播一樣能真正地實(shí)現(xiàn)產(chǎn)業(yè)化應(yīng)用，也就必然需要使用數(shù)據(jù)壓縮方法減小數(shù)據(jù)量，以適應(yīng)所能提供的帶寬或存儲(chǔ)媒體。

2 專利文獻(xiàn)庫(kù)選取及檢索結(jié)果的可靠性

統(tǒng)計(jì)使用了中國(guó)專利全文數(shù)據(jù)庫(kù)CNTXT，之所以選用全文數(shù)據(jù)庫(kù)，是考慮到大多數(shù)外國(guó)申請(qǐng)并不會(huì)在摘要或權(quán)利要求中記載例如多視點(diǎn)視頻編碼這樣的描述，而往往會(huì)在說(shuō)明書(shū)的背景技術(shù)部分或具體的實(shí)施方式中，寫(xiě)明技術(shù)方案會(huì)應(yīng)用在多視點(diǎn)視頻編碼中。

采用了關(guān)鍵詞“多視點(diǎn)視頻編碼、多視角視頻編碼、多視點(diǎn)編碼、多視視頻編碼、多視編碼、多視角編碼、多視點(diǎn)編碼”進(jìn)行了“或”操作檢索，之所以采用上述關(guān)鍵詞，是因?yàn)樽髡咄ㄟ^(guò)初次檢索的大范圍瀏覽以及對(duì)網(wǎng)絡(luò)上和學(xué)術(shù)屆對(duì)于多視點(diǎn)視頻編碼技術(shù)MVC的叫法進(jìn)行了全方位的考察，收集了領(lǐng)域內(nèi)所有可能的叫法，而未采用MVC進(jìn)行檢索的原因是，MVC還可能是其他的專業(yè)術(shù)語(yǔ)的簡(jiǎn)稱。

通過(guò)“或”檢索操作，最終得到239篇專利文獻(xiàn)結(jié)果，為了使統(tǒng)計(jì)結(jié)果更為準(zhǔn)確，作者通過(guò)瀏覽每一篇文獻(xiàn)的具體內(nèi)容篩選出191篇文獻(xiàn)，其余的48篇都存在邊緣領(lǐng)域或者跨領(lǐng)域的問(wèn)題，即核心思想并不是關(guān)于MVC技術(shù)的。

3 統(tǒng)計(jì)結(jié)果分析

下面我們將針對(duì)這191篇文獻(xiàn)進(jìn)行統(tǒng)計(jì)，以得出后續(xù)的結(jié)論。

3.1 專利申請(qǐng)趨勢(shì)

由于2011年的很多專利申請(qǐng)未滿18個(gè)月，尚未公開(kāi)，并且從公開(kāi)的申請(qǐng)人來(lái)看，18件中的17件都是中國(guó)申請(qǐng)，因考慮到習(xí)慣于晚公開(kāi)的外國(guó)申請(qǐng)，實(shí)際數(shù)字應(yīng)遠(yuǎn)多于18件。從上述的統(tǒng)計(jì)數(shù)字不難看到，從2006年開(kāi)始，多視點(diǎn)視頻編碼技術(shù)的專利申請(qǐng)呈現(xiàn)了保持較為穩(wěn)定的申請(qǐng)數(shù)量的趨勢(shì)，并且在2007年、2009年都超過(guò)了40件。

3.2 各公司戰(zhàn)略

申請(qǐng)量排名前五名分別是湯姆遜公司31件、華為公司20件、清華大學(xué)20件、索尼公司16件、三星公司15件、寧波大學(xué)15件。

從申請(qǐng)的國(guó)別來(lái)看，國(guó)內(nèi)申請(qǐng)為92件，約占全部申請(qǐng)的48%，這也一定程度上表明了國(guó)內(nèi)在這一前沿領(lǐng)域的研發(fā)關(guān)注度，在這92件專利申請(qǐng)中，55件為大學(xué)申請(qǐng)。

從專利申請(qǐng)所要解決的技術(shù)問(wèn)題來(lái)看，主要涉及如下幾個(gè)方面的研究：時(shí)間和空間預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)、視點(diǎn)預(yù)測(cè)、視點(diǎn)間運(yùn)動(dòng)信息的預(yù)測(cè)、視點(diǎn)間的亮度補(bǔ)償、視點(diǎn)間的顏色補(bǔ)償、虛擬視圖合成預(yù)測(cè)、自適應(yīng)參考圖像濾波、高層語(yǔ)法設(shè)計(jì)等幾個(gè)方面。我們重點(diǎn)關(guān)注申請(qǐng)量最高的湯姆遜公司的研發(fā)動(dòng)態(tài)，結(jié)果顯示，湯姆遜的研發(fā)重點(diǎn)主要集中在高級(jí)語(yǔ)法的設(shè)計(jì)，同時(shí)也涉及了顏色補(bǔ)償、濾波、預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)等方面。相比于湯姆遜公司的研發(fā)重點(diǎn)，國(guó)內(nèi)公司的研究集中在視點(diǎn)預(yù)測(cè)、視點(diǎn)間運(yùn)動(dòng)信息的預(yù)測(cè)、預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)、亮度和顏色補(bǔ)償這幾個(gè)方面。

高級(jí)語(yǔ)法設(shè)計(jì)是MVC語(yǔ)法和語(yǔ)義的設(shè)計(jì)，湯姆遜關(guān)注語(yǔ)法設(shè)計(jì)也就是在關(guān)注主導(dǎo)編碼形成的協(xié)議，這也是編碼形成、傳輸?shù)幕A(chǔ)，我們都知道，編碼效率的提高可能意味著硬件或軟件運(yùn)算成本的增加，國(guó)內(nèi)申請(qǐng)人尤其是大學(xué)申請(qǐng)人關(guān)注的編碼方法的改進(jìn)能否產(chǎn)業(yè)化，是值得我們思考的問(wèn)題。

3.3 專利質(zhì)量和專利保護(hù)意識(shí)

權(quán)利要求決定了保護(hù)范圍，因此，我們使用了獨(dú)立權(quán)利要求的字?jǐn)?shù)來(lái)量化保護(hù)范圍的大小，字?jǐn)?shù)越多粗略認(rèn)定為保護(hù)范圍越大，從這個(gè)數(shù)字的統(tǒng)計(jì)我們嘗試了解申請(qǐng)人對(duì)某項(xiàng)技術(shù)的保護(hù)意愿，也從某種程度上反映了專利的質(zhì)量，這里將“字?jǐn)?shù)在100字以內(nèi)”的權(quán)利要求認(rèn)定為核心專利，統(tǒng)計(jì)結(jié)果表明：這191件專利申請(qǐng)中有25件核心專利，其中國(guó)外申請(qǐng)20件，以湯姆遜公司的13件為最多，國(guó)內(nèi)的核心專利僅為5件，其中華為公司占了其中的4件。我們還發(fā)現(xiàn)，國(guó)內(nèi)的大量申請(qǐng)出現(xiàn)了權(quán)利要求字?jǐn)?shù)超過(guò)1000字的情況，從保護(hù)范圍的角度來(lái)說(shuō)，這樣的權(quán)利要求是沒(méi)有價(jià)值的，也無(wú)法合理的保護(hù)相應(yīng)的產(chǎn)品或方法，國(guó)內(nèi)申請(qǐng)人應(yīng)當(dāng)重視權(quán)利要求的字?jǐn)?shù)在后續(xù)保護(hù)中的作用，仔細(xì)、合理地確定出提交的專利申請(qǐng)的保護(hù)范圍，發(fā)揮出專利權(quán)的最大效用。

其次，根據(jù)專利法第二十九條的規(guī)定，申請(qǐng)人就相同主題的發(fā)明或者實(shí)用新型在外國(guó)第一次提出專利申請(qǐng)之日起12個(gè)月內(nèi)，又在中國(guó)提出申請(qǐng)的，依照該國(guó)同中國(guó)簽訂的協(xié)議或者共同參加的國(guó)際條約，或者依照相互承認(rèn)優(yōu)先權(quán)的原則，可以享有外國(guó)優(yōu)先權(quán)。而對(duì)于本國(guó)申請(qǐng)人來(lái)說(shuō)，只須在本國(guó)第一次提出專利申請(qǐng)后又在12個(gè)月之內(nèi)向本國(guó)專利局提出專利申請(qǐng)，就可以享受優(yōu)先權(quán)。優(yōu)先權(quán)的12個(gè)月可以給予申請(qǐng)人更多的時(shí)間來(lái)完善和優(yōu)化專利申請(qǐng)的技術(shù)方案，能夠劃定專利審查時(shí)對(duì)比文件的時(shí)間線，改變專利類型，還可以解決不同國(guó)家專利申請(qǐng)時(shí)間上的協(xié)調(diào)問(wèn)題，因此，對(duì)是否使用優(yōu)先權(quán)進(jìn)行統(tǒng)計(jì)來(lái)比較國(guó)內(nèi)外申請(qǐng)人在利用優(yōu)先權(quán)方面的差別，統(tǒng)計(jì)結(jié)果表明：62件專利申請(qǐng)享受了優(yōu)先權(quán)權(quán)利，其中僅有1件香港應(yīng)用科技研究院有限公司的申請(qǐng)享受了優(yōu)先權(quán)。從統(tǒng)計(jì)結(jié)果不難看出，國(guó)內(nèi)申請(qǐng)人還沒(méi)有使用優(yōu)先權(quán)這一項(xiàng)針對(duì)申請(qǐng)人權(quán)利的意識(shí)，從專利的審查角度來(lái)看，大量的國(guó)內(nèi)專利申請(qǐng)因?yàn)闆](méi)有優(yōu)先權(quán)日而被審查員使用申請(qǐng)日之前12個(gè)月以內(nèi)的對(duì)比文件評(píng)述了新穎性或創(chuàng)造性，因此，國(guó)內(nèi)的專利申請(qǐng)人應(yīng)該嘗試使用針對(duì)申請(qǐng)人的權(quán)利來(lái)保護(hù)自己的利益。

4 產(chǎn)研結(jié)合的可行性

在這一部分，將對(duì)大學(xué)和公司的聯(lián)合專利申請(qǐng)的研發(fā)水平進(jìn)行分析，通過(guò)與單獨(dú)的公司申請(qǐng)和大學(xué)申請(qǐng)的比較，證明國(guó)內(nèi)公司和大學(xué)聯(lián)合研發(fā)提交專利申請(qǐng)的可行性。

案例一：CN101056398A

華為公司和清華大學(xué)的聯(lián)合申請(qǐng)，涉及一種視差向量的估計(jì)方法，現(xiàn)有的視差估計(jì)使用傳統(tǒng)單視點(diǎn)視頻編碼工具進(jìn)行多視編碼，通常視差矢量的動(dòng)態(tài)范圍比較大，以大小為640×480像素的圖像為例，在立體對(duì)中，水平位移在30～50個(gè)像素的情況可能會(huì)經(jīng)常出現(xiàn)，有時(shí)甚至可達(dá)100個(gè)像素以上，而運(yùn)動(dòng)矢量則不會(huì)有如此大的動(dòng)態(tài)范圍，因此，由于視差矢量的動(dòng)態(tài)范圍比較大，若采用傳統(tǒng)單視視頻編碼中的運(yùn)動(dòng)估值方法，則需要將搜索范圍設(shè)得非常大，而且，無(wú)法保證會(huì)獲得很好的效果。在此基礎(chǔ)上，本發(fā)明專利申請(qǐng)僅對(duì)任意兩個(gè)視點(diǎn)進(jìn)行基于塊搜索的視差向量估計(jì)，而對(duì)于需要編碼的兩個(gè)視點(diǎn)，則利用已估計(jì)的任意兩個(gè)視點(diǎn)的視差向量結(jié)合需要編碼的視點(diǎn)與所述任意兩個(gè)視點(diǎn)位置的線性關(guān)系計(jì)算得到需要編碼的兩個(gè)視點(diǎn)的視差向量，與傳統(tǒng)的技術(shù)相比，該發(fā)明專利申請(qǐng)利用線性計(jì)算代替塊搜索，減少了計(jì)算復(fù)雜度，有益于產(chǎn)業(yè)應(yīng)用。該申請(qǐng)目前已進(jìn)入復(fù)審階段，申請(qǐng)人并不認(rèn)同審查意見(jiàn)，表明了該申請(qǐng)的重要性。并且請(qǐng)求保護(hù)的權(quán)利要求字?jǐn)?shù)僅為128字，這也說(shuō)明了聯(lián)合申請(qǐng)人獲取較大保護(hù)范圍的意愿，從某種程度上也反映了該申請(qǐng)的研發(fā)水平。

案例二：CN101483765A

華為公司和清華大學(xué)的聯(lián)合申請(qǐng)，涉及一種多視編解碼方法，現(xiàn)有技術(shù)中，由于攝像機(jī)移動(dòng)前后的圖像可能差別較大，因此，在攝像機(jī)移動(dòng)前后的圖像互為參考時(shí)，預(yù)測(cè)的效果會(huì)較差。這種情況下前后內(nèi)容聯(lián)系不緊密的圖像仍使用原始分辨率或尺寸進(jìn)行編碼也會(huì)導(dǎo)致占用較多的比特?cái)?shù)，影響編碼效率，并且也會(huì)占用比較多的編碼和解碼資源。與傳統(tǒng)的技術(shù)相比，該發(fā)明專利申請(qǐng)根據(jù)獲取圖像的攝像機(jī)參數(shù)、物體的深度信息及至少兩個(gè)視的圖像對(duì)至少一個(gè)視的圖像進(jìn)行更新處理，以獲得編碼或解碼過(guò)程中期望的輸出圖像。由于使用了深度信息和攝像機(jī)參數(shù)，兩個(gè)視之間圖像內(nèi)容的相關(guān)性能夠較精確獲得。通過(guò)上述處理可以使得當(dāng)前待編碼圖像或待解碼圖像的部分或全部?jī)?nèi)容使用其它視的圖像進(jìn)行預(yù)測(cè)，從而減少當(dāng)前待編碼圖像的編碼比特?cái)?shù)，降低待編解碼圖像的計(jì)算負(fù)擔(dān)，減少了運(yùn)算成本。該申請(qǐng)已授權(quán)，且請(qǐng)求保護(hù)的權(quán)利要求字?jǐn)?shù)僅為90字，這也說(shuō)明了聯(lián)合申請(qǐng)人獲取較大保護(hù)范圍的意愿，從某種程度上反映了申請(qǐng)的研發(fā)水平。

案例三：CN 101222638 A

同樣是華為公司和清華大學(xué)的聯(lián)合申請(qǐng)，涉及一種預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)方法，要解決的問(wèn)題是：在參考幀列表的構(gòu)建過(guò)程，通常需要將預(yù)測(cè)效果較好的圖像排列于參考圖像列表的前面，以便于優(yōu)先選擇作為當(dāng)前圖像的參考圖像。但是，目前在多視視頻編碼對(duì)應(yīng)的緩沖區(qū)中，還沒(méi)有提供一種處理機(jī)制可以保證緩沖區(qū)中的圖像滿足按照最優(yōu)預(yù)測(cè)效果排序的原則。在本發(fā)明專利申請(qǐng)中，根據(jù)當(dāng)前圖像和參考圖像的位置關(guān)系分別得到空間距離和時(shí)間距離，之后，便可以利用兩距離值查表得到對(duì)應(yīng)的參考距離，再對(duì)參考幀排序，參考距離越小，在參考幀列表中越靠前，以保證參考效果較佳的參考圖像被優(yōu)先選用，從而可以有效的提高編碼效率。該申請(qǐng)已授權(quán)，請(qǐng)求保護(hù)的權(quán)利要求字?jǐn)?shù)為119字。

此外，LG公司和延世大學(xué)、日本電信電話公司和名古屋大學(xué)、韓國(guó)電子通信公司和延世大學(xué)、三星公司和世宗大學(xué)、三星公司和慶熙大學(xué)、華為公司和中國(guó)科學(xué)技術(shù)大學(xué)，也都先后提交多份關(guān)于多視編解碼技術(shù)的聯(lián)合專利申請(qǐng)，從這些聯(lián)合專利申請(qǐng)的質(zhì)量、保護(hù)范圍的大小以及案件的法律狀態(tài)來(lái)看，都具備了相當(dāng)?shù)难邪l(fā)水平。不僅利用了高校在學(xué)術(shù)研究方面的能力，也兼具了技術(shù)產(chǎn)業(yè)化的視野。而高校的單獨(dú)申請(qǐng)往往具備了一定的學(xué)術(shù)高度，卻脫離了產(chǎn)業(yè)，使得專利的本質(zhì)屬性“保護(hù)”無(wú)從體現(xiàn)，喪失了專利本身的意義；公司申請(qǐng)則往往過(guò)于淺顯，僅僅是一些好的主意和點(diǎn)子，雖然也有一些技術(shù)上的改進(jìn)，但由于缺乏理論支撐，很難涉足上游的高端技術(shù)，因此，在中國(guó)范圍內(nèi)，這些新技術(shù)公司可以利用大量的學(xué)術(shù)資源，來(lái)共同促進(jìn)產(chǎn)業(yè)能力的提升，使得我們的公司具備上游產(chǎn)業(yè)競(jìng)爭(zhēng)力。

5 結(jié)語(yǔ)

從以上的分析可以看出，目前在中國(guó)申請(qǐng)的以多視點(diǎn)編碼技術(shù)為主題的專利申請(qǐng)呈現(xiàn)出以下特征：

1）處于穩(wěn)定的發(fā)展趨勢(shì)。

由于立體電視還沒(méi)有普及，并且人們對(duì)于立體電視的交互性還沒(méi)有概念，目前在中國(guó)的有關(guān)多視點(diǎn)編碼技術(shù)的發(fā)明專利申請(qǐng)的申請(qǐng)量并不大，但是隨著立體電視的出現(xiàn)和人們對(duì)于交互性的需求，該技術(shù)必將受到關(guān)注，專利申請(qǐng)量也會(huì)增長(zhǎng)。

2）各個(gè)公司的研發(fā)重點(diǎn)不盡相同。

由于各個(gè)公司的研發(fā)實(shí)力、產(chǎn)品針對(duì)性以及企業(yè)戰(zhàn)略的不同，也形成了不同的研發(fā)側(cè)重點(diǎn)，研發(fā)主要分布于時(shí)間和空間預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)、視點(diǎn)的預(yù)測(cè)、視點(diǎn)間運(yùn)動(dòng)信息的預(yù)測(cè)、視點(diǎn)間的亮度補(bǔ)償、視點(diǎn)間的顏色補(bǔ)償、虛擬視圖合成預(yù)測(cè)、自適應(yīng)參考圖像濾波、高層語(yǔ)法設(shè)計(jì)等幾個(gè)方面。視頻技術(shù)的領(lǐng)軍公司湯姆遜更多地關(guān)注協(xié)議這種語(yǔ)法層面的技術(shù)，而國(guó)內(nèi)公司側(cè)重于編碼的細(xì)節(jié)技術(shù)。

3）國(guó)內(nèi)外公司專利質(zhì)量和保護(hù)意識(shí)的差別。

國(guó)外公司更注重權(quán)利要求的范圍和對(duì)優(yōu)先權(quán)的使用，而國(guó)內(nèi)的公司和高校則相對(duì)缺乏這方面的意識(shí)。

4）產(chǎn)研結(jié)合初見(jiàn)成效。

華為公司聯(lián)合高校進(jìn)行技術(shù)研發(fā)，并獲得了較大保護(hù)范圍的發(fā)明專利，值得國(guó)內(nèi)的公司仿效學(xué)習(xí)。

[1]MPEG Video Subgroup.Introduction to multi-view video coding[R].[S.l.]：MPEG Video Subgroup，2008.

[2]HE Y，OSTERMANN J,TANIMOTO M.Introduction to the special section on multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1433-1435.

[3]FRAUNHOFER H I.HNI test material for 3D video[R].[S.l.]：MPEG，2008.

[4]SU Y P，VETRO A，SMOLIC A.A common test conditions for multi-view video coding：JVT-U211[R].[S.l.]：JVT，2006.