劉建強
(寧夏大學數(shù)學計算機學院,寧夏銀川750021)
多任務核的泛函分析框架由C.A.Micchelli等提出[1-2].我們首先介紹多任務核的概念.
假設X是一個集合,Y是一個實希爾伯特空間,對任何y,z∈Y,其內(nèi)積記為 <y,z>,H為從X到Y(jié)的映射組成的線性空間.用L(Y)表示所有從Y到Y(jié)的有界線性算子,對于任何A∈L(Y),用 表示其共軛算子,L+(Y)表示所有非負有界算子,即任何A∈L+(Y),<y,A(y)>0.
定義1 稱算子K:X×X→L(Y)為一個多任務核,如果
(A1)對任何 t1,t2∈ X,K(t1,t2)∈ L(Y),K(t1,t2)=K(t2,t1)*;
(A2)對任何自然數(shù) m,tj∈ X,yj∈ Y,1≤ j≤ m,都有
如果多任務核K(·,·)同時是從X×X到L(Y)的一個有限秩算子,則稱其為有限秩多任務核.傳統(tǒng)的再生核是多任務核的一部分,下面將傳統(tǒng)的再生核稱為標量值核.在文獻[3]中,給出了如下的有限秩多任務核的刻畫定理.
定理1 設φj(t)是X上的函數(shù),1≤j≤m.有限秩算子
關于乘積的多任務核的構(gòu)造是考慮這樣的問題:對t1,t2∈X,K1,K2,K是關于t1,t2的多項式,K是一個多任務核且K1(t1,t2)K2(t1,t2)=K(t1,t2),則K1,K2是否為多任務核?本文將討論輸入空間中兩個元素t1,t2內(nèi)積x=(t1,t2)的多項式所構(gòu)成的多任務核.這時,多任務核的特征矩陣C為對角矩陣,要成為多任務核,只需要系數(shù)為非負值.因此,在下文中,令
f1(x)=K1(t1,t2),f2(x)=K2(t1,t2),f(x)=K(t1,t2).
則上述問題變成:
多項式f1(x),f2(x),f(x)的首項系數(shù)均為1,f(x)所有系數(shù)均非負,是否至少有一個fi(x)(i=1或2)系數(shù)均非負,或f1(x),f2(x)系數(shù)均可為負數(shù)?
定理2 K1,K2必有其一為多任務核,如果下面的條件之一成立:
定理3 設f1(x)=x2-px+q,p>0,q>0,f2=n.是否存在K2使得K為多任務核的條件僅與p2/q的值有關.記在f1=n時,存在K2使得K為多任務核的p2/q最大數(shù)為θn,則θn是關于n的單調(diào)增數(shù)列.
考慮乘積的各項系數(shù)必須為非負且首項系數(shù)為正,uai+1+ai≥0,i=0,…,N-1.若u=0,根據(jù)參考文獻[3]多任務核的平移性質(zhì)得知K2是多任務核;若u<0可以推出ai>0,因此K2是多任務核;若u>0,K1是多任務核.故K1,K2至少有一個為多任務核.
根據(jù)定理1可得不等式組
先考慮q<0的情況,這時由不等式組(4)第一式得到a0<0,結(jié)合不等式組(4)第三式得pa1>0,再結(jié)合不等式組(4)最后一式得p>0,a1>0,因此qa1+pa0<0,而這與不等式組(4)第二式矛盾.
再考慮q=0的情況,這時f中含有因子x,根據(jù)多任務核平移性質(zhì),K/x仍然是多任務核,而這將回到f1=1的情況,可以證明K1,K2中至少有一個為多任務核.
最后考慮q>0的情況.這時如果p<0,從不等式組(4)第一式解得a0>0,第四式得到a1≥-p>0,這時K2是一個多任務核.在q>0且p≥0時K1已是多任務核.
證明 首先,證明是否存在K2使得K為多任務核的條件僅與p2/q的值有關.事實上,取θ=p2/q,則f1(x)/p2=(x/p)2-(x/p)+1/θ,是否存在K2使得K為多任務核的條件與x2-x+1/θ相同,而后者僅與θ的取值有關.
接下來用數(shù)學歸納法證明θn為單調(diào)增數(shù)列.n=1時,設
f2(x)=x+a0,f1(x)f2(x)=x3+(a0-p)x2+(q-a0p)x+a0q.
這要求a0≥p,a0≤q/p。要使a0有解則需要p2/q≤1.也就是說,當p2/q>1時不存在K2使得K為多任務核,即命題對n=1時成立,且由定義有θ1=1.
當n=2時,設 f2(x)=x2+a1x+a0,由(4)知 a1,a0需滿足qa0>0,qa1-pa0≥0,-pa1+q+a0≥0,-p+a1≥0.
要使a1有解則需要p2-q≤a0,(p2-q)a0≤q2.由于θn是尋求滿足條件的最大數(shù),故假設p2>q尋求a0的解(無解時可設p2≤q繼續(xù)求解).這時若要a0有解則需要(p2-q)2≤q2,解得p2/q≤2,也就是說,當p2/q>2時不存在K2使得K為多任務核,即命題對n=1時成立,且由定義即得θ2=2.
對更一般的情況,假設對小于n的情況命題都是成立的,也即對所有k<n,找到了θk,當p2/q>θk時,不存在K2使得K為多任務核.
現(xiàn)證明對于n的情況也成立.考慮乘以一個正常數(shù)不改變是否為多任務核的性質(zhì),不妨設
K1(t1,t2)=f1(x)=qx2-px+1,
K2(t1,t2)=f2(x)= αn-1xn-1… + α1x+1,
K3(t1,t2)=f3(x)= αnxn+an-1xn-1+ … + α1x+1.
這樣就有
f1(x)/q=x2-p/qx+1/q且(p/q)2/(1/q)=p2/q.
考慮到一個正數(shù)倍不影響是否為多任務核,因此這里θn仍定義為p2/q可能的最大值.為使K2,K3成為多任務核,需滿足的條件分別為
易見,不等式組(5)和(6)中部分式子相同.下面對比兩組不等式中不同的部分,即考慮不等式組(5)最后兩式和不等式組(6)最后三式.
從不等式組(6)看,最后一式表明 αn> 0,由倒數(shù)第二式知 αn≤qαn-1/p,由倒數(shù)第三式知 αn≥ pαn-1-qαn-2,要使 αn有解則需要 αn-1> 0 且(p2- q)αn-1≤pqαn-2.考慮到 θn是上界,故只需在 p2-q > 0 時找到合適的θn即可.根據(jù)歸納假設,p2-q=0對應θn=1的情況,在n=1時已經(jīng)達到,即p2-q>0.由此可得不等式
從不等式組(5)看,其最后一式表明αn-2>0,再由其倒數(shù)第二式可得
因此,為了使不等式組(5)有解,要求αn-2>0.至此,不等式組(5)和(6)的不同要求在于(7)和(8).然而,將這兩不等式的右端相減,得到
pqαn-2/(p2-q)- qαn-2/p=q2αn-2/p/(p2-q)> 0.
因而,(7)上界大于(8)上界,也就是說,在不等式組(6)中αn-1被允許的存在范圍大于其在不等式組(5)中的存在范圍.由于其他條件相同,因此不等式組(6)刻畫的條件較不等式組(5)更加寬松,或者說不等式組(5)刻畫的條件滿足不等式組(6),因此θn≥θn-1.
根據(jù)歸納法原理,對于所有的自然數(shù)n,有θn≥θn-1.
可以看出,所有θn都由對應于不同n的不等式組(5)解出.事實上,將所有αk按照k減小的次序消去,得到一個關于θ的方程gn(θ)=0,而θn則是這個方程的最大根.篇幅所限,這里僅列舉當n≤4時,gn(θ)的表達式及θn的值如下:
g1(θ)= θ- 1;g2(θ)= θ- 2;g3(θ)= θ(θ- 2)2-1;g4(θ)= θ5-7θ4+17θ3-17θ2+6θ.
θ1=1,θ2=2,θ3=(3+)/2,θ4=3.
[1]Micchelli C A,Pontil M.On learning vector- valued functions[J].Neural Computation,2005(17):177 -204.
[2]Caponnetto A,Micchelli C A,Pontil M,Ying,Yiming:Universal multi- task kernels[J].J.Mach.Learn.Res,2008(9):1615-1646.
[3]Liu Jianqiang,Micchelli C A,Wang Rui,et al.Finite rank kernels for multitask learning[J].Advances in Computational mathematics,2014,38(2):427 -436.