數(shù)據(jù)分布
- 面向異構(gòu)場(chǎng)景的智能運(yùn)維聯(lián)邦學(xué)習(xí)算法
同訓(xùn)練節(jié)點(diǎn)的數(shù)據(jù)分布往往是異構(gòu)的,訓(xùn)練速度也不同,甚至不同任務(wù)的訓(xùn)練目標(biāo)也有區(qū)別.面對(duì)上述情況,基本的模型聚合算法無(wú)法保障聯(lián)邦學(xué)習(xí)的訓(xùn)練速度和模型性能.為了解決這些問題,現(xiàn)有研究工作已經(jīng)開始嘗試各種聯(lián)邦學(xué)習(xí)的改進(jìn)方法.例如,文獻(xiàn)[13]基于受限的局部更新進(jìn)行研究,通過將全局模型拆分為多個(gè)僅更新自己部分的參數(shù)的局部模型以實(shí)現(xiàn)降低通信和計(jì)算成本的目標(biāo).文獻(xiàn)[14]基于設(shè)備分組的方式將參與聯(lián)邦學(xué)習(xí)的設(shè)備劃分為不同的組進(jìn)行本地模型訓(xùn)練和參數(shù)交換以降低通信需求.同時(shí)
空間控制技術(shù)與應(yīng)用 2023年4期2023-08-31
- 箱線圖的識(shí)與思:何其形?何由來?何以識(shí)?何所教?*
線圖作為呈現(xiàn)數(shù)據(jù)分布特征的可視化技術(shù),為初中生開展數(shù)據(jù)分析活動(dòng)提供了一種簡(jiǎn)單而直觀的工具.由于箱線圖是《標(biāo)準(zhǔn)2022》中新增的內(nèi)容,所以絕大多數(shù)一線教師對(duì)其并不熟悉.為此,本文將依循箱線圖有何形式、從何而來、如何認(rèn)識(shí)、如何教學(xué)的邏輯線索展開分析:首先介紹箱線圖的呈現(xiàn)形式;再對(duì)箱線圖的起源與發(fā)展進(jìn)行說明;然后從“數(shù)”“形”兩個(gè)角度討論箱線圖,加深認(rèn)識(shí);最后提出關(guān)于箱線圖的教學(xué)思考.1 何其形:箱線圖的呈現(xiàn)形式《標(biāo)準(zhǔn)2022》中出現(xiàn)的箱線圖,也可稱為盒須圖,緣
中學(xué)數(shù)學(xué)月刊 2023年8期2023-08-15
- 制動(dòng)時(shí)方向盤抖動(dòng)問題的研究
動(dòng)盤端面跳動(dòng)數(shù)據(jù)分布直方圖如圖1所示。依據(jù)動(dòng)盤SRO數(shù)據(jù)及擬合參數(shù),可以判定制動(dòng)盤端面跳動(dòng)滿足設(shè)計(jì)要求,不是影響抖動(dòng)的根本原因。表1 制動(dòng)盤上下制動(dòng)面SRO測(cè)量結(jié)果 單位:μm圖1 制動(dòng)盤端面跳動(dòng)數(shù)據(jù)分布直方圖3.4 制動(dòng)盤厚度差分析DTV設(shè)計(jì)目標(biāo):周向厚度差不超過0.007 mm,徑向厚度差不超過0.05 mm。利用千分表測(cè)量制動(dòng)盤厚度差,結(jié)果見表2,制動(dòng)盤厚度差數(shù)據(jù)分布直方圖如圖2所示。結(jié)果顯示,數(shù)據(jù)分布為偏向型,DTV均值為0.091 mm,大于目標(biāo)
汽車零部件 2023年1期2023-02-14
- 基于多通道一維卷積神經(jīng)網(wǎng)絡(luò)的刀具磨損動(dòng)態(tài)預(yù)測(cè)模型
,采集的信號(hào)數(shù)據(jù)分布存在差異[12]。因此用歷史數(shù)據(jù)訓(xùn)練的預(yù)測(cè)模型在識(shí)別另一把刀具的磨損數(shù)據(jù)時(shí)會(huì)引起歷史模型失效、泛化性差等問題。針對(duì)不同刀具磨損數(shù)據(jù)分布不一致造成的歷史模型失效問題,本文利用一維卷積神經(jīng)網(wǎng)絡(luò)可自適應(yīng)提取特征的特點(diǎn),提出了一種基于多通道一維卷積神經(jīng)網(wǎng)絡(luò)(1D-convolutional neural networks, 1D-CNN)的刀具磨損動(dòng)態(tài)預(yù)測(cè)模型。首先,通過歷史刀具磨損數(shù)據(jù)建立初始的一維卷積神經(jīng)網(wǎng)絡(luò)刀具磨損預(yù)測(cè)歷史模型。在此基礎(chǔ)上
振動(dòng)與沖擊 2023年2期2023-01-31
- 關(guān)注數(shù)據(jù)分布,把握統(tǒng)計(jì)量本質(zhì)
力。一、通過數(shù)據(jù)分布獲得中位數(shù)與眾數(shù)例1某校根據(jù)九年級(jí)學(xué)生期末考試成績(jī)?cè)谀昙?jí)中的位次,從高到低把學(xué)生成績(jī)?cè)u(píng)定為5個(gè)等第:A+、A、B、C、D,各等第人數(shù)分布的扇形統(tǒng)計(jì)圖如下。某校九年級(jí)期末考試各等第人數(shù)分布扇形統(tǒng)計(jì)圖(1)由圖可知,這次考試成績(jī)的中位數(shù)應(yīng)被評(píng)定為______等第;(2)這次考試成績(jī)的眾數(shù)一定被評(píng)定為B或C等第嗎?說明理由。【分析】本題結(jié)合扇形統(tǒng)計(jì)圖考查中位數(shù)和眾數(shù)的概念。從本題的扇形統(tǒng)計(jì)圖中,我們不能獲取每個(gè)學(xué)生的等第這個(gè)精確數(shù)據(jù),只能獲取
初中生世界 2022年43期2022-11-29
- 高能醫(yī)用直線加速器的感生放射性輻射場(chǎng)特點(diǎn)及其防護(hù)措施探討
生放射場(chǎng)強(qiáng)度數(shù)據(jù)分布,按照0.5 min、1 min、2 min,直至10 min,統(tǒng)計(jì)200 MU/min、400 MU/min、600 MU/min 的感生放射場(chǎng)強(qiáng)度數(shù)據(jù)。②不同照射時(shí)長(zhǎng)條件下不同照射面積的感生放射場(chǎng)強(qiáng)度數(shù)據(jù)分布,不同照射時(shí)長(zhǎng)條件下不同照射面積(10 cm×10 cm、20 cm×20 cm、30 cm×30 cm、40 cm×40 cm)的感生放射場(chǎng)強(qiáng)度數(shù)據(jù)分布。③不同照射時(shí)長(zhǎng)條件下不同部位的感生放射場(chǎng)強(qiáng)度數(shù)據(jù)分布,設(shè)照射中心為地點(diǎn)A
中國(guó)醫(yī)學(xué)工程 2022年9期2022-10-11
- 基于域適應(yīng)神經(jīng)網(wǎng)絡(luò)與聯(lián)合分布自適應(yīng)的無(wú)監(jiān)督故障診斷方法
練數(shù)據(jù)與測(cè)試數(shù)據(jù)分布相同的假設(shè)上。然而,當(dāng)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的數(shù)據(jù)分布不同時(shí),傳統(tǒng)機(jī)器學(xué)習(xí)方法往往表現(xiàn)不佳[13]。實(shí)際生產(chǎn)過程中,機(jī)械設(shè)備的工作狀態(tài)與條件往往是動(dòng)態(tài)變化的,設(shè)備所產(chǎn)生的故障診斷數(shù)據(jù)分布也會(huì)隨之改變。另外,在故障診斷中,高質(zhì)量的帶標(biāo)簽的數(shù)據(jù)通常較少,這給故障診斷帶來了較大的挑戰(zhàn)。為了解決故障診斷數(shù)據(jù)不足的問題,無(wú)監(jiān)督的故障診斷方法受到了廣泛關(guān)注,LIU等[14]提出一種分類對(duì)抗自編碼器(Categorical Adversarial Aut
計(jì)算機(jī)集成制造系統(tǒng) 2022年8期2022-09-05
- 一種結(jié)構(gòu)化道路環(huán)境的障礙物檢測(cè)方法*
出了一種基于數(shù)據(jù)分布密度的加權(quán)RANSAC(Random Sample Consensus)直線檢測(cè)算法以及一種基于動(dòng)態(tài)閾值的DBSCAN(Dynamic Threshold Density-Based Spatial Clustering of Applications with Noise,DT-DBSCAN)聚類算法。實(shí)驗(yàn)表明,本文方法可以滿足無(wú)人駕駛系統(tǒng)實(shí)時(shí)性的要求,經(jīng)過改進(jìn)后提高了檢測(cè)的魯棒性和準(zhǔn)確率。2 感興趣區(qū)域提取在結(jié)構(gòu)化道路場(chǎng)景中,無(wú)人駕
計(jì)算機(jī)與數(shù)字工程 2022年7期2022-08-26
- 概念漂移檢測(cè)算法綜述
移描述了流式數(shù)據(jù)分布隨統(tǒng)計(jì)時(shí)間而發(fā)生不可預(yù)見的變化.研究概念漂移檢測(cè),有助于提高實(shí)際生活中決策和管理模型的預(yù)知性,預(yù)測(cè)和預(yù)警模型的準(zhǔn)確度.在移動(dòng)互聯(lián)網(wǎng)時(shí)代,大量的流式數(shù)據(jù)涌入人們的生活,不同于傳統(tǒng)的靜態(tài)數(shù)據(jù),流式數(shù)據(jù)具有數(shù)據(jù)量大,實(shí)時(shí)可變性強(qiáng)的特點(diǎn).流式數(shù)據(jù)分為穩(wěn)定的數(shù)據(jù)流和動(dòng)態(tài)的數(shù)據(jù)流,穩(wěn)定的數(shù)據(jù)流獨(dú)立同分布,而動(dòng)態(tài)數(shù)據(jù)流不獨(dú)立同分布,容易出現(xiàn)概念漂移.因此迫切需要高效的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)技術(shù)支持我們作出預(yù)測(cè)和決策.隨著產(chǎn)品的更新發(fā)展,市場(chǎng)的激烈競(jìng)爭(zhēng),顧
- 基于數(shù)據(jù)分布一致性的處理器硬件性能計(jì)數(shù)器復(fù)用估計(jì)方法
提出一種基于數(shù)據(jù)分布一致性的估計(jì)算法:輪廓線估計(jì)法(outline estimation, OLE).具體地,本文貢獻(xiàn)有3個(gè)方面:1) 通過柯爾莫戈洛夫-斯米諾夫正態(tài)性檢驗(yàn)(Kolmogorov-Smirnov, KS)[15],我們發(fā)現(xiàn)針對(duì)同一硬件事件,同一代碼在單計(jì)數(shù)器記錄單事件(one counter one event, OCOE)模式與MPX模式下,存在數(shù)據(jù)分布一致性規(guī)律;2) 基于此規(guī)律,我們提出輪廓線估計(jì)法OLE,通過逆向累積分布實(shí)現(xiàn)估計(jì)插值
計(jì)算機(jī)研究與發(fā)展 2022年6期2022-06-09
- 關(guān)注數(shù)據(jù)分布,把握統(tǒng)計(jì)量本質(zhì)
力。一、通過數(shù)據(jù)分布獲得中位數(shù)與眾數(shù)例1 某校根據(jù)九年級(jí)學(xué)生期末考試成績(jī)?cè)谀昙?jí)中的位次,從高到低把學(xué)生成績(jī)?cè)u(píng)定為5個(gè)等第:A+、A、B、C、D,各等第人數(shù)分布的扇形統(tǒng)計(jì)圖如下。某校九年級(jí)期末考試各等第人數(shù)分布(1)由圖可知,這次考試成績(jī)的中位數(shù)應(yīng)被評(píng)定為______等第;(2)這次考試成績(jī)的眾數(shù)一定被評(píng)定為B或C等第嗎?說明理由?!痉治觥勘绢}結(jié)合扇形統(tǒng)計(jì)圖考查中位數(shù)和眾數(shù)的概念。從本題的扇形統(tǒng)計(jì)圖中,我們不能獲取每個(gè)學(xué)生的等第這個(gè)精確數(shù)據(jù),只能獲取不同等第
初中生世界·九年級(jí) 2022年11期2022-05-30
- 基于分段邊緣擬合的測(cè)風(fēng)多普勒差分干涉儀成像熱漂移監(jiān)測(cè)方法*
擬合所用各項(xiàng)數(shù)據(jù)分布特征參數(shù)誤差對(duì)邊緣檢測(cè)的影響,結(jié)果表明,邊緣檢測(cè)精度主要受數(shù)據(jù)信噪比和條紋頻率參數(shù)準(zhǔn)確性的制約,當(dāng)擬合用條紋頻率參數(shù)誤差小于0.5%而其他數(shù)據(jù)分布特征參數(shù)誤差在1%以內(nèi),數(shù)據(jù)信噪比在約35 倍以上時(shí),本文算法可以實(shí)現(xiàn)高于0.05 像元的檢測(cè)精度.1 引言中高層大氣風(fēng)場(chǎng)信息可以為建立中間層、低熱層和電離層之間的動(dòng)量和能量的耦合提供參考,為中長(zhǎng)期的天氣預(yù)報(bào)提供數(shù)據(jù)支持,為軍事和航天活動(dòng)的順利開展提供可靠保障[1?7].多普勒差分干涉儀是近年
物理學(xué)報(bào) 2022年8期2022-04-27
- 高職學(xué)生心理測(cè)評(píng)一級(jí)心理問題數(shù)據(jù)探析
,多項(xiàng)指標(biāo)值數(shù)據(jù)分布的峰度偏離較大。以一級(jí)心理問題測(cè)評(píng)數(shù)據(jù)為總體。以民族為分組變量,共計(jì)6個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布平緩,11個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布陡峭;以生源地為分組變量,共計(jì)16個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布平緩,13個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布陡峭;以是否獨(dú)生為分組變量,共計(jì)3個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布平緩,4個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布陡峭;以性別為分組變量,共計(jì)3個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布平緩,4個(gè)指標(biāo)值數(shù)據(jù)分布相較正態(tài)分布陡峭;以院系
華東紙業(yè) 2022年12期2022-03-12
- 基于度量學(xué)習(xí)的無(wú)監(jiān)督域適應(yīng)方法及其在死亡風(fēng)險(xiǎn)預(yù)測(cè)上的應(yīng)用
的困難:整體數(shù)據(jù)分布偏移、類別之間的數(shù)據(jù)分布偏移以及時(shí)序數(shù)據(jù)的多樣性和復(fù)雜性.其中整體數(shù)據(jù)分布偏移與類別之間的數(shù)據(jù)分布偏移如圖1所示:Fig. 1 Data distribution shift圖1 數(shù)據(jù)分布偏移整體數(shù)據(jù)分布偏移指的是源域和目的域整體的數(shù)據(jù)分布往往不相同.例如,在重癥監(jiān)護(hù)室內(nèi)收集到的數(shù)據(jù)中可能老年人占據(jù)大多數(shù).圖1中老年患者A與青年患者B的生命體征不相類似,表示以老年患者為主體的源域和以青年患者為主體的目的域的數(shù)據(jù)分布是有差異的.以醫(yī)療領(lǐng)域
計(jì)算機(jī)研究與發(fā)展 2022年3期2022-03-09
- 動(dòng)車組受電弓可靠性數(shù)據(jù)分析
可靠性、故障數(shù)據(jù)分布函數(shù)、失效率、可靠度等可靠性指標(biāo)都通過可靠性數(shù)據(jù)分析獲得??煽啃詳?shù)據(jù)分析的流程如圖1所示。圖1 可靠性數(shù)據(jù)分析的流程2.2 數(shù)據(jù)分布類型對(duì)產(chǎn)品進(jìn)行可靠性數(shù)據(jù)分析,需要了解失效數(shù)據(jù)的分布類型,根據(jù)分布類型得到可靠性指標(biāo)。常見的數(shù)據(jù)分布有正態(tài)分布、指數(shù)分布、威布爾分布等[9],其中,威布爾分布對(duì)各種失效數(shù)據(jù)的處理能力很強(qiáng),可以描述早期失效、偶然失效和耗損失效這3種類型[1]。威布爾分布函數(shù)如式(1)所示。其中,t為故障時(shí)間;m為形狀參數(shù);η
鐵路計(jì)算機(jī)應(yīng)用 2021年12期2022-01-04
- 分布式數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)分布策略分析
數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)分布策略,研究中選擇以分布式數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)為切入點(diǎn),給出數(shù)據(jù)分布的具體策略,最后結(jié)合實(shí)際情況給出分布式數(shù)據(jù)庫(kù)系統(tǒng)的安全管理措施。關(guān)鍵詞:分布式數(shù)據(jù)庫(kù);數(shù)據(jù)分布;安全控制中圖分類號(hào):TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2021)20-0036-02云計(jì)算網(wǎng)絡(luò)是互聯(lián)網(wǎng)信息技術(shù)發(fā)展的重要產(chǎn)物,主要是利用現(xiàn)代計(jì)算機(jī)系統(tǒng),以互聯(lián)網(wǎng)為媒介對(duì)數(shù)據(jù)進(jìn)行收集、整合和分析,為用戶提供更具針對(duì)性的服務(wù)。由于網(wǎng)絡(luò)媒介的存在,人們獲
電腦知識(shí)與技術(shù) 2021年20期2021-09-26
- 基于熵的過采樣框架
用于重新平衡數(shù)據(jù)分布,使標(biāo)準(zhǔn)算法以用戶的目標(biāo)為中心[8]。特別地,數(shù)據(jù)級(jí)方法可以分為欠采樣多數(shù)類實(shí)例[9]和過采樣少數(shù)類實(shí)例[10]兩種方案。欠采樣方法通過減少多數(shù)類實(shí)例的數(shù)量來創(chuàng)建原始不平衡數(shù)據(jù)集的平衡子集。過采樣方法通過增加少數(shù)類數(shù)據(jù)實(shí)例的個(gè)數(shù)來平衡數(shù)據(jù)集。Chawla 等人[11]提出一種基于線性插值的過采樣算法SMOTE。SMOTE 算法的主要思想是隨機(jī)選取一些少數(shù)類實(shí)例作為種子,并選取種子的k個(gè)最近鄰中的一個(gè)或多個(gè)少數(shù)類實(shí)例,與其結(jié)合為鄰居對(duì)適應(yīng)
計(jì)算機(jī)工程與應(yīng)用 2021年13期2021-07-14
- 基于生成對(duì)抗網(wǎng)絡(luò)的空中目標(biāo)圖像生成算法研究
距離衡量真實(shí)數(shù)據(jù)分布和生成數(shù)據(jù)分布的距離,能夠在任何情況下為生成器提供梯度信息以更新參數(shù)。目前,生成對(duì)抗網(wǎng)絡(luò)在圖像生成、圖像轉(zhuǎn)換、圖像超分辨率等[6]領(lǐng)域取得了巨大的成功??罩心繕?biāo)種類繁多,并且各種機(jī)型姿態(tài)各異,公開的數(shù)據(jù)集較少,因此針對(duì)空中目標(biāo)圖像生成的難度較大。本文基于DCGAN架構(gòu),通過優(yōu)化判別器損失函數(shù),提高了模型訓(xùn)練穩(wěn)定性,同時(shí)提高了生成圖像的質(zhì)量。1 基于DCGAN模型的圖像生成算法DCGAN 首次將GAN 和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合起來,同時(shí)設(shè)計(jì)了一
空天防御 2021年2期2021-06-24
- 不同替代計(jì)量數(shù)據(jù)庫(kù)數(shù)據(jù)政策與數(shù)據(jù)數(shù)值的比較研究*
數(shù)據(jù)庫(kù)傾斜的數(shù)據(jù)分布則表明,這個(gè)數(shù)據(jù)庫(kù)總是比其他數(shù)據(jù)庫(kù)提供更多或更少的替代計(jì)量事件。2 不同替代計(jì)量數(shù)據(jù)庫(kù)數(shù)據(jù)政策的對(duì)比分析結(jié)果NISO從透明性、可重復(fù)性和準(zhǔn)確性三個(gè)方面,提出了替代計(jì)量數(shù)據(jù)質(zhì)量的建議性規(guī)范和標(biāo)準(zhǔn)[3],替代計(jì)量數(shù)據(jù)庫(kù)服務(wù)商分別應(yīng)對(duì)NISO標(biāo)準(zhǔn)做出了回應(yīng)和調(diào)整,建立了相關(guān)數(shù)據(jù)政策,對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理方式、數(shù)據(jù)質(zhì)量的保障方法、數(shù)據(jù)庫(kù)信息等進(jìn)行公示,這為對(duì)比不同替代計(jì)量數(shù)據(jù)庫(kù)數(shù)據(jù)政策,提供了依據(jù)和數(shù)據(jù)支撐。2.1不同替代計(jì)量數(shù)據(jù)庫(kù)保障透明性數(shù)據(jù)
情報(bào)雜志 2021年5期2021-05-29
- 基于RFID的智能化教室座位占空感知系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)*
到的數(shù)據(jù)進(jìn)行數(shù)據(jù)分布圖繪制,數(shù)據(jù)分布情況如圖3所示。從數(shù)據(jù)分布情況來看,采集到的數(shù)據(jù)分布比較穩(wěn)定,且大部分?jǐn)?shù)據(jù)處于64~69 dBm之間。圖3 無(wú)人情況下的RSSI數(shù)據(jù)分布第二組采集的數(shù)據(jù)結(jié)果如表2所示,采集時(shí)讀寫天線距離應(yīng)答電子標(biāo)簽4 m,電子標(biāo)簽布置在一個(gè)座位的靠背上,并且有一個(gè)人端坐在座位上,采集1 000個(gè)數(shù)據(jù)。繪制的數(shù)據(jù)分布如圖4所示,大部分?jǐn)?shù)據(jù)處于47~51 dBm之間。表2 有人情況下的RSSI數(shù)據(jù)統(tǒng)計(jì)圖4 有人情況下的RSSI數(shù)據(jù)分布對(duì)采集
中國(guó)教育技術(shù)裝備 2021年12期2021-03-24
- 用于蘋果葉病分類的領(lǐng)域自適應(yīng)方法研究*
像有著不同的數(shù)據(jù)分布。對(duì)某種數(shù)據(jù)分布的樣本識(shí)別效果良好的網(wǎng)絡(luò)模型,用于其他數(shù)據(jù)分布的數(shù)據(jù)識(shí)別時(shí)準(zhǔn)確率可能會(huì)嚴(yán)重降低。為了解決該問題,領(lǐng)域自適應(yīng)方法應(yīng)運(yùn)而生,該方法是一種遷移學(xué)習(xí)方法,目的是將在源域上學(xué)到的分類識(shí)別能力遷移到目標(biāo)域上。領(lǐng)域自適應(yīng)方法根據(jù)數(shù)據(jù)分布的不同將訓(xùn)練數(shù)據(jù)集分為帶標(biāo)簽的源域和帶少量或不帶標(biāo)簽的目標(biāo)域。領(lǐng)域自適應(yīng)的思想就是將不同領(lǐng)域數(shù)據(jù)集映射到同一個(gè)特征空間,使其特征分布盡可能相近,從而可以將源域數(shù)據(jù)集的識(shí)別能力遷移到目標(biāo)域數(shù)據(jù)集上。基于領(lǐng)
智慧農(nóng)業(yè)導(dǎo)刊 2021年12期2021-03-12
- Ceph云存儲(chǔ)中基于強(qiáng)化學(xué)習(xí)的QoS優(yōu)化
如何將海量的數(shù)據(jù)分布在不同的存儲(chǔ)節(jié)點(diǎn)上,且盡可能分布均衡,解決這個(gè)問題的關(guān)鍵就是要設(shè)計(jì)一個(gè)好的數(shù)據(jù)分布策略,其對(duì)云存儲(chǔ)系統(tǒng)的QoS性能起著至關(guān)重要的作用。以一個(gè)具體的云存儲(chǔ)系統(tǒng)為基礎(chǔ)展開研究,Ceph作為最近幾年熱門研究的云存儲(chǔ)系統(tǒng),不僅具有高擴(kuò)展性、高性能和高可靠性的特點(diǎn),而且實(shí)現(xiàn)了集群真正意義上的無(wú)中心節(jié)點(diǎn)。但是,Ceph的數(shù)據(jù)分布算法CRUSH(controlled replication under scalable hashing)存在數(shù)據(jù)在設(shè)備
計(jì)算機(jī)工程與設(shè)計(jì) 2021年2期2021-02-25
- 軸承尺寸檢測(cè)數(shù)據(jù)的異常值檢測(cè)與數(shù)據(jù)處理研究*
行實(shí)驗(yàn)。檢測(cè)數(shù)據(jù)分布與頻率分布直方圖,如圖4所示。圖4 檢測(cè)數(shù)據(jù)分布與頻率分布直方圖根據(jù)圖4,通過計(jì)算可得到檢測(cè)數(shù)據(jù)的均值μ=150.947 0和標(biāo)準(zhǔn)差σ=0.942 2,則正態(tài)分布的概率密度曲線f(x)為:(12)檢測(cè)數(shù)據(jù)箱型圖和概率密度曲線f(x)如圖5所示。圖5 檢測(cè)數(shù)據(jù)箱型圖和概率密度曲線f(x)當(dāng)傳感器檢測(cè)到卡盤處時(shí),會(huì)得到如圖4(a)中的上部異常數(shù)據(jù)。由圖5(a)觀察可知,箱型圖可以檢測(cè)出這類異常數(shù)據(jù)以及其他原因所造成的異常值。由圖4(b)與圖
機(jī)電工程 2021年2期2021-02-25
- 商品條碼實(shí)驗(yàn)室能力驗(yàn)證統(tǒng)計(jì)方法應(yīng)用分析
目以及不同的數(shù)據(jù)分布,需要考慮相關(guān)的標(biāo)準(zhǔn)和要求,選擇合適的能力驗(yàn)證處理方法,否則會(huì)造成結(jié)果不準(zhǔn)確、將“滿意”結(jié)果誤判成“不滿意”等問題。能力驗(yàn)證能力評(píng)定方法常用的能力驗(yàn)證統(tǒng)計(jì)方法為Z比分?jǐn)?shù)法,本文采用此方法對(duì)不同數(shù)據(jù)進(jìn)行分析,其目的是依據(jù)能力評(píng)定準(zhǔn)則將數(shù)據(jù)的偏離進(jìn)行定量分析,且此統(tǒng)計(jì)方法不需要做任何處理與變換。Z比分?jǐn)?shù)定量結(jié)果計(jì)算如下:式中:Z為Z比分?jǐn)?shù)值;x為參加能力驗(yàn)證實(shí)驗(yàn)室結(jié)果;X為數(shù)據(jù)指定值;σ為能力評(píng)定標(biāo)準(zhǔn)差。使用Z比分?jǐn)?shù)對(duì)參加實(shí)驗(yàn)室進(jìn)行能力評(píng)定
中國(guó)自動(dòng)識(shí)別技術(shù) 2021年6期2021-02-14
- 基于WGAN的不均衡太赫茲光譜識(shí)別
數(shù)據(jù)符合真實(shí)數(shù)據(jù)分布,并且能有效增加數(shù)據(jù)量。針對(duì)目前太赫茲光譜數(shù)據(jù)庫(kù)中各物質(zhì)數(shù)據(jù)量不均衡問題,本文提出一種基于WGAN的不均衡太赫茲光譜識(shí)別方法。首先利用生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)真實(shí)太赫茲光譜數(shù)據(jù)分布,在WGAN達(dá)到納什均衡后用生成數(shù)據(jù)擴(kuò)展太赫茲光譜數(shù)據(jù)集,使之達(dá)到類別均衡,最后采用多分類支持向量機(jī)對(duì)太赫茲光譜數(shù)據(jù)進(jìn)行分類識(shí)別。1 基于WGAN的太赫茲光譜識(shí)別方法1.1 基礎(chǔ)理論太赫茲光譜數(shù)據(jù)為實(shí)數(shù)值,采用GAN訓(xùn)練數(shù)據(jù),模型會(huì)出現(xiàn)梯度不穩(wěn)定和多樣性不足等問題[1
光譜學(xué)與光譜分析 2021年2期2021-02-03
- 改進(jìn)的云存儲(chǔ)系統(tǒng)數(shù)據(jù)分布策略
進(jìn)袁承儲(chǔ)系統(tǒng)數(shù)據(jù)分布策略。關(guān)鍵詞:云存儲(chǔ);數(shù)據(jù)分布;策略;分析中圖分類號(hào):TP333?? 文獻(xiàn)標(biāo)識(shí)碼:A?? 文章編號(hào):1672-9129(2020)16-0048-01隨著計(jì)算機(jī)技術(shù)、信息技術(shù)等的快速發(fā)展,以及人們生活水平的大幅度提升,互聯(lián)網(wǎng)在我國(guó)迅速普及,已經(jīng)深入千家萬(wàn)戶,對(duì)人們?nèi)粘Ia(chǎn)生活有著極為深刻的影響,而現(xiàn)代存儲(chǔ)技術(shù)的快速發(fā)展,網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的進(jìn)一步優(yōu)化,有利于網(wǎng)絡(luò)新型技術(shù)的進(jìn)一步發(fā)展。云存儲(chǔ)系統(tǒng)主要是以傳統(tǒng)的分布式存儲(chǔ)技術(shù)為前提與基礎(chǔ),再充分利
數(shù)碼設(shè)計(jì) 2020年16期2020-12-08
- 基于暫態(tài)零序電流偏度特征的小電流接地系統(tǒng)單相接地故障區(qū)段定位
態(tài)零序電流的數(shù)據(jù)分布偏度特征分析暫態(tài)零序電流是由線路電容放電引起的.事實(shí)上,暫態(tài)零序電流放電過程迅速,呈現(xiàn)高頻特性.在高頻暫態(tài)零序電流分析中可以忽略消弧線圈的補(bǔ)償作用[16-17].故障區(qū)段兩端的數(shù)據(jù)分布偏度特征,如圖2所示.由圖2可知,在故障點(diǎn)上游網(wǎng)絡(luò)中,故障區(qū)段左側(cè)檢測(cè)點(diǎn)暫態(tài)零序電流流向母線,其正常線路的暫態(tài)零序電流離開母線.在故障點(diǎn)下游網(wǎng)絡(luò)中,故障線路的暫態(tài)零序電流是離開母線.因此,故障區(qū)段兩側(cè)檢測(cè)裝置的暫態(tài)零序電流具有相反的極性.健全區(qū)段兩側(cè)檢測(cè)裝
東北電力大學(xué)學(xué)報(bào) 2020年4期2020-10-16
- 自適應(yīng)稀疏表示引導(dǎo)的無(wú)監(jiān)督降維
常以保持某種數(shù)據(jù)分布信息(如幾何信息和統(tǒng)計(jì)信息等)為準(zhǔn)則[8].然而,在高維場(chǎng)景中,如何有效挖掘數(shù)據(jù)分布信息是非常困難的.因此,相比其他兩種降維方法,無(wú)監(jiān)督降維更具挑戰(zhàn)性.根據(jù)保持的數(shù)據(jù)分布信息的不同,無(wú)監(jiān)督降維又可分為保持數(shù)據(jù)分布的局部信息降維和保持數(shù)據(jù)分布的全局信息降維兩種.經(jīng)典的保持數(shù)據(jù)分布局部信息的無(wú)監(jiān)督降維方法有局部線性嵌入(locally linear embedding, LLE)[9]和局部保持投影(locality preserving
深圳大學(xué)學(xué)報(bào)(理工版) 2020年4期2020-07-17
- 數(shù)據(jù)分布特性對(duì)空調(diào)系統(tǒng)能耗預(yù)測(cè)的影響
相互獨(dú)立,即數(shù)據(jù)分布服從正態(tài)分布[14]。事實(shí)上,由于數(shù)據(jù)之間本身具有相關(guān)性,數(shù)據(jù)的分布往往并不服從正態(tài)分布,如果未對(duì)數(shù)據(jù)進(jìn)行任何處理,直接作為能耗預(yù)測(cè)的輸入條件,則能耗預(yù)測(cè)的結(jié)果會(huì)存在一定的誤差。相關(guān)方面在當(dāng)前的研究中鮮有提及。從數(shù)據(jù)的分布特性出發(fā),對(duì)不服從正態(tài)分布特性的原始數(shù)據(jù)進(jìn)行適當(dāng)?shù)臄?shù)據(jù)變換處理,作為提升能耗預(yù)測(cè)效果的重要技術(shù)手段。對(duì)實(shí)際的空調(diào)系統(tǒng)能耗進(jìn)行預(yù)測(cè),發(fā)現(xiàn)數(shù)據(jù)的分布特性對(duì)能耗預(yù)測(cè)影響巨大,合適的數(shù)據(jù)變換能大幅提升機(jī)器學(xué)習(xí)算法能耗預(yù)測(cè)的效果
科學(xué)技術(shù)與工程 2020年14期2020-06-23
- HDFS數(shù)據(jù)動(dòng)態(tài)分布設(shè)計(jì)與實(shí)現(xiàn)
對(duì)HDFS的數(shù)據(jù)分布進(jìn)行優(yōu)化、提高HDFS的數(shù)據(jù)存取速度具有重要意義。論文根據(jù)數(shù)據(jù)被讀寫的頻率確定數(shù)據(jù)應(yīng)存放的存儲(chǔ)介質(zhì),解決數(shù)據(jù)在不同讀寫性能的存儲(chǔ)介質(zhì)間的分布與其熱度無(wú)關(guān)的問題,期望能為大數(shù)據(jù)在高效存取與處理、多種數(shù)據(jù)及多種應(yīng)用并存且并發(fā)服務(wù)等方面提供一些解決方案。在對(duì)數(shù)據(jù)分布策略進(jìn)行優(yōu)化之前將分析各類數(shù)據(jù)的時(shí)間和空間訪問特征,將其與多種特性的存儲(chǔ)設(shè)備關(guān)聯(lián),達(dá)到將數(shù)據(jù)存儲(chǔ)在最合適的位置的目的,使之能夠被快速地獲取和存儲(chǔ)?;谪?fù)載訪問的數(shù)據(jù)管理策略在發(fā)揮S
綠色科技 2020年6期2020-06-15
- 不平衡數(shù)據(jù)的下采樣方法研究?
其根本問題是數(shù)據(jù)分布不均衡導(dǎo)致很多傳統(tǒng)機(jī)器學(xué)習(xí)的分類算法性能大大減弱。因?yàn)榇蠖鄶?shù)分類算法事先假設(shè)訓(xùn)練集具有相等的誤分類代價(jià)或平衡的數(shù)據(jù)分布[5],所以這些算法在面對(duì)相對(duì)復(fù)雜的不平衡數(shù)據(jù)集時(shí)便不能有效地反應(yīng)出數(shù)據(jù)的分布特征。如此一來,當(dāng)這些傳統(tǒng)分類算法在樣本不平衡的數(shù)據(jù)集上訓(xùn)練時(shí),經(jīng)常會(huì)出現(xiàn)分類面偏倚的現(xiàn)象,使得最終無(wú)法獲得令人滿意的分類效果,甚至?xí)霈F(xiàn)模型完全失效的糟糕情況[6~7]。不平衡學(xué)習(xí)因其重大研究意義而在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域備受矚目,多個(gè)業(yè)內(nèi)主
計(jì)算機(jī)與數(shù)字工程 2019年9期2019-10-08
- 基于Hi-c數(shù)據(jù)的酵母染色體三維結(jié)構(gòu)重構(gòu)
色體Hi-c數(shù)據(jù)分布擬合函數(shù)模型首先,需要對(duì)根據(jù)酵母染色體交互數(shù)據(jù)建立統(tǒng)計(jì)分布模型,為此,分別對(duì)酵母16條染色體的Hi-c數(shù)據(jù)分布情況進(jìn)行高斯擬合,對(duì)每條染色體的數(shù)據(jù)我們都分別與高斯8個(gè)線性組合核函數(shù)進(jìn)行擬合,再最終選取出擬合指標(biāo)SSE,RMSE,R-square最優(yōu)的高斯核函數(shù),最終選取核函數(shù)的擬合指標(biāo)結(jié)果如表1所示。表1 16條染色體擬合情況表Table 1 Fitting of 16 chromosomes在最終確定了每條染色體擬合出對(duì)應(yīng)的高斯核函數(shù)
生物信息學(xué) 2019年3期2019-09-04
- 基于馬氏距離的重采樣方法在流量識(shí)別中的應(yīng)用?
現(xiàn)網(wǎng)絡(luò)流量中數(shù)據(jù)分布的不均衡問題會(huì)嚴(yán)重影響流量識(shí)別的準(zhǔn)確率。這種不均衡通常會(huì)導(dǎo)致機(jī)器學(xué)習(xí)算法偏向于流量數(shù)據(jù)中多數(shù)類的流量樣本。例如:文獻(xiàn)[3]指出網(wǎng)絡(luò)流量數(shù)據(jù)中HTTP流量的數(shù)量通常會(huì)遠(yuǎn)遠(yuǎn)超過P2P和VoIP流量的數(shù)量,而機(jī)器學(xué)習(xí)算法通常會(huì)將所有流量識(shí)別為HTTP流量以實(shí)現(xiàn)高準(zhǔn)確率。在這種情況下,機(jī)器學(xué)習(xí)算法對(duì)于少數(shù)類流量的識(shí)別準(zhǔn)確率非常低。然而,在許多情況下這些少數(shù)類流量(例如P2P和VoIP流量)卻是人們更加關(guān)心的。目前,解決數(shù)據(jù)分布不均衡問題的方法可
- 數(shù)學(xué)能力月月賽(12)
0的樣本,其數(shù)據(jù)分布在2,18[ ]內(nèi),將樣本數(shù)據(jù)分為四組:2,6[ ),6,10[ ),10,14[ ),14,18[ ],得到頻率分布直方圖如圖1所示,則下列說法不正確的是( )。A.樣本數(shù)據(jù)分布在6,10[ )的頻率為0.32B.樣本數(shù)據(jù)分布在10,14[ )的頻數(shù)為40C.樣本數(shù)據(jù)分布在2,10[ )的頻數(shù)為40D.估計(jì)總體數(shù)據(jù)大約有10%分布在10,14[ )4.有一個(gè)容量為45的樣本數(shù)據(jù),分組后各組的頻數(shù)如下:[12.5,15.5],3;(15
中學(xué)生數(shù)理化·高一版 2019年12期2019-01-11
- 基于馬氏距離的重采樣方法在流量識(shí)別中的應(yīng)用?
現(xiàn)網(wǎng)絡(luò)流量中數(shù)據(jù)分布的不均衡問題會(huì)嚴(yán)重影響流量識(shí)別的準(zhǔn)確率。這種不均衡通常會(huì)導(dǎo)致機(jī)器學(xué)習(xí)算法偏向于流量數(shù)據(jù)中多數(shù)類的流量樣本。例如:文獻(xiàn)[3]指出網(wǎng)絡(luò)流量數(shù)據(jù)中HTTP流量的數(shù)量通常會(huì)遠(yuǎn)遠(yuǎn)超過P2P和VoIP流量的數(shù)量,而機(jī)器學(xué)習(xí)算法通常會(huì)將所有流量識(shí)別為HTTP流量以實(shí)現(xiàn)高準(zhǔn)確率。在這種情況下,機(jī)器學(xué)習(xí)算法對(duì)于少數(shù)類流量的識(shí)別準(zhǔn)確率非常低。然而,在許多情況下這些少數(shù)類流量(例如P2P和VoIP流量)卻是人們更加關(guān)心的。目前,解決數(shù)據(jù)分布不均衡問題的方法可
- 基于相位分辨統(tǒng)計(jì)技術(shù)的局部放電類型分析
判定相位分辨數(shù)據(jù)分布的不對(duì)稱程度以及方向,計(jì)算方法如下文所示[3][4]。2 相位分辨數(shù)據(jù)的統(tǒng)計(jì)參量的計(jì)算方法2.1 (φ-q)相位分辨數(shù)據(jù)統(tǒng)計(jì)參量的計(jì)算方法圖1 (φ-q)相位分辨數(shù)據(jù)統(tǒng)計(jì)分析示意圖局部放電的脈沖周期與電網(wǎng)工頻周期對(duì)應(yīng),每個(gè)周期包含0-360度相位角,局放測(cè)量?jī)x將0-360度相位角劃分成一定數(shù)量的相位窗數(shù),并在每個(gè)相位窗數(shù)上記錄當(dāng)前窗的脈沖幅值,生成(φ-q)相位分辨數(shù)據(jù),以相位角φ為橫軸,以局放電荷幅值q為縱軸,可以生成(φ-q)二維圖
中小企業(yè)管理與科技 2018年29期2018-11-06
- 融合批規(guī)范化編解碼網(wǎng)絡(luò)架構(gòu)的道路分割
習(xí)一個(gè)變化的數(shù)據(jù)分布,模型參數(shù)選取不穩(wěn)定、調(diào)優(yōu)難度大的問題,本文選取VGG16網(wǎng)絡(luò)和FCN32網(wǎng)絡(luò)模型分別組成道路分割的編解碼架構(gòu)[18],在每層卷積計(jì)算后加入批規(guī)范化計(jì)算[19],學(xué)習(xí)一個(gè)比較穩(wěn)定的參數(shù)數(shù)據(jù)分布。在KITTI數(shù)據(jù)集上的道路數(shù)據(jù)集實(shí)驗(yàn),結(jié)果表明本文設(shè)計(jì)的編解碼網(wǎng)絡(luò)架構(gòu)對(duì)無(wú)人車駕駛領(lǐng)域的可行駛區(qū)域檢測(cè)、分割有著較高的魯棒性。1 網(wǎng)絡(luò)模型的批規(guī)范化批規(guī)范化和卷積神經(jīng)網(wǎng)絡(luò)中的“白化”思想接近,在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中,深層神經(jīng)網(wǎng)絡(luò)在做非線性變換前的
現(xiàn)代計(jì)算機(jī) 2018年18期2018-07-18
- DoFFT:一種基于分布式數(shù)據(jù)庫(kù)的快速傅里葉變換方法
方面,集群中數(shù)據(jù)分布[7]也可能影響算法性能。Greenplum將數(shù)據(jù)分布到各個(gè)節(jié)點(diǎn)中,當(dāng)在某個(gè)節(jié)點(diǎn)上執(zhí)行UDF時(shí),由于節(jié)點(diǎn)的負(fù)載等不同,會(huì)導(dǎo)致不同的性能。為了使UDF算法執(zhí)行性能達(dá)到最優(yōu),本文做數(shù)據(jù)重分布。文獻(xiàn)[8]根據(jù)網(wǎng)絡(luò)傳播元組數(shù)目,重分布節(jié)點(diǎn)元組,從而提高表連接性能。本文是根據(jù)當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)分片大小、負(fù)載等因素重分布元組數(shù)據(jù),能夠較大地提高FFT的執(zhí)行效率。1 預(yù)備知識(shí)1.1 Greenplum分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)[9-10]是通過網(wǎng)絡(luò)將物理上
計(jì)算機(jī)與現(xiàn)代化 2018年6期2018-06-28
- 應(yīng)用語(yǔ)言學(xué)研究中的圖示與穩(wěn)健統(tǒng)計(jì)方法
和最大值提供數(shù)據(jù)分布尾巴的信息。中位數(shù)反映分布的中心。上、下樞距離反映分布的展度(spread);利用上、下樞構(gòu)建的上、下圍(upper fence,F(xiàn)U;lower fence,F(xiàn)L)用于診斷異常值(outlier)。中位數(shù)以及上、下樞的位置反映數(shù)據(jù)分布的偏度。換言之,五數(shù)概括涵蓋變量的四個(gè)主要特征:中心、展度、非對(duì)稱性(asymmetry)和異常值(Hintze et al.,1998:181)。箱圖的基本構(gòu)造如圖1所示。圖1箱圖構(gòu)造圖1是水平放置的箱
外國(guó)語(yǔ)文 2017年6期2018-01-19
- 基于數(shù)據(jù)密度感知的非平衡數(shù)據(jù)模糊聚類方法
方法.方法將數(shù)據(jù)分布密度特征嵌入模糊聚類初始化過程中,用于定位初始聚類中心點(diǎn),避免了少數(shù)類中心點(diǎn)位置的消失,在此基礎(chǔ)上進(jìn)一步設(shè)計(jì)了基于密度的模糊聚類優(yōu)化更新方法.經(jīng)數(shù)據(jù)集分析驗(yàn)證,本研究方法能夠有效解決非平衡數(shù)據(jù)分類中少數(shù)類消失問題,并且在聚類算法性能上比傳統(tǒng)方法有明顯提高.模糊聚類;分布密度;非平衡數(shù)據(jù)0 引 言模糊聚類方法(fuzzy C-means,F(xiàn)CM),是一種典型的非監(jiān)督學(xué)習(xí)方法,其在傳統(tǒng)聚類方法的基礎(chǔ)上,模糊聚類方法引入隸屬度概念,刻畫了每個(gè)
- 基于局部密度的快速離群點(diǎn)檢測(cè)算法
OF不能適應(yīng)數(shù)據(jù)分布異常情況離群點(diǎn)檢測(cè),INFLO算法雖引入反向k近鄰點(diǎn)集有效地解決了數(shù)據(jù)分布異常情況的離群點(diǎn)檢測(cè)問題,但存在需要對(duì)所有數(shù)據(jù)點(diǎn)不加區(qū)分地分析其k近鄰和反向k近鄰點(diǎn)集導(dǎo)致的效率降低問題。針對(duì)該問題,提出局部密度離群點(diǎn)檢測(cè)算法——LDBO,引入強(qiáng)k近鄰點(diǎn)和弱k近鄰點(diǎn)概念,通過分析鄰近數(shù)據(jù)點(diǎn)的離群相關(guān)性,對(duì)數(shù)據(jù)點(diǎn)區(qū)別對(duì)待;并提出數(shù)據(jù)點(diǎn)離群性預(yù)判斷策略,盡可能避免不必要的反向k近鄰分析,有效提高數(shù)據(jù)分布異常情況離群點(diǎn)檢測(cè)算法的效率。理論分析和實(shí)驗(yàn)結(jié)
計(jì)算機(jī)應(yīng)用 2017年10期2017-12-14
- 典型半監(jiān)督分類算法的研究分析
類算法可通過數(shù)據(jù)分布假設(shè)進(jìn)行分類。為此,在對(duì)比分析采用不同假設(shè)的半監(jiān)督分類典型算法的基礎(chǔ)上,以最小二乘方法(Least Squares,LS)為基準(zhǔn),研究比較了基于聚類假設(shè)的轉(zhuǎn)導(dǎo)支持向量機(jī)(Transductive Support Vector Machine,TSVM)和基于流行假設(shè)的正則化最小二乘法(Laplacian Regularized Least Squares Classification,LapRLSC),并同時(shí)利用兩種假設(shè)的SemiBoo
計(jì)算機(jī)技術(shù)與發(fā)展 2017年10期2017-10-23
- SQL執(zhí)行計(jì)劃與直方圖關(guān)系研究①
大小、規(guī)模、數(shù)據(jù)分布狀況等的一類信息.比如,表的行數(shù)、塊數(shù)、平均每行的大小、索引的leaf blocks、索引字段的行數(shù)、不同值的大小等,都屬于統(tǒng)計(jì)信息.CBO正是根據(jù)這些統(tǒng)計(jì)信息數(shù)據(jù),計(jì)算出不同訪問路徑下,不同join方式下,各種執(zhí)行計(jì)劃的成本,最后選擇出成本最小的執(zhí)行計(jì)劃[4].在oracle中直方圖是一種對(duì)數(shù)據(jù)分布質(zhì)量情況進(jìn)行描述的工具.它會(huì)按照某一列不同值出現(xiàn)數(shù)量的多少,以及出現(xiàn)的頻率高低來繪制數(shù)據(jù)的分布情況,以便能夠指導(dǎo)優(yōu)化器根據(jù)數(shù)據(jù)的分布做出正
計(jì)算機(jī)系統(tǒng)應(yīng)用 2017年10期2017-10-20
- 云環(huán)境下影響數(shù)據(jù)分布并行應(yīng)用執(zhí)行效率的因素分析
云環(huán)境下影響數(shù)據(jù)分布并行應(yīng)用執(zhí)行效率的因素分析馬生俊*,陳旺虎,俞茂義,李金溶,郟文博(西北師范大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,蘭州 730070) (*通信作者電子郵箱1780761723@qq.com)云環(huán)境下,類似MapReduce的數(shù)據(jù)分布并行應(yīng)用被廣泛運(yùn)用。針對(duì)此類應(yīng)用執(zhí)行效率低、成本高的問題,以Hadoop為例,首先,分析該類應(yīng)用的執(zhí)行方式,發(fā)現(xiàn)數(shù)據(jù)量、節(jié)點(diǎn)數(shù)和任務(wù)數(shù)是影響其效率的主要因素;其次,探討以上因素對(duì)應(yīng)用效率的影響;最后,通過實(shí)驗(yàn)得出在數(shù)
計(jì)算機(jī)應(yīng)用 2017年7期2017-09-22
- 基于約簡(jiǎn)策略與自適應(yīng)SVDD的無(wú)線傳感網(wǎng)絡(luò)離群檢測(cè)方法*
然后利用基于數(shù)據(jù)分布密度準(zhǔn)則和數(shù)據(jù)流時(shí)間相關(guān)性自適應(yīng)更新決策模型。針對(duì)Intel Berkeley數(shù)據(jù)集及SensorScope System數(shù)據(jù)集的仿真實(shí)驗(yàn)表明,RASVDD的離群檢測(cè)正確率TPR(True Positive Rate)平均達(dá)98%,誤報(bào)率FPR(False Positive Rate)平均僅為1%,并且與傳統(tǒng)的SVDD算法相比,RASVDD 決策模型訓(xùn)練時(shí)間減少了20%以上。無(wú)線傳感網(wǎng)絡(luò);數(shù)據(jù)約簡(jiǎn);SVDD;離群檢測(cè);仿真21世紀(jì)電子信
傳感技術(shù)學(xué)報(bào) 2017年9期2017-09-22
- 無(wú)線電通信仿真的大數(shù)據(jù)分布管理
通信仿真的大數(shù)據(jù)分布管理杜 乾中國(guó)電信股份有限公司樂山分公司,四川 樂山 614000隨著中國(guó)無(wú)線電行業(yè)的不斷高速發(fā)展,無(wú)線電通信仿真的數(shù)據(jù)分布管理也在不斷提升。高層體系結(jié)構(gòu)俗稱HLA,具體在應(yīng)用過程中可以有效地建立起支持建模與仿真的互操作性與可用性。基于HLA這種新型仿真體系結(jié)構(gòu),對(duì)無(wú)線通信仿真的數(shù)據(jù)分布管理進(jìn)行了細(xì)致的研究,并以此描繪出一種簡(jiǎn)化式的空中交通控制劇本,將其作為無(wú)線電通信仿真,設(shè)計(jì)出無(wú)線電通信的路由空間,并提供屬性表及互操作參數(shù)表。無(wú)線電;
移動(dòng)信息 2017年3期2017-07-31
- 基于迭代填充的內(nèi)存計(jì)算框架分區(qū)映射算法
擴(kuò)展區(qū)內(nèi),在數(shù)據(jù)分布局部感知后再執(zhí)行擴(kuò)展區(qū)迭代式的多輪數(shù)據(jù)分配,根據(jù)Reduce端已分配數(shù)據(jù)量建立適應(yīng)性的擴(kuò)展區(qū)映射規(guī)則,對(duì)原生區(qū)的數(shù)據(jù)傾斜進(jìn)行逐步修正,以此保障數(shù)據(jù)分配的均衡性。實(shí)驗(yàn)結(jié)果表明,在不同源數(shù)據(jù)分布條件下,算法均提高了作業(yè)Shuffle過程分區(qū)映射合理性,縮減了寬依賴Stage的同步時(shí)間,提高了作業(yè)執(zhí)行效率。內(nèi)存計(jì)算;數(shù)據(jù)均衡;擴(kuò)展式分區(qū);迭代式映射0 引言近年來,利用內(nèi)存的低延遲特性改進(jìn)并行計(jì)算框架性能成為新的研究方向。內(nèi)存計(jì)算框架避免了頻繁
計(jì)算機(jī)應(yīng)用 2017年3期2017-05-24
- 腦卒中伴房顫的全球發(fā)生率
連續(xù)性患者。數(shù)據(jù)分布于19個(gè)國(guó)家的19個(gè)腦卒中中心,急性缺血性腦卒中患者在各自地區(qū)被檢視。腦卒中 伴房顫定義為缺血性腦卒中伴隨任何病史的房顫,或者索引腦卒中的評(píng)估中發(fā)現(xiàn)房顫。在所有2144名具有近期缺血性腦卒中患者中,腦卒中伴房顫的發(fā)生率為28%,排名順序從菲律賓的11%到愛爾蘭的45%。腦卒中伴房顫患者平均年齡75歲,對(duì)比于非腦卒中伴房顫為64歲(PPerera KS, Vanassche T, Bosch J, et al. Global survey
中國(guó)康復(fù) 2017年1期2017-01-12
- 基于相對(duì)密度的加權(quán)一分類支持向量機(jī)
予權(quán)值.位于數(shù)據(jù)分布邊緣的樣本具有較低的相對(duì)密度,而位于數(shù)據(jù)分布內(nèi)部的樣本具有較高的密度.對(duì)于位于數(shù)據(jù)分布內(nèi)部的樣本賦予較大權(quán)值,位于數(shù)據(jù)分布邊緣的樣本賦予較小的權(quán)值.由于噪聲通常位于數(shù)據(jù)分布外部,因此本文的方法可以賦予噪聲較小的權(quán)值,從而使算法對(duì)于噪聲更加魯棒.人工數(shù)據(jù)集和UCI標(biāo)準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,該法優(yōu)于用libsvm實(shí)現(xiàn)的一分類支持向量機(jī)方法.加權(quán)一分類支持向量機(jī); 相對(duì)密度; 一分類0 引言支持向量機(jī)由Vladimir Vapnik等于20世
- 一種基于給定標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行正態(tài)修正的算法
況可能需要對(duì)數(shù)據(jù)分布進(jìn)行正態(tài)化調(diào)整。本文研究的內(nèi)容是在給定平均值和標(biāo)準(zhǔn)差的前提下,將樣本數(shù)據(jù)的分布修正為理想正態(tài)曲線的一種方法,此方法可適用于數(shù)據(jù)信息偏離正態(tài)分布的各種情況,比如土壤元素、年降水量等?!娟P(guān)鍵詞】數(shù)據(jù)分布 給定標(biāo)準(zhǔn) 正態(tài)修正1 引言如果數(shù)據(jù)的產(chǎn)生過程受到獨(dú)立隨機(jī)因素的影響,那么數(shù)據(jù)的分布規(guī)律應(yīng)當(dāng)符合正態(tài)分布,然而在實(shí)際的測(cè)量與評(píng)價(jià)過程中,由于人為因素的影響,最終采集的數(shù)據(jù)可能偏離了正態(tài)分布,這時(shí)就需要對(duì)數(shù)據(jù)進(jìn)行正態(tài)修正,以使其恢復(fù)本來的樣子。
電子技術(shù)與軟件工程 2016年8期2016-07-10
- 試論大數(shù)據(jù)之“大”
率近似正確;數(shù)據(jù)分布;數(shù)據(jù)清洗;數(shù)據(jù)價(jià)值;例證法Abstract:Big data provides a brand-new angle and method of perceiving the world. Like mathematics and physics, big data analysis is, in principle, a methodology based on observation and empirical induction,
中興通訊技術(shù) 2016年2期2016-03-24
- 金融投資問題
比較直觀的對(duì)數(shù)據(jù)分布作出判斷。模型V對(duì)第一問、第二問的數(shù)據(jù)分布擬合規(guī)律做出了理論推導(dǎo),并為第三問一般形式的問題解決提供了初步方法。4 結(jié)論針對(duì)問題一,建立了模型I與模型II。模型I的離散型隨機(jī)變量模型的結(jié)果是:在T=1時(shí)的離散型隨機(jī)變量模型解得損失數(shù)額超過10萬(wàn)元的可能性為3.1373%,以95%的置信度能保證損失的數(shù)額不會(huì)超過9萬(wàn)元;若一個(gè)周期內(nèi)的損失超過10萬(wàn)元的可能性不大于5%,初始投資額M的最大值為1111.11萬(wàn)元。模型II的連續(xù)型隨機(jī)變量模型的
科技視界 2015年30期2015-10-22
- 云環(huán)境下基于隨機(jī)間隔的保序加密算法
針對(duì)隱藏原始數(shù)據(jù)分布的問題,提出一種改進(jìn)型的基于隨機(jī)間隔的保序加密算法(OPERI)。算法首先將原始數(shù)據(jù)域映射至新的數(shù)據(jù)域中以達(dá)到隱藏原始數(shù)據(jù)分布和改變數(shù)據(jù)分布概率的目的,其次通過引入隨機(jī)間隔對(duì)數(shù)據(jù)進(jìn)行加密,支持對(duì)密文數(shù)據(jù)的關(guān)系運(yùn)算。安全性分析和實(shí)驗(yàn)結(jié)果表明:OPERI算法在已有安全性基礎(chǔ)上能夠抵御統(tǒng)計(jì)型攻擊,并能高效實(shí)現(xiàn)密文關(guān)系運(yùn)算。保序加密;隱私保護(hù);云計(jì)算;統(tǒng)計(jì)型攻擊隨著云計(jì)算的快速發(fā)展,人們?cè)絹碓疥P(guān)注隱私安全問題。目前解決用戶隱私安全問題的常用方法
太原理工大學(xué)學(xué)報(bào) 2015年6期2015-06-23
- 固態(tài)硬盤混合存儲(chǔ)數(shù)據(jù)庫(kù)的數(shù)據(jù)分布優(yōu)化算法
向混合存儲(chǔ)的數(shù)據(jù)分布優(yōu)化策略,最理想的情況就是在運(yùn)行時(shí)能夠自適應(yīng),根據(jù)應(yīng)用特征自動(dòng)調(diào)節(jié)數(shù)據(jù)分布。本文提出一種面向混合存儲(chǔ)的OLTP數(shù)據(jù)庫(kù)數(shù)據(jù)分布自適應(yīng)優(yōu)化算法,可自動(dòng)適應(yīng)應(yīng)用的特征,并通過觀測(cè)判斷各個(gè)數(shù)據(jù)元素的性能,從而在SSD和磁盤之間自動(dòng)形成理想的數(shù)據(jù)分布。2 相關(guān)工作2.1 閃存和固態(tài)硬盤隨著閃存在容量上的迅速增長(zhǎng)和成本的降低,以閃存作為存儲(chǔ)介質(zhì)的新型固態(tài)硬盤已經(jīng)在企業(yè)得到實(shí)際的應(yīng)用。SSD最大的優(yōu)點(diǎn)就是隨機(jī)讀寫性能高,較普通磁盤的讀寫性能要高出1個(gè)
計(jì)算機(jī)工程 2015年4期2015-01-02
- 面向海量新聞數(shù)據(jù)的HDFS節(jié)能存儲(chǔ)策略
致整個(gè)集群的數(shù)據(jù)分布出現(xiàn)不均衡的情況,特別是有新節(jié)點(diǎn)加入時(shí),新節(jié)點(diǎn)和原有節(jié)點(diǎn)上的分布不均,新增節(jié)點(diǎn)需要經(jīng)歷較長(zhǎng)時(shí)間甚至人工操作,才能與現(xiàn)有節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)均衡分布,這樣在分配MapReduce任務(wù)時(shí),新節(jié)點(diǎn)可能分配不到可執(zhí)行的任務(wù),浪費(fèi)新增節(jié)點(diǎn)的計(jì)算和存儲(chǔ)能力[9-10]。另一方面,不同文件間的訪問規(guī)律存在巨大差異,如果使HDFS集群中所有數(shù)據(jù)節(jié)點(diǎn)都處于活躍狀態(tài),勢(shì)必造成能耗的增加,導(dǎo)致大量電能被浪費(fèi)[11]。在實(shí)際應(yīng)用中,新聞?lì)悢?shù)據(jù)的訪問具備一定訪問規(guī)律,可
計(jì)算機(jī)工程 2015年12期2015-01-01
- Log-transformation and its implications for data analysis
新的不依賴于數(shù)據(jù)分布的方法:如廣義估計(jì)方程(GEE)。假設(shè)檢驗(yàn),離群值,對(duì)數(shù)正態(tài)分布,正態(tài)分布,偏度Summary:The log-transformation is widely used in biomedical and psychosocial research to deal with skewed data. This paper highlights serious problems in this classic approach for
上海精神醫(yī)學(xué) 2014年2期2014-12-09
- 對(duì)數(shù)據(jù)分布特征測(cè)度的分析
示后,我們對(duì)數(shù)據(jù)分布的類型和特點(diǎn)就有了一個(gè)大致的了解,但這種了解只是表面上的,還缺少代表性的數(shù)量特征值準(zhǔn)確地描述出統(tǒng)計(jì)數(shù)據(jù)的分布。對(duì)統(tǒng)計(jì)數(shù)據(jù)分布的特征,可以從三個(gè)方面進(jìn)行測(cè)度和描述:一是分布的集中趨勢(shì);二是分布的離散程度;三是分布的偏態(tài)和測(cè)度。這三個(gè)方面分別反映了數(shù)據(jù)分布的測(cè)度特征。關(guān)鍵詞:數(shù)據(jù)分布;特征測(cè)度;分析中圖分類號(hào):F270 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1005-913X(2014)08-0192-01一、集中趨勢(shì)的測(cè)度(一)分類數(shù)據(jù):眾數(shù)眾數(shù)主要用
北方經(jīng)貿(mào) 2014年8期2014-09-21
- 云中面向圖像并行計(jì)算的數(shù)據(jù)分布策略
的,不合理的數(shù)據(jù)分布會(huì)影響系統(tǒng)整體的任務(wù)響應(yīng)時(shí)間。如何設(shè)計(jì)計(jì)算任務(wù)的數(shù)據(jù)分布算法,以提高數(shù)據(jù)處理效率,并使云中各節(jié)點(diǎn)負(fù)載均衡,是一個(gè)挑戰(zhàn)性的研究課題[2]。隨著科學(xué)技術(shù)的高速發(fā)展,許多大規(guī)模工程和科學(xué)計(jì)算問題都對(duì)計(jì)算速度提出了越來越高的要求。例如圖像并行處理[3]。它是一種綜合的數(shù)字信息處理技術(shù),是大數(shù)據(jù)量數(shù)字圖像在計(jì)算機(jī)計(jì)算領(lǐng)域中的一項(xiàng)需長(zhǎng)遠(yuǎn)發(fā)展的技術(shù),其主要目的是實(shí)現(xiàn)圖像處理的實(shí)時(shí)性和快速性。隨著圖像分辨率的提高,每一景圖像的數(shù)據(jù)量增加,計(jì)算量也相應(yīng)增
計(jì)算機(jī)工程與設(shè)計(jì) 2013年4期2013-09-11