国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基因數(shù)據(jù)分析云上闖關(guān)

2017-01-10 17:13:53趙艷秋
IT經(jīng)理世界 2016年24期
關(guān)鍵詞:上云競(jìng)價(jià)測(cè)序

趙艷秋

成本降低與時(shí)間縮短,給基因在臨床醫(yī)療和健康領(lǐng)域的進(jìn)一步深入應(yīng)用和普及帶來(lái)曙光。

最近,第11屆國(guó)際基因組學(xué)大會(huì)(ICG)公布了歷時(shí)6個(gè)月的全球公開(kāi)競(jìng)賽結(jié)果。

一家從2009年起開(kāi)展基因檢測(cè)臨床轉(zhuǎn)化研究的初創(chuàng)企業(yè)在“數(shù)據(jù)壓縮”和“計(jì)算加速”兩個(gè)項(xiàng)目上刷新世界紀(jì)錄。這家名為人和未來(lái)生物科技的公司從全球300多家參賽團(tuán)隊(duì)中脫穎而出獲得冠軍,并保持最低的計(jì)算成本。

“數(shù)據(jù)壓縮”和“計(jì)算加速”是對(duì)基因數(shù)據(jù)進(jìn)行處理分析過(guò)程中兩個(gè)根本性的難題。它們的突破,給基因在臨床醫(yī)療和健康領(lǐng)域的進(jìn)一步深入應(yīng)用和普及帶來(lái)曙光。

上云的難處

去年起,主流基因數(shù)據(jù)生產(chǎn)企業(yè)開(kāi)始面臨數(shù)據(jù)爆發(fā)式增長(zhǎng)的狀況。這些自建計(jì)算集群來(lái)存儲(chǔ)和處理數(shù)據(jù)的企業(yè)開(kāi)始考慮數(shù)據(jù)上云,并且形成了行業(yè)趨勢(shì)。

“云的架構(gòu)能保證我們獲得很高的數(shù)據(jù)安全性和穩(wěn)定性。如果我們自己做本地存儲(chǔ),通常要把數(shù)據(jù)備兩份甚至三份,肯定不如在云上做存儲(chǔ)好。”人和未來(lái)首席技術(shù)官宋卓說(shuō)。

不過(guò),數(shù)據(jù)上云過(guò)程也遇到棘手問(wèn)題:龐大的基因數(shù)據(jù)怎么搬上云?要耗多少時(shí)間和成本?上云后,基因數(shù)據(jù)這類(lèi)大規(guī)模分析項(xiàng)目,根本不是靠簡(jiǎn)簡(jiǎn)單單地堆砌機(jī)器就能完成高效的計(jì)算分析。

“云上計(jì)算節(jié)點(diǎn)之間有I/O。當(dāng)你布的節(jié)點(diǎn)越多,I/O之間的數(shù)據(jù)傳輸就越多。如果你不精細(xì)控制,就會(huì)形成一大堵“I/O墻”,計(jì)算性能大幅下降。這正是基因行業(yè)面臨的兩大難題,也是大賽設(shè)定這個(gè)比賽題目的根源。

人和未來(lái)已經(jīng)花了兩年時(shí)間來(lái)突破這兩大難關(guān)。他們開(kāi)發(fā)了“無(wú)損壓縮”基因數(shù)據(jù)的新方法,實(shí)現(xiàn)了數(shù)據(jù)快速上云和存儲(chǔ)?!拔覀儼阉袎嚎s算法都重新梳理了一遍,找到最好的壓縮方式,并在工程技術(shù)上做了針對(duì)CPU指令集層面的優(yōu)化”。

在這次大賽上,人和未來(lái)將200G測(cè)試數(shù)據(jù)無(wú)損壓縮到原來(lái)的1/15大小,數(shù)據(jù)傳輸存儲(chǔ)效率自然會(huì)大幅提升。

針對(duì)數(shù)據(jù)上云后的計(jì)算難題,人和未來(lái)基于AWS公有云上的EC2和S3存儲(chǔ)和計(jì)算基礎(chǔ)服務(wù),自主研發(fā)構(gòu)建了數(shù)據(jù)分發(fā)、調(diào)控和存儲(chǔ)體系,繞過(guò)I/O墻。

“我們18分鐘完成了對(duì)400GB人類(lèi)全基因組數(shù)據(jù)的處理。這個(gè)級(jí)別的數(shù)據(jù)在單臺(tái)高性能服務(wù)器上分析計(jì)算要花30個(gè)小時(shí)以上,目前世界范圍內(nèi)已報(bào)道的云上分布式計(jì)算的最好成績(jī)是1小時(shí)50分鐘。”宋卓說(shuō)。這是一個(gè)質(zhì)的變化,行業(yè)人士對(duì)此感到很振奮。

人和未來(lái)也希望把在過(guò)去兩年所研發(fā)的計(jì)算加速和數(shù)據(jù)挖掘的應(yīng)用工具和解決方案,提供給健康信息領(lǐng)域的專(zhuān)業(yè)機(jī)構(gòu)。

“這將是一個(gè)封裝好的,可以跑在任何云上的解決方案?!彼巫空f(shuō)。當(dāng)然,最先選擇基于AWS公有云研發(fā),是因?yàn)锳WS提供了目前市場(chǎng)上最穩(wěn)定、豐富和靈活的云計(jì)算資源?!霸贏WS上能夠選擇的計(jì)算節(jié)點(diǎn)類(lèi)型是最多的,這讓我們可以根據(jù)不同任務(wù)類(lèi)型,選擇最高性?xún)r(jià)比的機(jī)器”。而當(dāng)分析項(xiàng)目從十幾臺(tái)機(jī)器到幾百臺(tái),每上一個(gè)層次規(guī)模都會(huì)觸發(fā)不同問(wèn)題,需要AWS較為成熟的支持。

巧用“競(jìng)價(jià)”

這次參賽,人和未來(lái)的基因數(shù)據(jù)處理和分析費(fèi)用為16美元,將全基因組計(jì)算帶入“百元時(shí)代”。

對(duì)于降低成本的秘訣,宋卓介紹,通常購(gòu)買(mǎi)云服務(wù),付費(fèi)方式有兩種:一種是按需付費(fèi);一種是預(yù)付費(fèi),一次性先購(gòu)買(mǎi)一年的服務(wù),成本約是按需付費(fèi)的六、七折。但是AWS除此以外還提供了SPOT Instance——競(jìng)價(jià)型實(shí)例。AWS將閑置的資源用競(jìng)價(jià)方式釋放出來(lái),價(jià)格通常是按需服務(wù)的1/10,非常低。

“我們一次用幾百個(gè)節(jié)點(diǎn),相對(duì)是規(guī)模比較大的。我們與AWS一線人員交流,他們會(huì)告訴我們,在全球的范圍內(nèi),哪些區(qū)域的SPOT Instance價(jià)格比較低,在哪個(gè)時(shí)間段內(nèi)競(jìng)價(jià)不會(huì)大幅波動(dòng)。”宋卓說(shuō)。

人和未來(lái)在此次競(jìng)賽中巧用競(jìng)價(jià)模式,最終只花了16美元。

成本降低與時(shí)間縮短推動(dòng)了基因檢測(cè)技術(shù)的實(shí)際應(yīng)用,極具現(xiàn)實(shí)意義。2011年前后,基于基因檢測(cè)技術(shù)的的無(wú)創(chuàng)唐篩(唐氏兒篩查)被引入臨床。與傳統(tǒng)羊水穿刺相比,它準(zhǔn)確率高且無(wú)創(chuàng)?,F(xiàn)在,全國(guó)每年有100萬(wàn)以上的孕婦選擇無(wú)創(chuàng)唐篩。它的終端價(jià)格是2000元,基本為人們所接受。

目前,人和未來(lái)與三甲醫(yī)院臨床疾病和腫瘤相關(guān)科室、健康體檢和健康管理機(jī)構(gòu)以及保險(xiǎn)公司合作,開(kāi)發(fā)相應(yīng)的檢測(cè)產(chǎn)品。不過(guò),基因技術(shù)要在臨床的各種應(yīng)用中得到普及,需要成本的進(jìn)一步下降。

宋卓透露,除了后端的分析計(jì)算成本外,前端通過(guò)基因測(cè)序儀生成數(shù)據(jù)的價(jià)格目前仍比較昂貴。如果前端測(cè)序價(jià)格能進(jìn)一步降低,就會(huì)催生出更多數(shù)據(jù)?!拔夜烙?jì),測(cè)序價(jià)格從現(xiàn)在的1000美元降到500美元,基因檢測(cè)將更深刻的影響社會(huì)的醫(yī)療和健康產(chǎn)業(yè)。這需要兩三年時(shí)間?!彼f(shuō)。到那時(shí),更多的基因檢測(cè)將會(huì)在臨床和大健康行業(yè)得到更多應(yīng)用。

猜你喜歡
上云競(jìng)價(jià)測(cè)序
基于交控?cái)?shù)智云的業(yè)務(wù)系統(tǒng)上云遷移研究與實(shí)踐
杰 Sir 帶你認(rèn)識(shí)宏基因二代測(cè)序(mNGS)
新民周刊(2022年27期)2022-08-01 07:04:49
高速公路視頻上云工程建設(shè)淺析
二代測(cè)序協(xié)助診斷AIDS合并馬爾尼菲籃狀菌腦膜炎1例
傳染病信息(2021年6期)2021-02-12 01:52:58
自然資源應(yīng)用系統(tǒng)“上云”研究與探討
企業(yè)上云成數(shù)字化轉(zhuǎn)型必經(jīng)之路
管道天然氣競(jìng)價(jià)交易引發(fā)的思考
能源(2017年10期)2017-12-20 05:54:25
碰撞:惡意競(jìng)價(jià)與隱孕求職
基因捕獲測(cè)序診斷血癌
單細(xì)胞測(cè)序技術(shù)研究進(jìn)展
类乌齐县| 东光县| 荥阳市| 潢川县| 即墨市| 博爱县| 军事| 麻城市| 科技| 岳西县| 云南省| 松江区| 繁昌县| 竹溪县| 岳阳县| 张家界市| 上林县| 项城市| 武城县| 固始县| 潜山县| 佳木斯市| 海伦市| 玉龙| 汝州市| 赤峰市| 禄丰县| 筠连县| 伊金霍洛旗| 教育| 宣恩县| 本溪| 禹城市| 苗栗县| 孟津县| 灌阳县| 阿坝县| 海兴县| 常州市| 临武县| 岳普湖县|