国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

大數(shù)據(jù)環(huán)境下的Hadoop專創(chuàng)融合課程探索研究

2021-10-12 06:47:34李明東姜飛李小燕孫雪
客聯(lián) 2021年8期
關(guān)鍵詞:專創(chuàng)融合人工智能

李明東 姜飛 李小燕 孫雪

摘 要:開設(shè)人工智能課程的學習目標是讓學生學習人工智能應(yīng)用基礎(chǔ),了解人工智能對現(xiàn)代生活的改變和影響,培養(yǎng)人工智能的應(yīng)用能力。所以在知識體系的選取上要降低一定的難度和范圍,大量呈現(xiàn)人工智能的應(yīng)用場景案例,對知識體系與案例體系的進行合理的設(shè)計。

關(guān)鍵詞:專創(chuàng)融合;人工智能;hadoop

1、人工智能知識體系的選定

工智能是戰(zhàn)略性新興產(chǎn)業(yè)。人工智能作為教學目標和教學內(nèi)容走進課堂,國內(nèi)許多院校開設(shè)了人工智能學院、人工智能相關(guān)專業(yè)。目前,本科和研究生學習的《人工智能及其應(yīng)用》[1]教材偏重于理論知識和算法的研究學習。

開設(shè)人工智能課程的學習目標是讓學生學習人工智能應(yīng)用基礎(chǔ),了解人工智能產(chǎn)業(yè)的發(fā)展現(xiàn)狀與市場需求,開拓學生的科技視野。以人工智能的應(yīng)用領(lǐng)域為線索介紹學習領(lǐng)域。

2、HDFS體系架構(gòu)的設(shè)計

2.1 存儲塊

塊(Block):操作系統(tǒng)中的文件塊。文件是以塊的形式存儲在磁盤中,塊的大小代表系統(tǒng)讀、寫可操作的最小文件大小。也就是說,文件系統(tǒng)每次只能操作磁盤塊大小的整數(shù)倍數(shù)據(jù)。通常來說,一個文件系統(tǒng)塊大小為幾千字節(jié),而磁盤塊大小為512字節(jié)。

HDFS中的塊是一個抽象的概念,比操作系統(tǒng)中的塊要大得多。在配置hadoop系統(tǒng)時會看到,它的默認大小是128MB。HDFS使用抽象的塊的好處:可以存儲任意大的文件而又不會受到網(wǎng)絡(luò)中任一單個節(jié)點磁盤大小的限制;

使用抽象塊作為操作的單元可以簡化存儲子系統(tǒng)。

2.2模塊任務(wù)

2.2.1 Name node功能:

1)承擔master 管理集群中的執(zhí)行調(diào)度;

2)管理文件系統(tǒng)的命名空間,維護整個文件系統(tǒng)目錄樹以及這些文件的索引目錄;

3)不永久保存文件快信息,在系統(tǒng)啟動時重加塊信息;

4)命名空間鏡像(namespace)和編輯日志(Edit log)

2.2.2 集群管理

HDFS采用Master/Slave架構(gòu)對文件系統(tǒng)進行管理。一個HDFS集群是由一個Name Node和一定數(shù)目的Data Node組成的。Name Node是一個中心服務(wù)器,負責管理文件系統(tǒng)的命名空間(Namespace)以及客戶端對文件的訪問。集群的Date Node一般是由一個節(jié)點運行一個Data Node進程,負責管理它所在節(jié)點上的存儲。

從內(nèi)部看,一個文件其實被分成了一個或多個數(shù)據(jù)塊,這些塊存儲在一組Data Node上。Name Node執(zhí)行文件系統(tǒng)的名字空間操作,比如打開,關(guān)閉,重命名文件或目錄。它負責確定數(shù)據(jù)塊到具體Data Node節(jié)點的映射。Data Node 負責處理文件系統(tǒng)客戶端的讀/寫請求。在Name Node的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建,刪除和復制。

2.2.3讀取策略

1)副本存放和讀取策略

副本的存放是HDFS可靠性和性能的關(guān)鍵,優(yōu)化的副本存放策略也正是HDFS區(qū)分于其他大部分分布式文件系統(tǒng)的重要特征。HDFS采用一種稱為機架感知(rack-aware)的策略來改進數(shù)據(jù)的可靠性,可用性和網(wǎng)絡(luò)帶寬的利用率上。在讀取數(shù)據(jù)時,為了減少整體帶寬消耗和降低整體的帶寬延時,HDFS會盡量讓讀取程序讀取離客戶端最近的副本。

2)安全模式

Name Node啟動后會進入一個稱為安全模式的狀態(tài)。處于安全模式的Name Node不會進行數(shù)據(jù)塊的復制。Name Node從所有的Data Node接收心跳信號和塊狀態(tài)報告。

3)文件安全

Hadoop采用了兩種方法來確保文件安全。第一種方法:將Name Node中的元數(shù)據(jù)轉(zhuǎn)儲到遠程的NFS文件系統(tǒng)上;第二種方法:系統(tǒng)中同步運行一個Secondary Name Node。

3、普通本科院校的課程案例體系的設(shè)計

在確定了人工智能課程的知識體系后,要收集整理人工智能各研究領(lǐng)域的應(yīng)用案例、成果案例、生活應(yīng)用案例,作為主要的教學內(nèi)容引導學生學習和了解,進而幫助學生了解人工智能的技術(shù)知識和應(yīng)用,熟悉人工智能產(chǎn)業(yè)的發(fā)展現(xiàn)狀與市場需求,培養(yǎng)人工智能的應(yīng)用能力。

知識標識和知識圖譜,包括知識標識和知識圖譜的概念,產(chǎn)生方法,框架表示法;機器學習包括:機器學習的概述、范圍、學習方法和機器學習的挑戰(zhàn)。自然語言的理解包括:語言的理解、發(fā)展、研究、理解過程的層次任務(wù)、應(yīng)用、未來與展望。專家系統(tǒng)包括:定義的特點和優(yōu)勢、類型與應(yīng)用、結(jié)構(gòu)與工作原理、設(shè)計與實現(xiàn)等。

4、總結(jié)

開設(shè)人工智能課程的學習目標是讓學生學習人工智能應(yīng)用基礎(chǔ),了解人工智能對現(xiàn)代生活的改變和影響,培養(yǎng)人工智能的應(yīng)用能力。所以在知識體系的選取上要降低一定的難度和范圍,大量呈現(xiàn)人工智能的應(yīng)用場景案例,對知識體系與案例體系的進行合理的設(shè)計。

參考文獻:

[1] 陳燕.新工科研究進展與前瞻[J].天津大學學報(社會科學版),2020,22(3):214-222.

[2] 王雪,何海燕,栗蘋,等.人工智能人才培養(yǎng)研究:回顧、比較與展望[J].高等工程教育研究,2020(01):42-51.

[3] 肖卓宇,徐運標,陳果,等.“人工智能+教育”融合的實施路徑研究[J].計算機時代,2020(11):103-105;109.

猜你喜歡
專創(chuàng)融合人工智能
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
人工智能與就業(yè)
高職專業(yè)教育與創(chuàng)新創(chuàng)業(yè)教育融合對策研究
淺析民辦院校大學生創(chuàng)新創(chuàng)業(yè)教育現(xiàn)狀
科技視界(2017年18期)2017-11-16 09:01:36
數(shù)讀人工智能
小康(2017年16期)2017-06-07 09:00:59
基于“創(chuàng)新工作室”的高職電子類專業(yè)專創(chuàng)融合教育改革的研究
下一幕,人工智能!
南風窗(2016年19期)2016-09-21 16:51:29
丰台区| 平舆县| 芮城县| 栾川县| 汾西县| 剑阁县| 英山县| 东城区| 泸溪县| 洛南县| 手游| 湖南省| 开江县| 渝北区| 屏东市| 深圳市| 湄潭县| 策勒县| 达尔| 巴中市| 修水县| 林口县| 临安市| 互助| 桑日县| 黄石市| 太谷县| 拜城县| 宜黄县| 玛沁县| 新化县| 巧家县| 威海市| 疏附县| 逊克县| 临武县| 改则县| 湟中县| 银川市| 攀枝花市| 江油市|