李明東 姜飛 李小燕 孫雪
摘 要:開設(shè)人工智能課程的學習目標是讓學生學習人工智能應(yīng)用基礎(chǔ),了解人工智能對現(xiàn)代生活的改變和影響,培養(yǎng)人工智能的應(yīng)用能力。所以在知識體系的選取上要降低一定的難度和范圍,大量呈現(xiàn)人工智能的應(yīng)用場景案例,對知識體系與案例體系的進行合理的設(shè)計。
關(guān)鍵詞:專創(chuàng)融合;人工智能;hadoop
1、人工智能知識體系的選定
工智能是戰(zhàn)略性新興產(chǎn)業(yè)。人工智能作為教學目標和教學內(nèi)容走進課堂,國內(nèi)許多院校開設(shè)了人工智能學院、人工智能相關(guān)專業(yè)。目前,本科和研究生學習的《人工智能及其應(yīng)用》[1]教材偏重于理論知識和算法的研究學習。
開設(shè)人工智能課程的學習目標是讓學生學習人工智能應(yīng)用基礎(chǔ),了解人工智能產(chǎn)業(yè)的發(fā)展現(xiàn)狀與市場需求,開拓學生的科技視野。以人工智能的應(yīng)用領(lǐng)域為線索介紹學習領(lǐng)域。
2、HDFS體系架構(gòu)的設(shè)計
2.1 存儲塊
塊(Block):操作系統(tǒng)中的文件塊。文件是以塊的形式存儲在磁盤中,塊的大小代表系統(tǒng)讀、寫可操作的最小文件大小。也就是說,文件系統(tǒng)每次只能操作磁盤塊大小的整數(shù)倍數(shù)據(jù)。通常來說,一個文件系統(tǒng)塊大小為幾千字節(jié),而磁盤塊大小為512字節(jié)。
HDFS中的塊是一個抽象的概念,比操作系統(tǒng)中的塊要大得多。在配置hadoop系統(tǒng)時會看到,它的默認大小是128MB。HDFS使用抽象的塊的好處:可以存儲任意大的文件而又不會受到網(wǎng)絡(luò)中任一單個節(jié)點磁盤大小的限制;
使用抽象塊作為操作的單元可以簡化存儲子系統(tǒng)。
2.2模塊任務(wù)
2.2.1 Name node功能:
1)承擔master 管理集群中的執(zhí)行調(diào)度;
2)管理文件系統(tǒng)的命名空間,維護整個文件系統(tǒng)目錄樹以及這些文件的索引目錄;
3)不永久保存文件快信息,在系統(tǒng)啟動時重加塊信息;
4)命名空間鏡像(namespace)和編輯日志(Edit log)
2.2.2 集群管理
HDFS采用Master/Slave架構(gòu)對文件系統(tǒng)進行管理。一個HDFS集群是由一個Name Node和一定數(shù)目的Data Node組成的。Name Node是一個中心服務(wù)器,負責管理文件系統(tǒng)的命名空間(Namespace)以及客戶端對文件的訪問。集群的Date Node一般是由一個節(jié)點運行一個Data Node進程,負責管理它所在節(jié)點上的存儲。
從內(nèi)部看,一個文件其實被分成了一個或多個數(shù)據(jù)塊,這些塊存儲在一組Data Node上。Name Node執(zhí)行文件系統(tǒng)的名字空間操作,比如打開,關(guān)閉,重命名文件或目錄。它負責確定數(shù)據(jù)塊到具體Data Node節(jié)點的映射。Data Node 負責處理文件系統(tǒng)客戶端的讀/寫請求。在Name Node的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建,刪除和復制。
2.2.3讀取策略
1)副本存放和讀取策略
副本的存放是HDFS可靠性和性能的關(guān)鍵,優(yōu)化的副本存放策略也正是HDFS區(qū)分于其他大部分分布式文件系統(tǒng)的重要特征。HDFS采用一種稱為機架感知(rack-aware)的策略來改進數(shù)據(jù)的可靠性,可用性和網(wǎng)絡(luò)帶寬的利用率上。在讀取數(shù)據(jù)時,為了減少整體帶寬消耗和降低整體的帶寬延時,HDFS會盡量讓讀取程序讀取離客戶端最近的副本。
2)安全模式
Name Node啟動后會進入一個稱為安全模式的狀態(tài)。處于安全模式的Name Node不會進行數(shù)據(jù)塊的復制。Name Node從所有的Data Node接收心跳信號和塊狀態(tài)報告。
3)文件安全
Hadoop采用了兩種方法來確保文件安全。第一種方法:將Name Node中的元數(shù)據(jù)轉(zhuǎn)儲到遠程的NFS文件系統(tǒng)上;第二種方法:系統(tǒng)中同步運行一個Secondary Name Node。
3、普通本科院校的課程案例體系的設(shè)計
在確定了人工智能課程的知識體系后,要收集整理人工智能各研究領(lǐng)域的應(yīng)用案例、成果案例、生活應(yīng)用案例,作為主要的教學內(nèi)容引導學生學習和了解,進而幫助學生了解人工智能的技術(shù)知識和應(yīng)用,熟悉人工智能產(chǎn)業(yè)的發(fā)展現(xiàn)狀與市場需求,培養(yǎng)人工智能的應(yīng)用能力。
知識標識和知識圖譜,包括知識標識和知識圖譜的概念,產(chǎn)生方法,框架表示法;機器學習包括:機器學習的概述、范圍、學習方法和機器學習的挑戰(zhàn)。自然語言的理解包括:語言的理解、發(fā)展、研究、理解過程的層次任務(wù)、應(yīng)用、未來與展望。專家系統(tǒng)包括:定義的特點和優(yōu)勢、類型與應(yīng)用、結(jié)構(gòu)與工作原理、設(shè)計與實現(xiàn)等。
4、總結(jié)
開設(shè)人工智能課程的學習目標是讓學生學習人工智能應(yīng)用基礎(chǔ),了解人工智能對現(xiàn)代生活的改變和影響,培養(yǎng)人工智能的應(yīng)用能力。所以在知識體系的選取上要降低一定的難度和范圍,大量呈現(xiàn)人工智能的應(yīng)用場景案例,對知識體系與案例體系的進行合理的設(shè)計。
參考文獻:
[1] 陳燕.新工科研究進展與前瞻[J].天津大學學報(社會科學版),2020,22(3):214-222.
[2] 王雪,何海燕,栗蘋,等.人工智能人才培養(yǎng)研究:回顧、比較與展望[J].高等工程教育研究,2020(01):42-51.
[3] 肖卓宇,徐運標,陳果,等.“人工智能+教育”融合的實施路徑研究[J].計算機時代,2020(11):103-105;109.