黃志清 張送 韋通明 溫麗梅 韋統(tǒng)邊

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)遷移;數(shù)據(jù)測試

1引言

近年來，隨著時代的快速發(fā)展，全球已經(jīng)從互聯(lián)網(wǎng)時代進(jìn)入大數(shù)據(jù)時代，目前全球數(shù)據(jù)總量已經(jīng)達(dá)到ZB級。相應(yīng)地，對于數(shù)據(jù)存儲硬件的要求和服務(wù)器容量的要求也變得越來越高，為了適應(yīng)越來越多的使用場景和進(jìn)行相應(yīng)的數(shù)據(jù)分析處理，數(shù)據(jù)遷移在這個過程中也就變得越來越重要。因此，最為重要的就是確保數(shù)據(jù)遷移后數(shù)據(jù)的完整性和準(zhǔn)確性。本文對數(shù)據(jù)遷移測試的全過程方法進(jìn)行了分析，并且提出了一種數(shù)據(jù)遷移測試的具體方法，旨在減少測試邏輯混亂帶來的時間成本和人力成本，從而更加高效地提高數(shù)據(jù)質(zhì)量[1]。

2數(shù)據(jù)迂移測試中容易出現(xiàn)的問題

數(shù)據(jù)測試人員基本上是按照項目需求文檔的規(guī)則，對原本的數(shù)據(jù)源數(shù)據(jù)和遷移后的數(shù)據(jù)源數(shù)據(jù)進(jìn)行比對，從分析的角度出發(fā)，只有每一條數(shù)據(jù)都能夠完全相同，才能夠保證數(shù)據(jù)的準(zhǔn)確性和完整性。在數(shù)據(jù)測試的過程中，經(jīng)常會碰到下文所述問題，會影響數(shù)據(jù)的準(zhǔn)確性和完整性，需要特別注意[2]。

2.1測試邏輯混亂

當(dāng)測試人員對遷移后的數(shù)據(jù)進(jìn)行測試的時候，有時候沒有經(jīng)過前置條件的數(shù)據(jù)就直接測試后面的數(shù)據(jù)，造成數(shù)據(jù)測試結(jié)果無效。出現(xiàn)該問題的原因有可能是項目需求文檔未申明清楚，產(chǎn)品人員傳遞需求有誤或者沒有規(guī)范的項目管理流程。這樣的數(shù)據(jù)測試結(jié)果無法證明數(shù)據(jù)是正確的，從而需要復(fù)測，導(dǎo)致人力成本和時間成本增加。如果出現(xiàn)這樣的問題，就需要規(guī)范測試需求和測試流程，從而能夠直接找到問題所在，進(jìn)而進(jìn)行分析和解決。

2.2測試點不全面

在測試人員對數(shù)據(jù)進(jìn)行測試的時候，有時因為業(yè)務(wù)給出的要求不能覆蓋全部使用場景，導(dǎo)致部分?jǐn)?shù)據(jù)的測試結(jié)果不準(zhǔn)確，從而影響后續(xù)的數(shù)據(jù)分析和業(yè)務(wù)開展。造成這個問題也可能是其他原因，如不同的業(yè)務(wù)場景適用的數(shù)據(jù)要求不一樣，僵硬地套用測試規(guī)則就容易導(dǎo)致測試點不全面。因此，需要針對常用的業(yè)務(wù)場景設(shè)立通用的測試點標(biāo)準(zhǔn)，對于具體業(yè)務(wù)還需要具體評估，而后分析和補充測試點[3]。

2.3測試時間較長

在一個完整的測試過程中，因為可能存在的項目需求不明確，測試人員未在一開始就溝通或梳理清楚需要測試的要點，以及多次重復(fù)測試，需要測試的數(shù)據(jù)量大小等，所以導(dǎo)致測試人員在一個完整的項目周期內(nèi)測試部分花費的時間較長，從而影響整體的項目進(jìn)度，甚至提高時間和人力成本。因此，需要在開始階段，與開發(fā)、需求方進(jìn)行共同探討，如需要從哪些方面展開相關(guān)的測試，可以確保數(shù)據(jù)的可用性和正確性。

3數(shù)據(jù)遷移測試流程及方法

數(shù)據(jù)測試中需要對遷移后的數(shù)據(jù)進(jìn)行全面分析[4]，厘清據(jù)遷移之后從哪些方面進(jìn)行數(shù)據(jù)測試。數(shù)據(jù)遷移測試應(yīng)關(guān)注如圖1、圖2、圖3所示方法流程。

3.1數(shù)據(jù)遷移測試內(nèi)容

數(shù)據(jù)遷移測試主要由測試人員完成，測試通過后由研發(fā)部門部署上線[5]。主要包含以下測試內(nèi)容：（1）對遷移后的數(shù)據(jù)進(jìn)行全面分析，厘清數(shù)據(jù)遷移之后需要從哪些方面進(jìn)行數(shù)據(jù)測試;（2）編寫soL語句，從數(shù)據(jù)庫里面獲取遷移前后的數(shù)據(jù);（3）利用Excel數(shù)據(jù)分析工具的數(shù)據(jù)排序、篩選、分列、去除重復(fù)項等功能建立數(shù)據(jù)遷移比對模板，提高測試過程的規(guī)范性，并且可以輸出一致的核對結(jié)果，該模板可以通用;（4）利用數(shù)據(jù)表的唯一關(guān)鍵字（如ID）、日期字段、時間字段以及其他可以進(jìn)行分區(qū)的字段對數(shù)據(jù)進(jìn)行分區(qū)分模塊的數(shù)據(jù)比對，通過并發(fā)的方式可以同時比對多個模塊的數(shù)據(jù)，從而大大減少數(shù)據(jù)遷移測試的時間成本和人力成本，且數(shù)據(jù)的正確性能夠得到保證;（5）統(tǒng)計時間范圍內(nèi)總數(shù)據(jù)的條數(shù)是否相等，如果不相等說明數(shù)據(jù)質(zhì)量不符合要求，需要重新迭代數(shù)據(jù);（6）分析表結(jié)構(gòu)和注釋內(nèi)容是否符合規(guī)范，即兩張表的表名、字段名、注釋名等是否相同。如果不符合規(guī)范，說明數(shù)據(jù)質(zhì)量不符合要求，需要重新迭代數(shù)據(jù);（7）判斷迭代后的數(shù)據(jù)是否出現(xiàn)異常情況，如不允許空值出現(xiàn)的數(shù)據(jù)庫出現(xiàn)了空值的情況;（8）分析和統(tǒng)計數(shù)據(jù)遷移前后各個字段的值出現(xiàn)的頻次是否相等：（9）分析如果出現(xiàn)數(shù)據(jù)轉(zhuǎn)換，遷移后的字段數(shù)據(jù)是否符合數(shù)據(jù)轉(zhuǎn)換要求。比如，原字段為空值，轉(zhuǎn)換后為其他值的情況;（10）判斷（6）（7）（8）三項是否符合條件，不符合條件說明數(shù)據(jù)質(zhì)量不符合要求，需要重新迭代數(shù)據(jù);（11）抽取樣本數(shù)據(jù)，對其中的數(shù)據(jù)進(jìn)行逐一比較和分析，以判斷遷移后的數(shù)據(jù)是否有出現(xiàn)變化。

3.2數(shù)據(jù)測試難點

在實際的測試過程中，常常會碰到以下難點。

（1）業(yè)務(wù)具有復(fù)雜性。測試人員對于不同的業(yè)務(wù)場景有一套通用的測試流程和標(biāo)準(zhǔn)。但問題在于，由于業(yè)務(wù)的復(fù)雜性，對于數(shù)據(jù)的使用有了更多、更高的要求，因此需要對每個業(yè)務(wù)場景進(jìn)行單獨分析——需要新增的測試點，這對數(shù)據(jù)測試人員提出了更高的要求，需要花費大量時間和精力去做測試分析，并且需要從一開始就參與到算法的討論和評審中，對整個過程達(dá)成一致之后才不會出現(xiàn)理解不同步的情況，從而導(dǎo)致實際效果不如預(yù)期[6]。

（2）測試流程不規(guī)范。正常的測試流程為：問題反饋給開發(fā)人員修改，修改完后再給測試人員進(jìn)行復(fù)測。在復(fù)測的過程中，因為測試人員的個人理解和技術(shù)手段等原因，對于測試方式、測試流程、測試點都會有自己的理解。如果遇到問題較多、復(fù)測流程不規(guī)范、不能對整個測試流程都了解清楚、業(yè)務(wù)經(jīng)驗不足的情況，就會容易造成問題循環(huán)反復(fù)，從而大量浪費開發(fā)人員和測試人員的時間，并且提高了項目的時間成本[7]。

（3）沒有一套可行性高的測試方法或者自動化程度高的測試工具和模板。在實際測試的過程中，因為缺乏自動化程度高的測試工具、平臺和模板，導(dǎo)致實際測試方式會因為測試人員本身的技術(shù)能力、業(yè)務(wù)經(jīng)驗、個人理解等有很大的區(qū)別，如果出現(xiàn)測試人員離開，其他人員接手的情況，那么就需要花費更多的時間且測試后的效果不可控[8]。

（4）整個項目的時間成本和人力成本不可控。因為上述的多種原因，如業(yè)務(wù)的復(fù)雜性、測試流程的不規(guī)范、沒有一套可行性高的測試方法或者自動化程度高的測試工具、模板等其他原因，每一因素出現(xiàn)都會對整個項目的時間成本和人力成本造成重大的影響，從而影響公司的項目進(jìn)度，甚至影響個人的能力評價等[9]。

3.3數(shù)據(jù)測試展望

自動化的數(shù)據(jù)測試是最理想的目標(biāo)，通過利用自動化和智能化的測試工具，設(shè)立不同的測試規(guī)則和數(shù)據(jù)模型，一方面可以大大縮減通用測試需要的時間和流程，另一方面為更多業(yè)務(wù)場景的測試分析提供了更多的設(shè)計方法和可行性，能夠有效確保數(shù)據(jù)遷移后的數(shù)據(jù)的準(zhǔn)確性，從而實現(xiàn)對數(shù)據(jù)質(zhì)量的管理，降低了人力成本和時間成本[10]。

建立一個通用性高、適用性強(qiáng)的數(shù)據(jù)測試平臺也是一種可行的方式。通過在平臺上建立多樣化的數(shù)據(jù)遷移測試模板，從而能夠?qū)Υ蟛糠謽I(yè)務(wù)場景實現(xiàn)覆蓋，并且可以在平臺上對新的業(yè)務(wù)進(jìn)行二次開發(fā)。操作簡單、開發(fā)簡單也是其必須具備的能力，這有利于新的測試人員快速熟悉并且上手，從而大大減少在整個項目過程中數(shù)據(jù)遷移測試所花費的時間，進(jìn)而降低公司項目成本。另外，對于從事數(shù)據(jù)測試的相關(guān)人員的能力培養(yǎng)也是一個重要課題。通過聘請行業(yè)內(nèi)的知名人士或者資深經(jīng)驗者給公司員工進(jìn)行相關(guān)能力培訓(xùn)，加上對應(yīng)的實戰(zhàn)演練，對測試人員的能力提升會有很大的幫助。與此同時，測試人員要多把每一次的經(jīng)驗累積總結(jié)下來，形成知識間的互通，有助于業(yè)務(wù)經(jīng)驗的快速增長和測試能力的快速提高。

4結(jié)束語

本文主要介紹了一種用于數(shù)據(jù)遷移之后對數(shù)據(jù)準(zhǔn)確性進(jìn)行測試的可行性方法，即利用Excel數(shù)據(jù)分析工具的數(shù)據(jù)排序、篩選、分列、去除重復(fù)項等功能建立數(shù)據(jù)遷移比對模板，提高測試過程的規(guī)范性，并且可以輸出一致的核對結(jié)果，該模板可以通用：利用數(shù)據(jù)表的唯一關(guān)鍵字（如ID）、日期字段、時間字段以及其他可以進(jìn)行分區(qū)的字段對數(shù)據(jù)進(jìn)行分區(qū)分模塊的數(shù)據(jù)比對，通過并發(fā)的方式可以同時比對多個模塊的數(shù)據(jù)，從而大大減少數(shù)據(jù)遷移測試的時間成本和人力成本，且數(shù)據(jù)的正確性能夠得到保證：提出了一種可行性較高的測試方法，用來規(guī)范數(shù)據(jù)測試流程，避免測試混亂的問題，完善測試邏輯，從而能夠有效確保數(shù)據(jù)遷移后數(shù)據(jù)的準(zhǔn)確性，實現(xiàn)對數(shù)據(jù)質(zhì)量的更好管理。