Joel Young

隨著人工智能越來越普及，組織機構(gòu)必須要讓開發(fā)人員更容易釋放人工智能的潛能。

在業(yè)務用例和垂直行業(yè)中，工程師和領(lǐng)導者正在持續(xù)討論人工智能可以帶來的價值——通常，這樣的機遇似乎無窮無盡。它們可以預測你的興趣、你認識的人或你的下一份工作。

但是，我們時常會忽略執(zhí)行大型人工智能驅(qū)動系統(tǒng)時所必須采取的步驟。人工智能的部署在人才、計算資源和時間方面成本高昂。然而要充分釋放人工智能創(chuàng)新浪潮的潛力，開發(fā)人員必須得到適當?shù)氖跈?quán)和工具。事實上，成功實施人工智能所需的許多關(guān)鍵要素與算法細節(jié)關(guān)系不大，更多的是與之相關(guān)的工具和流程。

其中一些工具和流程是標準化中最常用的工作流程。它們可以像帶有常見功能的電子表格那樣簡單，也可以像完整的人工智能開發(fā)人員平臺那樣復雜。當我們在LinkedIn上拓展我們的人工智能時，我們逐漸選擇了后者，創(chuàng)建了我們自己的“生產(chǎn)機器學習”（簡稱“Pro-ML”）計劃，以提高開發(fā)人員的工作效率。

以下是我們在人工智能工作中積累一些要點和提示。這些要點和提示對任何組織機構(gòu)都是有益的。

清理數(shù)據(jù)，讓洞察更加智能

部署人工智能的先決條件是要徹底了解自己的數(shù)據(jù)。人工智能模型的性能與其訓練數(shù)據(jù)有著緊密的內(nèi)在聯(lián)系，因此清楚自己需要使用干凈的數(shù)據(jù)這一點非常重要。然后，在選擇要用于培訓的數(shù)據(jù)集時，與業(yè)務合作伙伴協(xié)作以了解最終業(yè)務目標是有幫助的。例如，如果你想通過新聞Feed“增加參與度”，那么你是否是通過文章和帖子的點擊率，或者對帖子的“點贊”或評論來衡量的呢？通過共同確定能夠支持明確業(yè)務目標的最佳數(shù)據(jù)，你可以設計出更有效的模型。

選擇訓練數(shù)據(jù)時要考慮的另一個因素是如何標記。數(shù)據(jù)是否有足夠的上下文直接輸入模型，還是需要注釋？就后者而言，創(chuàng)建“代碼簿”或“運行手冊”非常重要，因為它們會為數(shù)據(jù)的分類方式設定標準。我曾經(jīng)與一組專家展開合作，嘗試著尋求手工標記數(shù)據(jù)集，但是在我們評估成品時，我們意識到他們之間的一致率低于0.2。這意味著專家們對注釋完全有著自己不同的意見，因此我們也沒有理由期望使用這些數(shù)據(jù)進行訓練的模型將會有令人滿意的表現(xiàn)。如果專家無法就如何標記數(shù)據(jù)達成一致意見，那么指望CrowdFlower公司（現(xiàn)在更名為Figure Eight公司）這樣的注釋服務能夠有效地進行標記也是不現(xiàn)實的。

關(guān)鍵點：非常清晰地預先確定數(shù)據(jù)標簽標準可以消除歧義和棘手問題。

將功能標準化并讓其具有可重復性

在LinkedIn的不同產(chǎn)品線中，不同的團隊正在使用人工智能來解決不同的問題（如優(yōu)化信息、確定應聘人員的適合度，并為今后的職業(yè)選擇提供建議課程等）。每個團隊會使用不同的管道讓機器學習模型生成自己需要的功能，因為每個用例都是不同的。然而，在這些團隊中許多功能又是非常相似的，因此我決定必須簡化流程。

為此我們創(chuàng)建了功能市場Frame，通過讓團隊利用現(xiàn)有功能和知識的方式幫助解決此問題。Frame充當一個公共存儲庫，供團隊共享、查找和管理各自機器學習模型的功能。其允許所有團隊從同一標準化功能模板開始，然后根據(jù)特定管道或環(huán)境的需要進一步定制。當團隊處理不同類型的項目時，F(xiàn)rame市場可以防止重復工作，節(jié)省時間和資源。

積極進行模型維護

模型會隨著時間而退化，這是機器學習生命周期中不可避免的一部分。我們通過積極主動的模型維護方法在LinkedIn上克服了這個問題。從一開始，當我們建立模型時，我們就采用了能夠讓再訓練更容易實現(xiàn)的方式來做這項工作。我們創(chuàng)建和測試的模型并不是一次性的，而是具有生產(chǎn)級品質(zhì)且可進行代碼審查的產(chǎn)品。當重新訓練模型的時候，我們會繼續(xù)貫徹讓訓練變得更容易這一理念。

此外，我們還為重新訓練模型時制定了一個固定的時間表，以進行“預定的再培訓”。這樣有助于消除建模團隊的一些認知負擔，同時確保能夠在模型完全停止工作之前發(fā)現(xiàn)所有的模型缺陷。同時，我們還投資開發(fā)了性能監(jiān)測工具以確保模型始終處于健康狀態(tài)。任何程度的監(jiān)控都比沒有監(jiān)控要強。能夠在某些指標超過預設閾值時發(fā)送警報的自動監(jiān)控無疑會推動整個系統(tǒng)向著我們期望的目標又邁進了一步。

實施人工智能部署可能只需要某些組件，如GPU、模型、數(shù)據(jù)等，但是在一個大型組織機構(gòu)中成功部署人工智能需要一個強大的支持工具包，以為開發(fā)人員提供支持。通過為開發(fā)人員配備人工智能最佳實踐和工具，我們也在不斷提升我們以最佳方式應用人工智能的能力。

本文作者Joel Young為LinkedIn公司負責機器學習基礎架構(gòu)團隊的主管。

原文網(wǎng)址

https：//www.infoworld.com/article/3401080/tips-for-building-an-effective-ai-ecosystem.html