只有一半 AI 模型具有商業價值?讓 ModelOps 帶你踏上最後一哩路!
作者:SAS Taiwan
原文刊登自:TechOrange 科技報橘
DevOps 是軟體工程中一個常見的文化精神,並重軟體開發(Dev)和系統維運(Ops)團隊之間的溝通,使得兩方在軟體系統上線的協作能更加快速、頻繁和可靠。可想而知,ModelOps 是導入 DevOps 精神在以 AI 模型為核心的系統開發和維運流程中,因此流程涉及常見的 AI 模型 (機器學習、時間序列模型、統計模型等)、資料品質等相關議題。
除了軟體工程本身,ModelOps 也追求提升模型從第一步到最後一步的開發效率,使得模型上線更加快速、頻繁,並同時確保模型的預測表現。然而,為什麼企業需要 ModelOps 呢?
連續 8 年被 Gartner 評為資料科學與機器學習平台領導者的 SAS 台灣業務顧問部副總經理陳新銓表示,從情境確認、資料分析到每一次模型部署上線,企業內部就需花費大量的時間溝通,而等到模型上線後,又可能因情境需求改變,甚至是資料日增而讓模型變得不敷使用。因此結合 DevOps 精神將有效地解決這些問題,讓 AI 模型能夠真正落地應用,產生商業價值。
AI 模型從開發到部署存在極大差距
陳新銓進一步說明,據調查,企業所開發的 AI 模型只有 50% 會進入部署階段,而這些被部署的模型中,高達 90% 花了 3 個月時間才順利上線。 IDC 另一份調查也指出,企業 1 年花費在分析上的預算多達 1,891 億美元,卻只有 35% 企業能夠將模型部署到營運流程裡。
從這兩份調查可知 AI 模型從開發到落地部署其實有著很長的一段路,因此透過 ModelOps 對 AI 模型進行生命週期管理,以縮減開發和維運流程,顯然有其必要性。
研究機構 Gartner 也在公佈 2021 年九大策略科技趨勢(Strategic technology)時指出,AI 模型在 AI 工程中應成為 DevOps 的一部份,而不是一個獨立專門的項目,更顯 ModelOps 的未來發展潛力。
ModelOps 有別於大家常提到 MLOps,MLOps 強調單一或少數的機器學習模型的生命周期流程,最終以最佳的機器學習模型進入營運層面產生商業價值,著重機器學習模型本身;ModelOps 不僅包含 MLOps 的精神,也涵蓋到為企業組織統一治理更多數量、更多元化分析模型的生命周期流程,並延伸到業務規則、業務決策最佳化、代理人系統等,以及更多 IT 架構層面的議題,著重各類型模型和系統的最終決策。從 IT 架構的多樣性到分析模型的多元性,ModelOps 的涵蓋範圍會比 MLOps 來得廣,也因此我們可以將 MLOps 視為 ModelOps 的子集合。
實踐 ModelOps 過程,必須掌握的三大重要機制
「我們從協助企業實踐 ModelOps 的過程中,發現三個很重要的機制:(1) 模型儲存管理、(2) 模型流程管理、(3) 系統開放的介接 API」,陳新銓提醒,管理者須從營運而非僅技術角度,為實現 AI 價值的打下基礎。
機制 1:模型儲存管理 – 中央式管理各種類型、各程式語言的模型
隨著程式語言、資料型態的多樣性增加,分析模型可以存在成各種檔案類型。此外,不同分析模型對於輸入資料的格式、環境設定的依賴也不盡相同。目前企業內部的許多模型程式碼、資料和模型相關文件通常散落在各個不同系統平台中,倘若再遇到人事頻繁流動,模型常常無法有效留存或交接,而損失當時開發模型的潛在價值。
系統性地模型儲存管理協助企業組織集中、統一治理所有類型模型檔案、屬性、版本、相關文件等,並達到兩個可預期的效益:(1) 有效率地支援 ModelOps 的模型作業流程運作、(2) 不斷地累積企業組織的分析模型資產和能量。
因此陳新銓建議,企業應建立一個中央式的模型儲存庫,清楚記錄與儲存每個模型的版本歷程、預測表現、屬性、使用的資料變數、衍生的模型檔案等,如此一來,即使公司內部人員流動或是模型數量繁多,也能系統性地累積分析能量。
機制 2:模型流程管理 – 設計出可稽核的自動化、標準化模型作業流程
AI 模型從開發到部署,需要 IT、業務及分析等眾多部門共同協力完成,陳新銓認為,藉由自動化與標準化的流程,讓完整的模型作業流程可以跨部門協作,簡化人工作業程序,AI 模型便能順暢地由開發走到部署階段,有效克服管理的挑戰。
以 SAS 的模型流程管理為例,其同時符合 BPMN 2.0(業務流程模型和標記法,Business Process Model and Notation)規範與 ISO 19510 標準,企業可以用圖形化方式去設計符合自身需求的模型開發與維運流程,讓跨部門,甚至是資料科學技能相對初階的業務需求單位都能加入協作,及解讀管理所需的資訊。此外,還能提供每一次作業流程的紀錄,做為內部稽核及未來營運改善的依據,這對台灣金融業來說尤為重要。
機制 3:開放的 API 介面 – 整合既有軟體系統,打造更全面的 ModelOps
透過前述兩個重要機制,可以提升AI 模型的儲存和流程面的運作。SAS 在與不同產業的企業合作和討論時,發現許多企業組織內部已經陸續使用不同功能類型的軟體,來支援分析模型開發、部署和執行服務等。因此,要讓模型統一集中並自動化作業流程,還能友善地與既有系統整合,發揮綜效和 ModelOps 的精神,其介接的API介面是不可或缺的關鍵。 因此陳新銓建議透過開放 API 介面,整合更多元的系統、達到持續整合與持續交付 (CI/CD)的終極效果,讓資料科學家只要點擊操作,就可將 AI 模型落地至營運環境。如提供 RESTful API,讓企業可以介接 SAS、Java、Python 或是 CLI 介面的應用程式,還有Gitlab、GitHub、Jenkins 等開源工具,即能快速打造 CI/CD 流程。
日本瑞穗銀行靠 ModelOps,大幅縮短貸款審核作業
日本瑞穗銀行個人貸款部門便以 ModelOps 精神建立資料平台,在原本的作業流程中,增加一個可以集中控管所有模型的儲存庫,並標準化 ML 模型從部署到應用的作業流程,進而提升貸款業務的作業效率和處理量能。
在引進 ModelOps 後最明顯的改變是,以前相關同仁需要數週時間才能完成貸款審核作業,現在最快 30 分鐘就能完成,在處理量能上,以前每個月所能處理房貸件數最多為 80 個,現在藉助 AI 模型應用,讓瑞穗銀行可以蒐集外部數據,例如貸款者的財務資訊…等,作為評估基礎,每月可處理案件數成長百倍、達上千個。
ModelOps 非一體適用,平台要具開發彈性
雖然 ModelOps 是必然趨勢,不過,陳新銓再次強調,ModelOps 是一種精神文化,而非標準作業流程,每個企業組織的模型使用情境、範圍、系統架構、文化和規章都不盡相同。因此,要實踐能因地制宜的 ModelOps,企業需要足夠彈性的開發平台,以符合上述所提條件,包含:能否廣納各類型的模型資產並有中央管理機制?可不可以做到自動化流程管理?有無提供介接其他系統的 API?有沒有足夠人性化、簡潔易懂的操作介面?
換句話說,AI 模型若不能很好地整合管理效率與業務規則,就無法用最有效的方式協助企業做到「決策最佳化」的終極目標。
參考資料:
推薦閱讀
- 4 strategies that will change your approach to fraud detectionAs fraudulent activity grows and fighting fraud becomes more costly, financial institutions are turning to anti-fraud technology to build better arsenals for fraud detection. Discover four ways to improve your organization's risk posture.
- Payment fraud evolves fast – can we stay ahead?Payment fraud happens when a criminal steals a person’s private payment information, then uses it for an illegal transaction. As payment trends evolve, so do the fraudsters. Banks and PSPs can fight back with advanced analytics techniques that adapt quickly to spot anomalies in behavior.
- Improve child welfare through analyticsWith tremendous potential for child welfare agencies to use data and analytics to prevent child abuse and improve outcomes for children and families, child welfare advocates discuss the benefits of using data and establishing a data-driven culture to advance practice and policy.
準備好訂閱意見領袖觀點了嗎?