近年來，深度學習算法推動人工智能實現(xiàn)了快速發(fā)展。以深度學習為基礎的機器學習可以讓計算機模擬或實現(xiàn)人類學習行為，從而不斷改善自身性能，其應用正遍及人工智能的各個領域，并在各行業(yè)得到爆發(fā)式增長。但機器學習也面臨著各種挑戰(zhàn)和風險。美國《哈佛商業(yè)評論》雜志2021年1/2月刊發(fā)表歐洲工商管理學院（INSEAD）研究人員鮑里斯·巴比克（Boris Babic）、I. 格倫·科恩（I. Glenn Cohen）和西奧多·埃凡杰努（Theodoros Evgeniou）合著的文章《當機器學習誤入歧途》（When Machine Learning Goes Off the Rail），對其可能帶來的風險和應對方法進行了討論。

　　機器學習失誤的三大原因

　　機器學習與之前的數(shù)字技術的最大區(qū)別在于，它們能夠獨立做出越來越復雜的決定——比如交易哪些金融產(chǎn)品、車輛如何應對障礙、診斷患者是否患病——并不斷適應新數(shù)據(jù)。但這些算法并不總是順利運行。它們并不總是做出合乎道德或準確的選擇。這里有三個基本原因。

　　其中一個原因很簡單。算法做出了如此多的預測，很可能有些預測是錯誤的。出錯的可能性源于很多因素，包括用于訓練算法的數(shù)據(jù)的數(shù)量和質(zhì)量，所選機器學習方法的具體類型，系統(tǒng)是否只使用可解釋的算法（意味著人類可以描述它們?nèi)绾巫龀鰶Q定），這可能不允許系統(tǒng)實現(xiàn)最大的準確性。

　　其次，機器學習操作的環(huán)境本身可能會進化或不同于算法開發(fā)時所面對的環(huán)境。雖然這可能以多種方式發(fā)生，但最常見的兩種是概念漂移和協(xié)變量漂移。

　　對于前者，系統(tǒng)使用的輸入和輸出之間的關系隨著時間的推移并不穩(wěn)定，或者可能被錯誤地指定。以股票交易的機器學習算法為例，如果只使用低市場波動和高經(jīng)濟增長時期的數(shù)據(jù)進行訓練，那么當經(jīng)濟進入衰退或經(jīng)歷動蕩時——比如在新冠疫情大流行這樣的危機期間——它可能表現(xiàn)不佳。隨著市場的變化，投入和產(chǎn)出之間的關系——例如，公司的杠桿程度與其股票回報之間的關系——也可能發(fā)生變化。在商業(yè)周期的不同階段，信用評分模型也可能出現(xiàn)類似的偏差。在醫(yī)學領域，概念漂移的一個例子是，基于機器學習的診斷系統(tǒng)使用皮膚圖像作為檢測皮膚癌的輸入，但由于沒有充分捕捉到人的膚色（可能因種族或日曬而不同）與診斷決策之間的關系，無法做出正確的診斷。這些信息甚至在用于訓練機器學習模型的電子健康記錄中都找不到。

　　當使用過程中輸入到算法中的數(shù)據(jù)與訓練算法的數(shù)據(jù)不同時，就會發(fā)生協(xié)變量移位。即使算法學習到的模式是穩(wěn)定的，并且沒有概念漂移，這種情況也會發(fā)生。例如，醫(yī)療設備公司可以利用大城市醫(yī)院的數(shù)據(jù)開發(fā)基于機器學習的系統(tǒng)。但是，一旦該設備上市，農(nóng)村地區(qū)醫(yī)護人員輸入該系統(tǒng)的醫(yī)療數(shù)據(jù)可能與開發(fā)數(shù)據(jù)不太一樣。城市醫(yī)院的病人可能更集中于某些社會人口群體，他們擁有在農(nóng)村醫(yī)院不常見的基本醫(yī)療條件。只有當設備在市場上比在測試時出錯更多時，這種差異才會被發(fā)現(xiàn)?？紤]到市場的多樣性和它們變化的速度，預測系統(tǒng)運行環(huán)境中會發(fā)生什么變得越來越具有挑戰(zhàn)性，而且沒有多少數(shù)據(jù)能夠捕捉到現(xiàn)實世界中發(fā)生的所有細微差別。

　　機器學習可能做出錯誤決定的第三個原因與它所嵌入的整個系統(tǒng)的復雜性有關。以一種根據(jù)醫(yī)生輸入的圖像診斷疾病的設備IDx-DR為例，它可以識別糖尿病視網(wǎng)膜病變和黃斑水腫等眼部疾病，是美國食品和藥物管理局批準使用的第一種基于機器學習的自主醫(yī)療設備。診斷的質(zhì)量取決于提供的圖像有多清晰、設備使用的具體算法、算法使用的數(shù)據(jù)、輸入圖像的醫(yī)生是否接受了適當?shù)闹笇?，等等。有著如此多的參?shù)，很難評估這樣的設備是否和為什么會出錯，更不用說確定它的行為了。企業(yè)應對風險的具體方法

　　那么，應該如何管理機器學習現(xiàn)有和正在出現(xiàn)的風險呢？制定適當?shù)牧鞒?，提出正確的問題，采用正確的思維框架，這些都是重要的步驟。

　　需要把機器學習看作一個有生命的實體，而不是一種無生命的技術。以企業(yè)為例，由于對員工的認知測試無法揭示他們在加入現(xiàn)有團隊時的表現(xiàn)，實驗室測試也無法預測機器學習系統(tǒng)在現(xiàn)實世界中的表現(xiàn)。高管們應該要求全面分析員工、客戶或其他用戶將如何應用這些系統(tǒng)并對他們的決定作出反應。即使監(jiān)管機構沒有要求，企業(yè)也可能希望對其基于機器學習的新產(chǎn)品進行隨機對照試驗，以確保其在推出前的安全性、有效性和公平性。但他們也可能想要分析產(chǎn)品在實際市場中的表現(xiàn)，因為那里有各種類型的用戶，看看產(chǎn)品的表現(xiàn)是否在他們之間有所不同。

　　此外，應用該技術的公司應該將這些算法做出的決策與在相同情況下不使用它們做出的決策的質(zhì)量進行比較。在大規(guī)模部署產(chǎn)品之前，特別是那些沒有進行隨機對照試驗的產(chǎn)品，公司應該考慮在有限的市場上測試它們，以便更好地了解它們在各種因素影響下的準確性和行為——例如，當面對不同來源的數(shù)據(jù)或環(huán)境變化時。

　　應該制訂計劃，在機器學習產(chǎn)品上市前對其進行認證。監(jiān)管機構的做法提供了一個很好的路線圖。例如，2020年，美國食品藥品監(jiān)督管理局發(fā)表了一篇論文，提出了一種新的監(jiān)管框架，用于修改基于機器學習的醫(yī)療設備軟件。它提出了一種方法，可以讓這類軟件在保證患者安全的同時不斷改進，包括對開發(fā)軟件的公司或團隊進行完整的評估，以確保該公司擁有卓越的組織文化，從而能夠定期測試其機器學習設備。

　　基于機器學習的產(chǎn)品和服務以及它們所處的環(huán)境在不斷發(fā)展，很多公司可能會發(fā)現(xiàn)它們的技術并沒有像最初設想的那樣發(fā)揮作用。因此，重要的是，他們要尋找方法來檢查這些技術是否在適當?shù)姆秶鷥?nèi)運行。其他行業(yè)的成功經(jīng)驗可以作為榜樣。美國食品藥品監(jiān)督管理局倡議利用不同的數(shù)據(jù)來源，如電子健康記錄，來監(jiān)控醫(yī)療產(chǎn)品的安全性，如果不合格，可以強制撤回這些產(chǎn)品。在許多方面，企業(yè)的監(jiān)控程序可能類似于目前制造業(yè)、能源公司或網(wǎng)絡安全領域使用的預防性維護工具和流程。例如，這些公司可能會對人工智能進行所謂的對抗性攻擊，就像那些常規(guī)測試IT系統(tǒng)防御強度的攻擊一樣。

　　研發(fā)和制定智能安全原則

　　依賴機器學習的產(chǎn)品和服務——不斷吸收新數(shù)據(jù)，并根據(jù)數(shù)據(jù)做出相應調(diào)整的計算機程序——并不總是能做出合乎道德或準確的選擇。因此，自主決策的產(chǎn)品和服務需要解決道德困境——這一要求會帶來額外的風險、監(jiān)管和產(chǎn)品開發(fā)挑戰(zhàn)。學者們現(xiàn)在已經(jīng)開始將這些挑戰(zhàn)定義為算法設計負責解決的問題。例如，特斯拉是應該按照功利主義的成本—收益原則來設計汽車，還是按照康德主義的原則來設計汽車？即使答案是功利主義的，量化也是極其困難的：我們應該如何對一輛車進行編程，讓它來衡量三個老年人的生命更重要，還是一個中年人的生命更重要？企業(yè)應該如何在諸如隱私、公平、準確性和安全性之間取得平衡？所有這些風險都可以避免嗎？的確，有時它們會造成投資損失、有偏見的雇傭，甚至車禍。隨著這類產(chǎn)品在各個市場的激增，很多應用該技術的公司將面臨新的重大風險。

　　對此，企業(yè)需要建立自己的準則，包括道德準則，來管理這些新的風險，就像谷歌和微軟等公司已經(jīng)做的那樣。這些指導方針往往需要非常具體（例如，關于采用何種關于“公平”的定義）才能有用，并且必須針對所涉風險進行調(diào)整。如果你使用機器學習來做招聘決定，最好有一個簡單、公平和透明的模型。如果你使用機器學習來預測商品期貨合約的價格，你可能就不太關心這些價值，而更關心機器學習做出決定所允許的最大潛在經(jīng)濟損失。

　　幸運的是，現(xiàn)在有很多機構已經(jīng)參與到了開發(fā)和實現(xiàn)的原則中。人們可以從經(jīng)合組織等機構多年來的努力中學到很多東西。經(jīng)合組織制定了首個政府間人工智能原則，并在2019年被許多國家采用。經(jīng)合組織原則促進了創(chuàng)新、可信和負責任、透明的人工智能，尊重人權、法治和多樣性，推動包容性增長、可持續(xù)發(fā)展和人類福祉。他們還強調(diào)了人工系統(tǒng)在整個生命周期中的健康性、安全性和持續(xù)風險管理。最近，經(jīng)合組織推出的人工智能政策觀察（The OECD AI Policy Observatory）平臺對此提供了更多有用的資源，如對全球人工智能政策的綜合匯編。
責任編輯：YYX