在線客服
企業(yè)微信
核心提示：將于 2024 年底生效的歐盟《人工智能法案》，和《通用數(shù)據(jù)保護(hù)條例》（GDPR，General Data Protection Regulation）一樣，將約束為歐盟客戶提供服務(wù)的所有機(jī)構(gòu)。
編者按：銀行記者卡列娜·馬科托夫（Kalyeena Makortoff）拋出重彈——基于人工智能的“黑盒”歧視似乎超出了使用者的控制范圍，這再次引發(fā)了一場(chǎng)圍繞公共和私營(yíng)行業(yè)人工智能使用的廣泛辯論。當(dāng)人們?cè)谀承┨囟ㄇ闆r下應(yīng)用人工智能時(shí)，它所帶來(lái)的風(fēng)險(xiǎn)真實(shí)且重大。最大的危險(xiǎn)之一就是無(wú)意的偏見(jiàn)，它會(huì)對(duì)個(gè)人造成傷害。針對(duì)于此，歐盟的政治家們正計(jì)劃推出首個(gè)全面的全球人工智能監(jiān)管模板。將于 2024 年底生效的《人工智能法案》將產(chǎn)生廣泛的影響。與歐盟的《通用數(shù)據(jù)保護(hù)條例》一樣，《人工智能法案》將約束為歐盟客戶提供服務(wù)的所有機(jī)構(gòu)，確保這些機(jī)構(gòu)使用被政府批準(zhǔn)的人工智能，避免客戶受到傷害。另外，當(dāng)經(jīng)過(guò)批準(zhǔn)的人工智能系統(tǒng)發(fā)生故障或?qū)�(gè)人造成傷害時(shí)，政府將提供補(bǔ)救措施。本文來(lái)自翻譯，希望對(duì)您有幫助。
銀行記者卡列娜·馬科托夫這樣寫(xiě)道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”
一切源自 2019 年 11 月的一條推特：知名科技企業(yè)家大衛(wèi)·海涅邁爾·漢森（David Heinemeier Hansson）強(qiáng)烈抨擊蘋(píng)果新推出的信用卡，稱(chēng)其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。
這些指控以野火之勢(shì)蔓延開(kāi)來(lái)，漢森強(qiáng)調(diào)，做出上述性別歧視行為的罪魁禍?zhǔn)祝钱?dāng)前被廣泛用于做出貸款決策的人工智能。“蘋(píng)果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”
盡管蘋(píng)果及其承銷(xiāo)商高盛（Goldman Sachs）去年已經(jīng)被美國(guó)監(jiān)管機(jī)構(gòu)判定違反了公平放貸規(guī)則，漢森關(guān)于“人工智能歧視”的上述指控再次引發(fā)了一場(chǎng)更為廣泛的圍繞公共和私營(yíng)行業(yè)人工智能使用的辯論。
為了提高效率，各機(jī)構(gòu)正越來(lái)越多地將日常任務(wù)自動(dòng)化以削減成本，歐盟的政治家們正計(jì)劃推出首個(gè)全面的全球人工智能監(jiān)管模板。
這項(xiàng)《人工智能法案》立法的影響不會(huì)止步于歐盟，與歐盟的《通用數(shù)據(jù)保護(hù)條例》一樣，它將適用于為歐盟客戶服務(wù)的任何機(jī)構(gòu)，包括英國(guó)的銀行在內(nèi)。艾達(dá)·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負(fù)責(zé)人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說(shuō)：“這項(xiàng)法案一旦被采用，怎樣夸大其影響都不為過(guò)。”
歐盟人工智能“高風(fēng)險(xiǎn)”用途的最終清單，促進(jìn)出臺(tái)了嚴(yán)格的規(guī)則，這些規(guī)則規(guī)范了將人工智能用于篩選工作、大學(xué)或福利申請(qǐng)的方式，以及貸款機(jī)構(gòu)評(píng)估潛在借款人信譽(yù)的方式。
歐盟官員希望，通過(guò)額外的監(jiān)督和限制可使用的人工智能模型類(lèi)型，來(lái)遏制基于機(jī)器的歧視。這些歧視可能會(huì)影響改變生活的決定，比如自己是否能負(fù)擔(dān)住房或?qū)W生貸款。
獨(dú)立金融技術(shù)顧問(wèn)莎拉·科齊安斯基（Sarah Kociansk）說(shuō)：“可以使用人工智能分析我們的整個(gè)財(cái)務(wù)狀況，包括支出、儲(chǔ)蓄和其他債務(wù)，從而得出一個(gè)更全面的規(guī)劃圖景。如果設(shè)計(jì)得當(dāng)，這樣的系統(tǒng)可以提供更廣泛的可負(fù)擔(dān)信貸渠道。”
但最大的危險(xiǎn)之一就是無(wú)意的偏見(jiàn)，系統(tǒng)所使用的算法最終會(huì)拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。
人工智能分析存在的部分問(wèn)題在于，大多數(shù)人工智能模型只能從提供給系統(tǒng)的歷史數(shù)據(jù)中反饋出學(xué)習(xí)信息，這就意味著它們將會(huì)了解之前給哪些客戶貸過(guò)款，以及哪些客戶被標(biāo)記為失信人員。科齊安斯基說(shuō)：“有一種風(fēng)險(xiǎn)存在，即系統(tǒng)會(huì)對(duì)‘誠(chéng)信’借款人的‘長(zhǎng)相’產(chǎn)生偏見(jiàn)。值得注意的是，性別和種族往往在人工智能的決策過(guò)程中發(fā)揮作用，而這些決策過(guò)程是基于人工智能所訓(xùn)練出來(lái)的數(shù)據(jù)——所考慮的因素與個(gè)人償還貸款的能力毫不相關(guān)。”
除此之外，一些模型在被設(shè)計(jì)時(shí)沒(méi)有考慮所謂的受保護(hù)特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過(guò)分析郵政編碼等其他數(shù)據(jù)特征對(duì)客戶進(jìn)行區(qū)分，這些數(shù)據(jù)的來(lái)源可能是之前從未有過(guò)申請(qǐng)、擔(dān)保、償還或抵押貸款歷史記錄的弱勢(shì)群體。
在大多數(shù)情況下，當(dāng)一個(gè)算法做出決定時(shí)，任何人都很難理解它是如何得出這個(gè)結(jié)論的，這導(dǎo)致了人們通常所說(shuō)的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請(qǐng)人可以采取哪些不同的做法來(lái)獲得貸款或信用卡的資格，或者將申請(qǐng)人的性別從男性改為女性是否會(huì)產(chǎn)生不同的結(jié)果。
斯修馬如表示，將于 2024 年底生效的人工智能法案，會(huì)惠及那些成功開(kāi)發(fā)出符合歐盟新規(guī)則的“可信 AI”模型的科技公司。
人工智能初創(chuàng)公司因果鏡頭的總部位于倫敦，其首席執(zhí)行官兼聯(lián)合創(chuàng)始人達(dá)爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規(guī)則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開(kāi)創(chuàng)了“因果人工智能”的先河。因果人工智能是新一代智能機(jī)器，最終能夠理解“因果關(guān)系”——這是邁向真正人工智能的重要一步。）
人工智能初創(chuàng)公司 causaLens 于 2021 年 1 月公開(kāi)成立，已經(jīng)將自己的技術(shù)授權(quán)給了資產(chǎn)管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規(guī)定生效之前，許多零售銀行正在與自己簽署協(xié)議。
企業(yè)家馬托夫斯基表示，causaLens 提供了一種更先進(jìn)的人工智能形式，通過(guò)計(jì)算和控制數(shù)據(jù)中的歧視相關(guān)性來(lái)避免潛在的偏見(jiàn)。他說(shuō)：“基于相關(guān)性的模型只能學(xué)習(xí)過(guò)去的錯(cuò)誤，并將其重演到未來(lái)。”
他堅(jiān)信，自己開(kāi)發(fā)的這種被稱(chēng)之為因果人工智能的模型，將為可能失去教育和賺錢(qián)機(jī)會(huì)的邊緣化群體帶來(lái)更好的未來(lái)。
他說(shuō)：“我們真的難以知道人工智能已經(jīng)造成的破壞規(guī)模有多大，因?yàn)闊o(wú)法真正檢查這個(gè)模型。我們不知道有多少人因?yàn)榛靵y的算法而不能上大學(xué)，也不知道有多少人因?yàn)樗惴ㄆ疃鵁o(wú)法獲得抵押貸款。我們都不知道。”
馬托夫斯基說(shuō)，防止?jié)撛谄缫暤奈ㄒ环椒ň褪禽斎胧鼙Ｗo(hù)的數(shù)據(jù)特征，如殘疾、性別、種族，但要保證無(wú)論這些輸入的具體值是什么樣的，系統(tǒng)的決定都不會(huì)改變。
他表示，解決這一問(wèn)題確保了人工智能模型能夠反映我們當(dāng)前的社會(huì)價(jià)值觀，并避免延續(xù)過(guò)去任何種族主義、殘疾主義或歧視女性的決策。他說(shuō)：“社會(huì)普遍認(rèn)為，無(wú)論人們的性別，郵政編碼及種族是什么，都應(yīng)該得到平等的對(duì)待。因此，算法不僅要努力做到這一點(diǎn)，還必須保證做到這一點(diǎn)。”
盡管歐盟的新規(guī)定很可能向遏制基于機(jī)器的偏見(jiàn)邁出了一大步，但包括艾達(dá)·洛夫萊斯研究所在內(nèi)的一些專(zhuān)家也同時(shí)在推動(dòng)消費(fèi)者維護(hù)自己的權(quán)益：如果認(rèn)為自己處于不利地位，有權(quán)投訴和尋求賠償。
斯修馬如說(shuō)：“尤其是人們?cè)谀承┨囟ㄇ闆r下應(yīng)用人工智能時(shí)，它已經(jīng)帶來(lái)了真實(shí)的、重大的風(fēng)險(xiǎn)。”
他還表示，“人工智能監(jiān)管應(yīng)確保通過(guò)批準(zhǔn)或不批準(zhǔn)某項(xiàng)人工智能的使用，來(lái)恰當(dāng)?shù)乇Ｗo(hù)個(gè)人免受傷害，并在經(jīng)過(guò)批準(zhǔn)的人工智能系統(tǒng)發(fā)生故障或?qū)�(gè)人造成傷害時(shí)提供補(bǔ)救措施。我們不能假設(shè)經(jīng)過(guò)批準(zhǔn)的人工智能系統(tǒng)總能完美運(yùn)作，而在它們不能完美運(yùn)作的情況下疏于防備。”
圖1. 歐盟的《人工智能法案》（Artificial Intelligence Act）和《通用數(shù)據(jù)保護(hù)條例》（GDPR，General Data Protection Regulation）一樣，將約束為歐盟客戶提供服務(wù)的所有機(jī)構(gòu)。
銀行記者卡列娜·馬科托夫這樣寫(xiě)道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”
一切源自 2019 年 11 月的一條推特：知名科技企業(yè)家大衛(wèi)·海涅邁爾·漢森（David Heinemeier Hansson）強(qiáng)烈抨擊蘋(píng)果新推出的信用卡，稱(chēng)其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。
這些指控以野火之勢(shì)蔓延開(kāi)來(lái)，漢森強(qiáng)調(diào)，做出上述性別歧視行為的罪魁禍?zhǔn)祝钱?dāng)前被廣泛用于做出貸款決策的人工智能。“蘋(píng)果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”
盡管蘋(píng)果及其承銷(xiāo)商高盛（Goldman Sachs）去年已經(jīng)被美國(guó)監(jiān)管機(jī)構(gòu)判定違反了公平放貸規(guī)則，漢森關(guān)于“人工智能歧視”的上述指控再次引發(fā)了一場(chǎng)更為廣泛的圍繞公共和私營(yíng)行業(yè)人工智能使用的辯論。
為了提高效率，各機(jī)構(gòu)正越來(lái)越多地將日常任務(wù)自動(dòng)化以削減成本，歐盟的政治家們正計(jì)劃推出首個(gè)全面的全球人工智能監(jiān)管模板。
這項(xiàng)《人工智能法案》立法的影響不會(huì)止步于歐盟，與歐盟的《通用數(shù)據(jù)保護(hù)條例》一樣，它將適用于為歐盟客戶服務(wù)的任何機(jī)構(gòu)，包括英國(guó)的銀行在內(nèi)。艾達(dá)·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負(fù)責(zé)人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說(shuō)：“這項(xiàng)法案一旦被采用，怎樣夸大其影響都不為過(guò)。”
歐盟人工智能“高風(fēng)險(xiǎn)”用途的最終清單，促進(jìn)出臺(tái)了嚴(yán)格的規(guī)則，這些規(guī)則規(guī)范了將人工智能用于篩選工作、大學(xué)或福利申請(qǐng)的方式，以及貸款機(jī)構(gòu)評(píng)估潛在借款人信譽(yù)的方式。
歐盟官員希望，通過(guò)額外的監(jiān)督和限制可使用的人工智能模型類(lèi)型，來(lái)遏制基于機(jī)器的歧視。這些歧視可能會(huì)影響改變生活的決定，比如自己是否能負(fù)擔(dān)住房或?qū)W生貸款。
獨(dú)立金融技術(shù)顧問(wèn)莎拉·科齊安斯基（Sarah Kociansk）說(shuō)：“可以使用人工智能分析我們的整個(gè)財(cái)務(wù)狀況，包括支出、儲(chǔ)蓄和其他債務(wù)，從而得出一個(gè)更全面的規(guī)劃圖景。如果設(shè)計(jì)得當(dāng)，這樣的系統(tǒng)可以提供更廣泛的可負(fù)擔(dān)信貸渠道。”
但最大的危險(xiǎn)之一就是無(wú)意的偏見(jiàn)，系統(tǒng)所使用的算法最終會(huì)拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。
人工智能分析存在的部分問(wèn)題在于，大多數(shù)人工智能模型只能從提供給系統(tǒng)的歷史數(shù)據(jù)中反饋出學(xué)習(xí)信息，這就意味著它們將會(huì)了解之前給哪些客戶貸過(guò)款，以及哪些客戶被標(biāo)記為失信人員。科齊安斯基說(shuō)：“有一種風(fēng)險(xiǎn)存在，即系統(tǒng)會(huì)對(duì)‘誠(chéng)信’借款人的‘長(zhǎng)相’產(chǎn)生偏見(jiàn)。值得注意的是，性別和種族往往在人工智能的決策過(guò)程中發(fā)揮作用，而這些決策過(guò)程是基于人工智能所訓(xùn)練出來(lái)的數(shù)據(jù)——所考慮的因素與個(gè)人償還貸款的能力毫不相關(guān)。”
除此之外，一些模型在被設(shè)計(jì)時(shí)沒(méi)有考慮所謂的受保護(hù)特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過(guò)分析郵政編碼等其他數(shù)據(jù)特征對(duì)客戶進(jìn)行區(qū)分，這些數(shù)據(jù)的來(lái)源可能是之前從未有過(guò)申請(qǐng)、擔(dān)保、償還或抵押貸款歷史記錄的弱勢(shì)群體。
圖2. 人工智能最大的危險(xiǎn)之一是無(wú)意的偏見(jiàn)，即算法歧視某些群體，包括女性、移民或有色人種。
在大多數(shù)情況下，當(dāng)一個(gè)算法做出決定時(shí)，任何人都很難理解它是如何得出這個(gè)結(jié)論的，這導(dǎo)致了人們通常所說(shuō)的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請(qǐng)人可以采取哪些不同的做法來(lái)獲得貸款或信用卡的資格，或者將申請(qǐng)人的性別從男性改為女性是否會(huì)產(chǎn)生不同的結(jié)果。
斯修馬如表示，將于 2024 年底生效的人工智能法案，會(huì)惠及那些成功開(kāi)發(fā)出符合歐盟新規(guī)則的“可信 AI”模型的科技公司。
人工智能初創(chuàng)公司因果鏡頭的總部位于倫敦，其首席執(zhí)行官兼聯(lián)合創(chuàng)始人達(dá)爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規(guī)則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開(kāi)創(chuàng)了“因果人工智能”的先河。因果人工智能是新一代智能機(jī)器，最終能夠理解“因果關(guān)系”——這是邁向真正人工智能的重要一步。）
人工智能初創(chuàng)公司 causaLens 于 2021 年 1 月公開(kāi)成立，已經(jīng)將自己的技術(shù)授權(quán)給了資產(chǎn)管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規(guī)定生效之前，許多零售銀行正在與自己簽署協(xié)議。
企業(yè)家馬托夫斯基表示，causaLens 提供了一種更先進(jìn)的人工智能形式，通過(guò)計(jì)算和控制數(shù)據(jù)中的歧視相關(guān)性來(lái)避免潛在的偏見(jiàn)。他說(shuō)：“基于相關(guān)性的模型只能學(xué)習(xí)過(guò)去的錯(cuò)誤，并將其重演到未來(lái)。”
他堅(jiān)信，自己開(kāi)發(fā)的這種被稱(chēng)之為因果人工智能的模型，將為可能失去教育和賺錢(qián)機(jī)會(huì)的邊緣化群體帶來(lái)更好的未來(lái)。
他說(shuō)：“我們真的難以知道人工智能已經(jīng)造成的破壞規(guī)模有多大，因?yàn)闊o(wú)法真正檢查這個(gè)模型。我們不知道有多少人因?yàn)榛靵y的算法而不能上大學(xué)，也不知道有多少人因?yàn)樗惴ㄆ疃鵁o(wú)法獲得抵押貸款。我們都不知道。”
馬托夫斯基說(shuō)，防止?jié)撛谄缫暤奈ㄒ环椒ň褪禽斎胧鼙Ｗo(hù)的數(shù)據(jù)特征，如殘疾、性別、種族，但要保證無(wú)論這些輸入的具體值是什么樣的，系統(tǒng)的決定都不會(huì)改變。
他表示，解決這一問(wèn)題確保了人工智能模型能夠反映我們當(dāng)前的社會(huì)價(jià)值觀，并避免延續(xù)過(guò)去任何種族主義、殘疾主義或歧視女性的決策。他說(shuō)：“社會(huì)普遍認(rèn)為，無(wú)論人們的性別，郵政編碼及種族是什么，都應(yīng)該得到平等的對(duì)待。因此，算法不僅要努力做到這一點(diǎn)，還必須保證做到這一點(diǎn)。”
盡管歐盟的新規(guī)定很可能向遏制基于機(jī)器的偏見(jiàn)邁出了一大步，但包括艾達(dá)·洛夫萊斯研究所在內(nèi)的一些專(zhuān)家也同時(shí)在推動(dòng)消費(fèi)者維護(hù)自己的權(quán)益：如果認(rèn)為自己處于不利地位，有權(quán)投訴和尋求賠償。
斯修馬如說(shuō)：“尤其是人們?cè)谀承┨囟ㄇ闆r下應(yīng)用人工智能時(shí)，它已經(jīng)帶來(lái)了真實(shí)的、重大的風(fēng)險(xiǎn)。”
他還表示，“人工智能監(jiān)管應(yīng)確保通過(guò)批準(zhǔn)或不批準(zhǔn)某項(xiàng)人工智能的使用，來(lái)恰當(dāng)?shù)乇Ｗo(hù)個(gè)人免受傷害，并在經(jīng)過(guò)批準(zhǔn)的人工智能系統(tǒng)發(fā)生故障或?qū)�(gè)人造成傷害時(shí)提供補(bǔ)救措施。我們不能假設(shè)經(jīng)過(guò)批準(zhǔn)的人工智能系統(tǒng)總能完美運(yùn)作，而在它們不能完美運(yùn)作的情況下疏于防備。”
