一向被認(rèn)為最客觀的技術(shù)，竟然也發(fā)生了性別歧視。

策劃&撰寫(xiě)：巫盼 申小姐

AI不乖了。

今天路透社踢爆了亞馬遜用AI進(jìn)行招聘，進(jìn)而引發(fā)的可能歧視女性的新聞。

對(duì)于一直尋求智能化的亞馬遜而言，僅在倉(cāng)儲(chǔ)和物流管理上使用AI技術(shù)是遠(yuǎn)遠(yuǎn)不能滿足的，因此這項(xiàng)2014年啟動(dòng)的AI招聘原本是亞馬遜探尋進(jìn)一步智能化的實(shí)驗(yàn)，卻偏偏出了簍子。

最初亞馬遜開(kāi)發(fā)團(tuán)隊(duì)的想法是，使用AI進(jìn)行求職者簡(jiǎn)歷的篩選，可以更精確地找到匹配的頂尖人才，減少人力勞動(dòng)，將招聘這件事變得更智能化。

它們?cè)谑褂眠@個(gè)實(shí)驗(yàn)性的招聘工具過(guò)程中，用AI為求職者打分，分?jǐn)?shù)從一星到五星不等。開(kāi)發(fā)該程序的工程師表示，亞馬遜想要將這一程序打造成引擎，給該程序100份簡(jiǎn)歷，程序會(huì)列出前五人，其就會(huì)聘用列出的人才。

聽(tīng)上去非?？釋?duì)不對(duì)？但是，人算不如AI算。

在這項(xiàng)工具使用不長(zhǎng)時(shí)間后，亞馬遜發(fā)現(xiàn)他們使用AI系統(tǒng)的時(shí)候并未對(duì)軟件開(kāi)發(fā)人員和其他技術(shù)職位求職者進(jìn)行性別中立的評(píng)估。

這里面就存在兩個(gè)可能性問(wèn)題，一是樣本問(wèn)題，二則是AI系統(tǒng)有極大的BUG。

需要說(shuō)明的是，亞馬遜對(duì)這套系統(tǒng)采用的模型訓(xùn)練方式是通過(guò)觀察過(guò)去10年被提交給亞馬遜公司的簡(jiǎn)歷中找出固有模式，以此篩選審查求職者。

而問(wèn)題就出在這里——在過(guò)去的10年中，提交給亞馬遜的簡(jiǎn)歷大部分來(lái)自男性，這就導(dǎo)致了亞馬遜使用的AI系統(tǒng)告訴自己男性求職者更受到青睞。

是亞馬遜歧視女性嗎？還是AI在歧視？

我們認(rèn)為，這里面有三重因素。

首先，被提交給亞馬遜的應(yīng)聘樣本多數(shù)是男性求職者，這與科技行業(yè)長(zhǎng)久以來(lái)更愿意錄用男性員工有關(guān)?？峙驴萍夹袠I(yè)自身都產(chǎn)生了“誤會(huì)”，認(rèn)為男性更能勝任，而女性則有更多顧慮。

其次，在被提交的樣本中，亞馬遜的系統(tǒng)采用了特別標(biāo)志，會(huì)特別標(biāo)志出“女性”，這在不經(jīng)意間已經(jīng)對(duì)樣本有了“性別歧視”。

最后，雖然亞馬遜對(duì)AI招聘的程序進(jìn)行了修正，試圖確保對(duì)特定術(shù)語(yǔ)保持中立。但事實(shí)上，這無(wú)法從根本上客觀呈現(xiàn)篩選結(jié)果的一視同仁。

換句話說(shuō)，亞馬遜的這套AI招聘系統(tǒng)出現(xiàn)了“雞生蛋還是蛋生雞的”哲學(xué)性困惑。

如果不添加標(biāo)簽進(jìn)行篩選，勢(shì)必?zé)o法達(dá)到精準(zhǔn)匹配；

然而想要實(shí)現(xiàn)無(wú)差別對(duì)待，就勢(shì)必會(huì)出現(xiàn)不同領(lǐng)域的歧視。可能是性別、也有可能是學(xué)校、甚至可能是個(gè)人興趣和生活習(xí)慣。

WHATEVER，這個(gè)鍋，AI逃不掉。

這不是AI第一次陷入“性別歧視”的風(fēng)波中。

今年夏天，據(jù)果殼網(wǎng)的報(bào)道，弗吉尼亞大學(xué)計(jì)算機(jī)系攻讀人工智能機(jī)器學(xué)習(xí)方向的博士趙潔玉接到了導(dǎo)師文森特·奧都涅茨（Vicente Ordó?ez）給她的一個(gè)課題。

這個(gè)課題是關(guān)于圖形識(shí)別的AI，總是將男人認(rèn)成女人。這在計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展比較成熟的當(dāng)下，顯得有些不可思議。有趣的是，AI發(fā)生認(rèn)知錯(cuò)誤有個(gè)共同點(diǎn)：這些被誤認(rèn)為女人的男人不是站在廚房就是在做家務(wù)。

這顯然不是程序的BUG，而是AI算法本身的問(wèn)題，它自動(dòng)的將女性和某些特定的元素聯(lián)系在一起，比如站在廚房燒飯的就一定是女性，最終形成了關(guān)于女性的“刻板成見(jiàn)”，甚至是某種性別歧視。

相似的事情也發(fā)生在微軟身上，之前他們?cè)趖witter上推出了一個(gè)少女聊天機(jī)器人Tay，微軟的原意是讓妹子和大家在網(wǎng)上談?wù)勑?，順便學(xué)習(xí)一下怎么交流，然而Tay聊著聊著卻學(xué)會(huì)了罵臟，比如咒罵女權(quán)主義者、支持納粹，種族歧視……

技術(shù)本身是中立的，但追根溯源的話，AI也是從我們普通人身上“學(xué)習(xí)”了偏見(jiàn)或者歧視，當(dāng)我們?cè)谟?xùn)練人工智能模型的時(shí)候，大量的數(shù)據(jù)標(biāo)注結(jié)果再告訴AI，包含這些元素的可能98%是女性，最終關(guān)于性別的偏見(jiàn)不僅在數(shù)據(jù)庫(kù)里普遍存在，而且還會(huì)被AI放大。也就是說(shuō)，技術(shù)人員用大量的數(shù)據(jù)看似訓(xùn)練出“精準(zhǔn)”算法，然而卻缺少對(duì)這些數(shù)據(jù)背后的社會(huì)現(xiàn)狀的思考。

不過(guò)，這種現(xiàn)象也有可規(guī)避的方式。就像人的認(rèn)識(shí)，我們可以在學(xué)習(xí)以及社會(huì)化的過(guò)程中，形成一個(gè)合理、乃至政治正確的價(jià)值觀，同樣對(duì)于AI，我們也有“糾錯(cuò)”的方法。

我們認(rèn)為：

1、增加對(duì)原材料的凈化，盡可能地減少樣本數(shù)據(jù)庫(kù)的偏差，包括擴(kuò)大樣本的范圍以及多樣性，擴(kuò)容數(shù)據(jù)庫(kù)。

2、增加樣本的現(xiàn)實(shí)影響因子，現(xiàn)實(shí)維度是反應(yīng)社會(huì)價(jià)值取向、態(tài)度和引導(dǎo)方向的基礎(chǔ)。創(chuàng)建更好、更多樣化的數(shù)據(jù)集用于訓(xùn)練算法，從樣本數(shù)據(jù)的層面去縮小算法可能存在的偏差。

3、用技術(shù)的方式去彌合算法的偏差，比如開(kāi)發(fā)某種系統(tǒng)來(lái)發(fā)現(xiàn)存在偏見(jiàn)的決策，并及時(shí)采取措施，比如采用貝葉斯(Bayesian)的方法確定某種假設(shè)的機(jī)率，并摒除可能存在的人類(lèi)偏見(jiàn)。

4、最為關(guān)鍵的一點(diǎn)，解決AI歧視的本質(zhì)問(wèn)題，也就是人的改變。只有改變樣本數(shù)據(jù)在現(xiàn)實(shí)社會(huì)中的弊端作為，才能從源頭解決算法的歧視問(wèn)題。而機(jī)器，有時(shí)候也需要學(xué)會(huì)思考如何去擺脫人類(lèi)對(duì)它們?cè)斐傻腻e(cuò)誤影響。

劍橋大學(xué)未來(lái)研究所教授魯恩·奈如普（Rune Nyrup）曾經(jīng)說(shuō)過(guò)“沒(méi)有事實(shí)上的技術(shù)中立。對(duì)機(jī)器來(lái)說(shuō)，中立的就是占統(tǒng)治地位的?！倍遥覀儸F(xiàn)在的人工智能，還遠(yuǎn)遠(yuǎn)沒(méi)到達(dá)到理解真善美、假惡丑的“抽象”地步。

算法的歧視，AI不背鍋。