我們生活在算法的時(shí)代。我們?nèi)ツ膫(gè)學(xué)校上學(xué),是否能夠獲得車貸、需要為健康保險(xiǎn)支付多少錢,這些對(duì)我們的生活有著重大影響的決定越來越由不得人類自己,而是被各種數(shù)學(xué)模型所操控。從理論上來說,模型可以更好地促進(jìn)公平,因?yàn)槊總(gè)人適用于同等的規(guī)則,不存在偏袒。
但凱西?奧尼爾這本迫切而且必要的書卻告訴我們,事實(shí)剛好相反。如今,被廣泛使用的算法模型,即使其本身充斥著錯(cuò)誤,也依舊不受管束、不被質(zhì)疑。其中,“強(qiáng)化歧視”的問題特別值得反思:如果一個(gè)窮學(xué)生因?yàn)楸唤栀J模型認(rèn)定為風(fēng)險(xiǎn)過高(僅僅是根據(jù)該學(xué)生所生活的街區(qū)就得出此判斷)而貸不了款,那么接下來,他就會(huì)被剝奪能夠幫他擺脫貧困的接受優(yōu)質(zhì)教育機(jī)會(huì),繼而陷入一系列的惡性循環(huán)。
通過追蹤一個(gè)人的生命軌跡,凱西?奧尼爾試圖在書中揭露數(shù)學(xué)殺傷性武器對(duì)塑造個(gè)人和社會(huì)未來的影響。這些數(shù)學(xué)殺傷性武器給教師和學(xué)生評(píng)分,篩選簡(jiǎn)歷,批準(zhǔn)貸款或拒絕貸款,評(píng)估員工,甚至監(jiān)督我們的健康狀況,因此凱西?奧尼爾呼吁建模者,要對(duì)自己的算法承擔(dān)更多責(zé)任,并且呼吁政策制定者對(duì)模型的使用進(jìn)行監(jiān)督管理。她指出,對(duì)模型的掌控最終取決于我們自己。這本重要的書迫使我們直面問題,揭示真理,要求改變。
大學(xué)排名和身體質(zhì)量指數(shù)(BMI)竟然是一場(chǎng)騙局?
? 在數(shù)據(jù)經(jīng)濟(jì)時(shí)代,我們不僅是數(shù)據(jù)巨頭的用戶,也成為它們的商品?
? 為什么說“一般人公式”會(huì)帶來更多的間接損害與不公?
? 數(shù)據(jù)安全和數(shù)據(jù)正義該如何維護(hù)?
未來20年,算法和大數(shù)據(jù)將席卷世界,接管我們的生活、社會(huì)和經(jīng)濟(jì)。我們生活中的很多方面都將落入自動(dòng)化的數(shù)據(jù)分析之下。確保算法和大數(shù)據(jù)的公平性將是一項(xiàng)重大的任務(wù),數(shù)據(jù)倫理的價(jià)值和意義將不斷凸顯出來。在這本書的作者凱西?奧尼爾看來,黑盒里,大數(shù)據(jù)的規(guī)模、傷害和隱秘共存,她在書中引用了大量發(fā)生在美國(guó)當(dāng)下的、基于大數(shù)據(jù)和算法的、改變個(gè)人生活的案例,并對(duì)影響這些城市生活經(jīng)驗(yàn)的算法做了特別的觀察和研究。作者認(rèn)為,數(shù)據(jù)和算法的關(guān)系就像槍械和軍火,數(shù)據(jù)沒有價(jià)值觀,是中立的,但來自人類行為的輸入,難免隱含偏向,而算法創(chuàng)造的數(shù)據(jù)又對(duì)人類行為產(chǎn)生反作用,從而導(dǎo)致更多的不公。凱西在書中指出:算法模型一旦運(yùn)轉(zhuǎn),執(zhí)法行為就會(huì)增多,產(chǎn)生的新數(shù)據(jù)又會(huì)進(jìn)一步證明加強(qiáng)執(zhí)法的必要性。形象地說,就是哪里“前科”越多,哪里就越受算法“關(guān)照”,最終形成一個(gè)失真甚至有害的回環(huán)。因此,建模者應(yīng)該對(duì)自己的算法承擔(dān)更多責(zé)任,政策制定者要對(duì)模型的使用進(jìn)行管理,讓更多的人受益,維護(hù)社會(huì)的公平與民主。
我們生活在算法的時(shí)代。我們?nèi)ツ膫(gè)學(xué)校上學(xué),是否能夠獲得車貸、需要為健康保險(xiǎn)支付多少錢,這些對(duì)我們的生活有著重大影響的決定越來越由不得人類自己,而是被各種數(shù)學(xué)模型所操控。從理論上來說,模型可以更好地促進(jìn)公平,因?yàn)槊總(gè)人適用于同等的規(guī)則,不存在偏袒。
但凱西?奧尼爾這本迫切而且必要的書卻告訴我們,事實(shí)剛好相反。如今,被廣泛使用的算法模型,即使其本身充斥著錯(cuò)誤,也依舊不受管束、不被質(zhì)疑。其中,“強(qiáng)化歧視”的問題特別值得反思:如果一個(gè)窮學(xué)生因?yàn)楸唤栀J模型認(rèn)定為風(fēng)險(xiǎn)過高(僅僅是根據(jù)該學(xué)生所生活的街區(qū)就得出此判斷)而貸不了款,那么接下來,他就會(huì)被剝奪能夠幫他擺脫貧困的接受優(yōu)質(zhì)教育機(jī)會(huì),繼而陷入一系列的惡性循環(huán)。
通過追蹤一個(gè)人的生命軌跡,凱西?奧尼爾試圖在書中揭露數(shù)學(xué)殺傷性武器對(duì)塑造個(gè)人和社會(huì)未來的影響。這些數(shù)學(xué)殺傷性武器給教師和學(xué)生評(píng)分,篩選簡(jiǎn)歷,批準(zhǔn)貸款或拒絕貸款,評(píng)估員工,甚至監(jiān)督我們的健康狀況,因此凱西?奧尼爾呼吁建模者,要對(duì)自己的算法承擔(dān)更多責(zé)任,并且呼吁政策制定者對(duì)模型的使用進(jìn)行監(jiān)督管理。她指出,對(duì)模型的掌控最終取決于我們自己。這本重要的書迫使我們直面問題,揭示真理,要求改變。
目錄
引文
第一章 盲點(diǎn)炸彈
不透明、規(guī);蜌缧
第二章 操縱與恐嚇
彈震癥患者的醒悟
第三章 惡意循環(huán)
排名模型的焦慮與特權(quán)
第四章 數(shù)據(jù)經(jīng)濟(jì)
掠奪式廣告的贏家
第五章 效率權(quán)衡與邏輯漏洞
大數(shù)據(jù)時(shí)代的正義
第六章 篩選
顱相學(xué)的偏見強(qiáng)化
第七章 反饋
辛普森悖論的噪聲
第八章 替代變量和間接損害
信用數(shù)據(jù)的陷阱
第九章 “一般人”公式
沉溺與歧視
第十章 正面的力量
微目標(biāo)的出發(fā)點(diǎn)
結(jié)束語
注釋
索引