讀技術之外：社會聯結中的人工智能06分類

1. 分類

1.1. 塞繆爾·莫頓

• 1.1.1. Samuel Morton

• 1.1.1.1. 美國顱骨學家

• 1.1.1.2. 醫生和自然歷史學家

• 1.1.1.3. 費城自然科學院的成員

• 1.1.2. 通過比較頭骨的物理特征，來“客觀地”對人類進行分類和排名

• 1.1.3. 將世界上的人類劃分為五個“種族”?：非洲人、美洲原住民、高加索人、馬來人和蒙古人

• 1.1.3.1. 分類基于“多基因論”

• 1.1.3.2. 相信不同的人類種族在不同時期先后進化

• 1.1.3.3. 主導地緣政治的殖民主義心態的反映

• 1.1.4. 顱骨測量法逐漸成為歐美白人學者的主要方法之一，因為該方法聲稱能夠準確評估人類的差異和優勢

• 1.1.5. 研究在美國被用來維護奴隸制和種族隔離的合法性

• 1.1.5.1. 被用于為統治階級服務

1.2. 《人類的誤測》

• 1.2.1. The Mismeasure of Man

• 1.2.2. 斯蒂芬·杰伊·古爾德(Stephen Jay Gould)

• 1.2.3. 莫頓的總結是為了控制先驗信念的利益而捏造、榨取和拼湊出的結果

• 1.2.3.1. 沒有發現有意識欺詐的證據

• 1.2.3.2. 無意識欺詐的盛行表明了關于科學社會背景的一般結論

• 1.2.4. 如果科學家們可以誠實地自欺欺人到莫頓的程度，那么在任何地方都可能發現既存的偏見，甚至是在測量骨骼與計算總和的基礎領域

• 1.2.5. 顱骨測量學是“19世紀占主導地位的基于生物決定論的數字科學”?，它的核心基本假設存在“嚴重錯誤”?：即大腦大小與智力成正比

1.3. “先驗偏見”作為一種看待世界的方式，塑造了莫頓所認為的客觀科學以及一個自我強化的循環，影響了他的發現，就像充滿鉛的頭骨本身一樣

1.4. 莫頓的成果預示著當今人工智能領域中測量和分類的一些認識論層面的問題

• 1.4.1. 更嚴重的錯誤在于激發這種方法論的潛在世界觀

• 1.4.2. 目標不應該是要求更準確或“公平”的頭骨測量，以支持種族主義的智力模型，而是完全譴責這種測量方法

• 1.4.3. 莫頓使用的分類實踐在本質上是政治性的，他對智力、種族和生物學的無效假設產生了廣泛的社會和經濟影響

1.5. 分類政治學是人工智能的核心實踐

• 1.5.1. 分類實踐說明了“機器智能”是如何在從大學實驗室到科技行業的過程中產生的

• 1.5.2. 關注人工智能中的偏見的趨勢，會使我們偏離評估人工智能分類的核心實踐及其伴隨的政治問題

1.6. 分類是強大的技術。當被嵌入工作基礎設施中時，它們會變得相對不可見，而又不會失去任何力量。?

• 1.6.1. 杰弗里·鮑克(Geoffrey Bowker)和蘇珊·利·斯塔爾(Susan Leigh Star)

• 1.6.2. 成為基礎設施、習慣，以及理所當然的東西

1.7. 為了塑造技術系統而隨意選擇的分類，可以在塑造社會和物質世界方面發揮動態作用

2. 循環邏輯系統

2.1. 圖像識別工具對黑人面部信息進行錯誤歸類，聊天機器人采用種族主義和厭女的語言，語音識別軟件無法識別女性聲音，社交媒體平臺向男性展示的高薪招聘廣告多于女性等

2.2. 模型不僅作為一個分類體系對女性持有偏見，而且對常見的語言的性別化形式也存在偏見

2.3. 工具強化了亞馬遜現有的動態，并突出了過去和現在人工智能行業缺乏多樣性的特征

2.4. 人工智能行業習慣性地將偏見問題理解為一個需要修復的錯誤，而不是分類本身的特征

• 2.4.1. 各個公司都只專注于調整技術系統以在不同的群體之間產生更大的數量平等

2.5. 理解偏見與分類之間的關系，需要超越對知識生產的分析

• 2.5.1. 確定數據集是“有偏見的”還是“無偏見的”

• 2.5.2. 需要觀察歷史上的不平等模式是如何影響資源和機會的獲取，進而對數據產生影響的

• 2.5.3. 產生了一種統計學上的循環形態：一種自我強化的歧視機器，以技術中立為幌子，放大了社會不平等

3. 去偏見系統的限制

3.1. 人臉多樣性

• 3.1.1. Diversity in Faces, DiF

• 3.1.2. 數據集來回應對AI系統存在偏見的擔憂

• 3.1.3. 對于膚色較深的人，尤其是女性的識別錯誤率要高得多

3.2. Flickr

• 3.2.1. 當時互聯網上最大的公開可用數據集

3.3. 公平”被簡化為僅僅意味著機器主導的面部識別系統的準確率更高，而“多樣性”是指用于訓練模型和提高準確率的更大范圍的人臉數據

3.4. 分類實踐的本質是集中權力：即決定哪些差異擁有能夠產生影響的權力

• 3.4.1. 所有這些特征都是可變的、可轉移的、具備文化解釋特性，并具有不穩定意義

3.5. 工具的可供性成了真理的地平線

• 3.5.1. 只是用來增加對“準確性”的特定理解的一種方式

4. 偏見的多重定義

4.1. 自古以來，分類行為就與權力保持一致

• 4.1.1. 在神學中，命名和劃分事物的能力是上帝的神圣行為

• 4.1.2. ?“范疇”(category)一詞來自古希臘語katēgoríā，其由兩個詞根組成：kata（反對）和agoreuo（公開講話）?

• 4.1.3. 在希臘語中，這個詞可指審判中的邏輯主張或指控—暗指科學和法律的分類方法

• 4.1.4. 權力的持續不對稱，無論設計者的意圖如何，技術系統都保持了結構性的不平等

4.2. 偏見

• 4.2.1. 作為一個術語的歷史譜系的出現時間則更晚近

• 4.2.2. 首次出現于14世紀，在幾何學中它指的是斜線或對角線

• 4.2.3. 到了16世紀，它已經具有了類似于目前大眾所理解的含義，即“不適當的成見”

• 4.2.4. 到20世紀初，偏差在統計學中發展出更具技術性的含義，它指的是樣本和總體之間的系統差異，而樣本并不能真正地反映整體

4.3. 機器學習系統旨在從大量訓練示例中進行歸納，并對未包含在訓練數據集中的新觀察對象進行正確分類

• 4.3.1. 機器學習系統可以執行一種歸納，即從特定示例中學習以決定在新示例中尋找哪些數據點

4.4. 偏差指的是在泛化的預測過程中可能發生的一種錯誤類型，即系統在呈現新示例時表現出的系統性或經常性再現的分類錯誤

4.5. 方差是指算法對訓練數據差異的敏感性

4.6. 具有高偏差和低方差的模型可能對數據欠擬合—未能捕獲其所有重要特征或信號

4.7. 具有高方差和低偏差的模型可能會過度擬合數據—構建的模型離訓練數據太近，因此除了數據的重要特征外，它還可能捕獲一些“噪聲”?

4.8. “認知偏見”?，即人類判斷系統地偏離概率預期的方式

4.9. 內隱偏見的研究，強調了無意識態度和刻板印象是如何“造成與一個人公開聲明的或認可的信念或原則背道而馳的行為方式”?

• 4.9.1. 涉及人類的信仰、陳規或不同形式的歧視

4.10. 這些定義上的混淆，限制了偏見作為一個術語的實用性，尤其是當來自不同學科的人們使用這一術語的時候

4.11. 人們可以通過改進技術設計，來更好地考慮其系統是如何產生偏差和歧視性結果的

4.12. 用于訓練機器學習系統的每個數據集，無論是在有監督還是無監督機器學習的背景下，無論是否在技術上被視為“有偏見”?，都包含一種特定的世界觀

• 4.12.1. 創建訓練集，即是將一個幾乎無限復雜和多變的世界，固定為一個由被謹慎分類的數據點組成的分類體系，這個過程包含了內生性的政治、文化與社會選擇

• 4.12.2. 窺見內置于AI世界架構中的各種形式的權力

5. 詞網

5.1. 一個詞語分類數據庫，最初由普林斯頓大學認知科學實驗室于1985年開發，由美國海軍研究辦公室資助

5.2. 詞網被構想為一個機器可讀的字典，用戶可以在其中根據語義而不是字母的相似性進行搜索

5.3. 成了計算語言學和自然語言處理領域的重要資源

5.4. 詞網團隊收集了盡可能多的單詞，從布朗語料庫開始—一個在20世紀60年代由一百萬個單詞匯編而成的集合

5.5. 詞網試圖將英語組織成“同義詞集”(synsets)

6. 圖網

6.1. 圖網的底層語義結構是從詞網導入的

6.2. 圖網世界觀真正令人感到奇怪的現象，是它的九個頂級類別，其他所有類別都在其下順序排列

6.3. 九個類別為：植物、地質構造、自然物體、運動、人工制品、真菌、人、動物和雜項

6.4. 圖網對人進行分類的方式存在很多問題

• 6.4.1. 圖網是一個教訓，說明當人們像物品一樣被分類時會發生什么

6.5. 在圖網的“人類”類別的深處，也有真正令人反感和具有危害性的類別

6.6. 圖網中沒有中性類別，因為圖像的選擇總是與單詞的含義相互作用

6.7. 分析

• 6.7.1. 圖網的創建者從谷歌等圖像搜索引擎中收集了大量的圖像，在人們不知情的情況下提取他們的自拍照和度假照片，然后使用土耳其機器人的工作人員對這些照片進行標記和重新包裝

• 6.7.2. 搜索引擎返回結果時出現的所有偏差和偏見，都被后續來對其進行抓取和標記的技術系統收錄在內

• 6.7.3. 低收入的眾包工人被要求理解這些圖像，并以每分鐘50張的速度將它們分類，而這幾乎是不可能的

• 6.7.4. 調查這些標記圖像的底層分類原理時，我們會發現它們充滿了荒謬和刻板印象，這也許就不足為奇了

6.8. 圖網的世界觀并不罕見

• 6.8.1. 它是許多AI訓練數據集的典型特征，它揭示了自上而下的方案的諸多問題，這些方案將復雜的社會、文化、政治和歷史關系扁平化為可量化的實體

• 6.8.2. 當涉及在技術系統中按種族和性別對人進行分類的廣泛操作時，這種現象可能是最顯而易見且最陰險的

7. 定義“人”的權力

7.1. 將秩序強加于未分化的群體，將現象歸于一個范疇，即給事物命名，反過來又是一種將該范疇具體化的手段

7.2. 分類的結果可能是種族主義的、不合邏輯的和殘忍的，尤其是在涉及對人施加的標簽時

7.3. 在圖網的“人類”類別的深處，也有真正令人反感和具有危害性的類別

7.4. 像臉書這樣的公司使用的分類方案，是更加難調查和批評的，因為在此類專有系統中，幾乎沒有為局外人提供調查或審計圖像排序和分類方式的方法

7.5. 圖像—就像所有形式的數據一樣—充滿了各種潛在的意義、無法解決的問題和矛盾

7.6. 通過刪除攻擊性術語使訓練集更為“公平”的實踐，是無法與被權力驅動的分類抗衡的，并且這一行為排除了對潛在邏輯進行更徹底的評估的可能

8. 種族和性別

8.1. 這些技術存在一定的假設，即性別認同和種族的類別是明確的，機器可以通過編程來分配性別類別，或確定身體和身體部位應該表示什么

• 8.1.1. 監視學學者西蒙·布朗(Simone Browne)

8.2. 具有危害性的還原主義分類被廣泛用于許多人類分類訓練集，并且多年來一直是人工智能產品渠道的一部分，這一點毋庸置疑

8.3. 南非

• 8.3.1. 種族主義的法律制度支配著人們生活的很大一部分，受影響的絕大多數是南非黑人，他們的行動受到限制并被強行驅逐出他們的土地

• 8.3.2. 種族分類的政治性延伸到了人們生活中最私密的部分

8.4. 機器學習系統正在試圖將完全相對性的事物確定為固定的類別

8.5. 機器學習系統正在以一種非常真實的方式創造種族和性別：它們在自己設定的條件內定義世界，這對被分類的人們產生了長期的影響

• 8.5.1. 這限制了人們代表自己并獲得理解的方式的范圍，并縮小了被承認的身份的范圍

8.6. 對人進行分類是帝國的當務之急：臣民在被征服時被帝國分類，并被相關機構和專家歸為“某一類人”?

• 8.6.1. 伊恩·哈金

8.7. 分類技術產生并限制了認知方式，它們被植入人工智能的邏輯中

9. 測量的界限

9.1. 如果訓練數據和技術系統中的大部分分類，都是偽裝成科學和測量的權力與政治形式，我們應該如何糾正那些非常真實并被記錄在案的影響？

9.2. 需要轉變為評估優化指標和統計奇偶性以外的新系統，并了解數學和工程框架出現問題的原因

9.3. 意味著需要了解人工智能系統是如何與數據、工人、環境以及生活受其影響的個人進行交互的

9.4. 需要一種新的方法以應對高密度的分類方案沖突

9.5. 它們不得不降低復雜性，并去除重要的背景信息，以使世界更易于計算

9.6. 機器類別和人們相互作用并相互改變，這是由于機器類別試圖在不斷變化的形態中找到易讀性，以進入“正確”的類別并被列入最有利可圖的信息推送中

9.7. 人類分類的最具有危害性的形式—從種族隔離制度到同性戀的病態化—并沒有在科學研究和倫理批判陽光的照耀下簡單地消失

9.8. 分類模式制定并支持形成它們的權力結構，如果沒有相當大的努力，這些結構不會發生變化

9.9. 沒有訴求，權力就不會讓步。它從來沒有，也永遠不會讓步。

• 9.9.1. 19世紀美國廢奴運動領袖弗雷德里克·道格拉斯 (Frederick Douglas)

• 9.9.2. 在機器學習分類的隱形制度中，提出訴求并反對其內部邏輯更難

9.10. 真正龐大的分類引擎是由私營科技公司在全球范圍內運營的，無論是臉書和谷歌，還是抖音和百度

• 9.10.1. 這些公司缺乏在運營過程中對用戶分類和定位方式進行監督，并且他們未能提供清晰、獨立的公共干預途徑

• 9.10.2. 當人工智能的匹配過程真正隱藏起來，人們無法了解他們為什么獲得優勢與劣勢或如何獲得這些優勢與劣勢的時候，就需要集體的政治回應