Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 6123

関連インシデント

インシデント 3734 Report
Amazon’s Experimental Hiring Tool Allegedly Displayed Gender Bias in Candidate Rankings

Loading...
洞察 - アマゾン、女性に対する偏見を示した秘密のAI採用ツールを廃止
reuters.com · 2018

サンフランシスコ(ロイター) - 米アマゾン・ドット・コムの機械学習専門家チームは、大きな問題を発見した。同社の新しい採用エンジンが女性をうまく選んでいなかったのだ。

この取り組みに詳しい5人の関係者がロイター通信に語ったところによると、チームは2014年から、優秀な人材の発掘を自動化することを目指し、求職者の履歴書を審査するコンピュータープログラムを開発していたという。

自動化は、倉庫内でも価格決定でも、アマゾンの電子商取引における優位性の鍵となっている。関係者によると、同社の実験的な採用ツールは、人工知能を用いて求職者に1つ星から5つ星の評価を与えるものだった。これは、アマゾンで買い物客が商品を評価するのと似ているという。

関係者の1人は、「誰もがこの聖杯を欲しがっていた」と語った。「文字通り、『履歴書100通を渡せば上位5件が出てくる、その中から採用する』というエンジンを欲しがっていたのだ。」

しかし2015年までに、同社は新システムがソフトウェア開発者などの技術職の応募者を性別に中立的な方法で評価していないことに気づいた。

これは、Amazonのコンピューターモデルが、10年間にわたって同社に提出された履歴書のパターンを観察することで応募者を精査するように訓練されていたためだ。応募者の大半は男性からのもので、これはテクノロジー業界全体における男性優位を反映している。(テクノロジー業界における男女比の内訳については、tmsnrt.rs/2OfPWoD を参照)

事実上、Amazonのシステムは男性の応募者が好ましいと自ら学習していた。「女子チェスクラブキャプテン」のように「女性向け」という言葉を含む履歴書はペナルティの対象となった。また、事情に詳しい関係者によると、2つの女子大学卒業生の評価も下げていた。関係者は大学名を明かさなかった。

Amazonは、これらの特定の用語に中立的になるようにプログラムを編集した。しかし、だからといって、機械が差別につながる可能性のある候補者の選別方法を考案しないという保証にはならなかったと関係者は述べた。

シアトルに拠点を置くアマゾンは、幹部がプロジェクトへの期待を失ったため、昨年初めまでに最終的にチームを解散したと、匿名を条件に語った関係者は述べている。アマゾンの採用担当者は、新規採用の際にこのツールが生成した推薦を参考にしていたが、そのランキングだけに頼ることはなかったと関係者は述べている。

アマゾンはこの技術の課題についてコメントを控えたが、「アマゾンの採用担当者が候補者を評価するためにこのツールを使用したことは一度もない」と述べた。同社はそれ以上の詳細には言及しなかった。採用担当者が採用エンジンが生成した推薦を参考にしていたことには異議を唱えなかった。

ロイターが最初に報じた同社の実験は、機械学習の限界を示すケーススタディとなっている。また、ヒルトン・ワールドワイド・ホールディングスやゴールドマン・サックス・グループなど、採用プロセスの一部自動化を検討している大企業にとって、教訓となるだろう。

人材ソフトウェア会社CareerBuilderが2017年に実施した調査によると、米国の人事マネージャーの約55%が、今後5年以内に人工知能(AI)が業務の常態化に繋がると回答しています。

企業は長年、テクノロジーを活用して採用網を広げ、採用担当者の主観的な意見への依存度を下げることを夢見てきました。しかし、カーネギーメロン大学で機械学習を教えるニハール・シャー氏をはじめとするコンピュータ科学者は、まだ多くの課題が残されていると指摘しています。

「アルゴリズムの公平性、そしてアルゴリズムが真に解釈可能で説明可能であることをどのように保証するか。それはまだかなり先のことです」とシャー氏は述べました。

男性的な言葉

Amazonの実験は、世界最大のオンライン小売業者にとって極めて重要な時期に始まりました。低コストのコンピューティングパワーの急速な発展により、機械学習はテクノロジー業界で注目を集め始めていました。そして、アマゾンの人事部は採用ラッシュに突入しようとしていた。規制当局への提出書類によると、2015年6月以降、同社の全世界の従業員数は3倍以上に増加し、57万5700人に達した。

2018年8月8日、フランス・ボーヴにある同社の物流センターに掲げられたアマゾンのロゴ。REUTERS/Pascal Rossignol/Files ライセンス権を購入するには、新しいタブを開きます

そこで、アマゾンのエディンバラ・エンジニアリング・ハブにチームを立ち上げ、人員は約12人にまで拡大した。関係者によると、彼らの目標は、ウェブを迅速にクロールし、採用に値する候補者を見つけ出すAIの開発だった。

このチームは、特定の職務と勤務地に焦点を当てた500個のコンピューターモデルを作成した。各AIに、過去の応募者の履歴書に記載されていた約5万語の用語を認識させるように学習させた。関係者によると、アルゴリズムは、様々なコンピューターコードを書く能力など、IT系の応募者に共通するスキルをあまり重要視しなくなったという。

関係者によると、この技術はむしろ、「実行した」や「キャプチャした」など、男性エンジニアの履歴書によく見られる動詞を使って自己紹介する応募者を優遇していたという。

問題はジェンダーバイアスだけではなかった。モデルの判断の根拠となるデータに問題があったため、不適格な応募者があらゆる職種に推薦されることが多かったと関係者は述べている。この技術がほぼランダムに結果を返すようになったため、Amazonはこのプロジェクトを中止したと関係者は述べている。

問題か、それとも解決策か?

他の企業もAIを採用に活用したいという企業の熱意を浮き彫りにし、AIの活用を積極的に進めている。

ソルトレイクシティ近郊のスタートアップ企業HireVueのCEO、ケビン・パーカー氏は、自動化によって企業が長年頼ってきた採用ネットワークの枠を超え、新たな視点を得られるようになると述べた。同社は、ビデオ面接における候補者の話し方や表情を分析し、履歴書への依存度を下げている。

「以前と同じ場所に戻るのではなく、アイビーリーグの大学だけに戻るわけでもない」とパーカー氏は述べた。同社の顧客には、ユニリーバやヒルトンなどがある。

ゴールドマン・サックスは、候補者を「最も適した」部署にマッチングさせる独自の履歴書分析ツールを開発したと同社は述べている。

世界最大のプロフェッショナルネットワークであるマイクロソフト傘下のLinkedInは、さらに一歩進んで、サイトに掲載されている求人情報への適合性に基づき、候補者をアルゴリズムでランク付けし、企業に提供している。

とはいえ、LinkedInタレントソリューションズ担当副社長のジョン・ジャーシン氏は、このサービスは従来のリクルーターに取って代わるものではないと述べた。

「今日のAIシステムが採用判断を単独で行うとは到底思えません」と彼は述べた。「技術がまだ整っていないのです」

一部の活動家は、AIの透明性を懸念している。アメリカ自由人権協会(ACLU)は現在、採用ウェブサイトのアルゴリズムを差別の有無についてテストする研究者やジャーナリストを刑事訴追することを認める法律に異議を唱えている。

「私たちはアルゴリズムの公平性という問題にますます注目しています」と、ACLUの人種正義プログラムの専任弁護士、レイチェル・グッドマン氏は述べた。

それでも、グッドマン氏をはじめとするAI批判派は、自動採用に関して雇用主を訴えるのは非常に困難になる可能性があると認めている。求職者はAIが使われていることさえ知らないかもしれないからだ。

アマゾンは、失敗したAI実験から学んだことをある程度活用することに成功した。現在、採用エンジンの「大幅に機能を減らしたバージョン」を使用して、データベースから重複した候補者プロフィールを削除するなど、基本的な作業を支援していると、このプロジェクトに詳しい関係者の1人が語った。

別の人は、今度は多様性に焦点を当てて、自動化された雇用審査をもう一度試すために、エディンバラで新しいチームが結成されたと述べた。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd