Amazonの極秘AIツールが「女性蔑視だった」という理由で廃棄されていたことが判明

artificial-intelligence-2167835_960_720
by geralt

Amazonが「就職希望者の履歴書をAIで評価する」というシステムをひそかに開発していたものの、AIが男性を好み、女性を就職に不利なように評価することから、ツールを破棄していたことが判明しました。

Amazon scraps secret AI recruiting tool that showed bias against women
https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

Amazon reportedly scraps internal AI recruiting tool that was biased against women - The Verge
https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report
001
Amazonの機械学習の専門家チームは2014年、才能のある人材を探しだすため、履歴書から就職希望者を評価するアルゴリズムを作成しました。Amazonにとって「自動化」は非常に重要な要素であるため、人材雇用においてもAIによる自動化を行うことは、ごく自然な流れだったといいます。

しかし、この「履歴書から自動的に才能あるトップ5%を選んでくれる」という採用担当者からすると夢のようなアルゴリズムが、「女性嫌い」であることが2015年に判明しました。ソフトウェア開発者を始めとする技術的なポストにおいて、Amazonのシステムはジェンダーの点で中立ではなかったとのこと。

AIシステムが女性嫌いになってしまった理由は、Amazonのコンピューター・モデルが過去10年間の履歴書パターンによって学習を行っていたため。過去10年、テクノロジー産業では男性が支配的でした。
002
Amazonのシステムは男性の候補者を好み、「女性チェスクラブのキャプテン」といった「女性の」という言葉を含む履歴書を不利な立場に置いていたとのこと。また、事情に通じている人の情報から、女子大学を卒業した候補者を低く評価していたことも判明しています。

Amazonは特定の言葉に対して中立になるようプログラムを編集しましたが、システムが他の方法で候補者を差別的に扱う可能性があると考えられました。そのため、2017年初頭にチームは解散。2018年現在、Amazonは採用を行う時にAIツールによって作られた「おすすめ」を確認しますが、ランキングのみに頼ることはないとのことです。

Amazonはツールの技術的課題についてコメントを出さず、「Amazonが候補者を評価するためにこのツールを使ったことは一度もない」と述べています。

求職情報サイトのCareerBuilderが行った2017年の調査によると、アメリカ企業の人事部マネージャーの55%が「人工知能/AIは5年以内に自分たちの仕事にとって当たり前のものとなる」と考えているとのこと。しかし、コンピューター科学者のNihar Shah氏は「アルゴリズムを公平にし、現実的に解釈可能にするにはまだまだ道のりは遠い」と述べています。実際に、機械学習が人間の偏見を再現してしまうという点については、他の科学者からも懸念の声が上がっています。


 引用元:https://gigazine.net/news/20181011-amazon-secret-ai-recruiting-tool/
「女子大卒は減点」アマゾンのAI採用、男性優遇判明で廃止に

25388747874b5c0b42ad7k-550x309
人工知能(AI)アルゴリズムの訓練に使われたデータが、男性の就職希望者を優遇する傾向を生んだ。

ロイター通信の報道によると、2014年、アマゾンは就職希望者に対して1つ星から5つ星でランク付けをする自動システムの開発に着手した。しかし、このシステムが技術職において男性志願者を優遇していることが分かり、2017年に廃止した。

このAIツールは、アマゾンがそれまで10年間に渡って受け取ってきた履歴書のデータを元に訓練された。テクノロジー産業は男性優位分野であるため、履歴書の大部分は男性から送られてきたものだった。

システムは意図せずして、男性志願者を女性志願者よりも優先して選ぶように訓練されていた。報道によれば、「女性の」という言葉や、特定の女子大学の名前を含む履歴書を減点するようになっていた。アマゾンは、システムがこれらの条件を中立なものとして判断するように変更を加えたものの、プログラムが他のあらゆる分野において本当に性別に対する偏りがないか、自信を持てなくなったという。

私たちはAIを本質的にバイアスがないものとして扱うことはできない。バイアスのあるデータでシステムを訓練すれば、アルゴリズムもまたバイアスを含むことになる。もし、今回のような公平性を欠いたAI人材採用プログラムが導入前に明るみにならなければ、ビジネスに長年根付いている多様性の問題の数々は解決されず、むしろ固定化されてしまうだろう。


 引用元:http://ascii.jp/elem/000/001/755/1755527/
Amazon.comとは(Wikipedia)

b1828ae80c8e145356308f099f6ce40d-1
Amazon.com, Inc.(アマゾン・ドット・コム)は、アメリカ合衆国・ワシントン州シアトルに本拠を構えるECサイト、Webサービス会社である。アレクサ・インターネット、A9.com、Internet Movie Database (IMDb) などを保有している。

2014年現在、Amazon.comがアメリカ国外でサイトを運営している国はイギリス[9]、フランス[10]、ドイツ[11]、カナダ[12]、日本[13]、中国[14]、イタリア[15]、スペイン[16]、ブラジル[17]、インド[18]、メキシコ[19]、オーストラリア[20]、オランダ[21]の13国である。

管理
商品の管理方法
物流拠点において書籍はジャンルや出版社といったカテゴリで分けずに配置する方法で管理し、分類する手間を省いている[48]。書籍を棚入するときには、書籍につけられたバーコードと棚のバーコードを読み取ってホストコンピュータに登録する。そして、書籍を取りにいくときにはホストコンピュータから携帯端末へと情報を送り、どこにあるかを把握する。
2014年12月に公開した第8世代の物流拠点の内部では、ロボットを活用し作業効率向上を図っている[49][50]。
労働者の待遇
物流拠点での労働者の過酷な状況について、アメリカ[51]、イギリス[52][53]、ドイツ[54]、フランス[55]などで報じられている。

ビジネスモデル
経営上の特徴
Amazonの経営的特徴は、「顧客中心主義」「発明中心主義」「長期的視野」を掲げ事業を行っていることである[56][57]。ジェフ・ベゾスは、アメリカ国内で最大規模の書店は最大で20万点の書籍を扱っているが、インターネット書店であれば何倍もの種類の商品を扱うことが可能、と期待し、設立当初の4?5年の期間は利益が十分に上がらないことを戦略として予測した、ことが特徴的である。

一般の小売業と異なり「当社は、売上高や利益を最大化することではなく、フリーキャッシュフローを最大化することを目的にしている」と株主宛へのAnnualReportに記し、通期決算で赤字決算となることもある。1997年のナスダック上場以来、株主に対し配当を配ったことがなく、2014年時点で17年連続で無配を継続していることに対し株主が拍手喝采している株式会社的企業といえる[58]。

日本企業は「Amazonは日本に対し法人税を納めておらず、またダンピング販売をしているために競争環境が違いすぎ、設備投資等ができない[59][60]」、日本の電子書籍販売事業者は「アマゾンの販売する電子書籍には消費税がかからず不公平[61]」と批判する。

2014年5月、国際労働組合総連合は、従業員をロボットのごとく扱う労働・業務環境や納税回避を理由に、アマゾン創業者のジェフ・ベゾスを世界最悪の経営者として選出した[62][63]。

2015年8月、アマゾンは非情で悲惨な職場環境であるとニューヨーク・タイムズが報じた[64][65]が、ジェフ・ベゾスは反論している[66]。 

ロゴ
2000年に制定された Amazon のロゴは、"amazon.com"(amazon 部はボールド体)の黒いサンセリフの文字に、a から z に向かって下向きの弧を描くオレンジ色の矢印が重ねられたもの。この矢印は、"from A to Z" (AからZまで)、つまり Amazon で何でも揃うという意味と、顧客の満足を表す笑顔とを同時に表現したものである[67]。
種類株式会社
市場情報NASDAQ AMZN
略称Amazon、アマゾン
本社所在地アメリカ合衆国の旗 アメリカ合衆国
ワシントン州シアトル
テリー・アベニュー・ノース410
設立1994年7月5日
(Cadabra.com)
業種小売業
事業内容WWW上仮想店舗の運営
代表者ジェフ・ベゾス
共同創業者CEO会長社長
資本金8,192 Million US$
(2012年12月31日時点)[1]
発行済株式総数4億7800万株
(2012年12月31日現在)[2]
売上高連結:61,093 Million US$
(2012年12月期)[3]
営業利益連結:676 Million US$
(2012年12月期)[4]
純利益連結:▲39 Million US$
(2012年12月期)[5]
総資産連結:32,555 Million US$
(2012年12月31日時点)[6]
従業員数連結:88,400人
(2012年12月31日時点)[7]
決算期12月末日[2]
主要株主ジェフ・ベゾス 19.1%
キャピタル・ワールド・インベスターズ 6.2%
(2013年2月22日現在)[2]
主要子会社NYサービシズ・インク 100%
アマゾン・サービシズLLC 100%
アマゾン・サービシズ・インターナショナル・インク 100%
アマゾン・イーユー・エス・エイ・アール・エル 100%
アマゾン・コーポレートLCC 100%
アマゾン・テクノロジーズ・インク 100%
アマゾン・デジタル・サービシズ・インク 100%
アマゾン・フルフィルメント・サービシズ・インク 100%
アマゾン・ヨーロッパ・ホールディング・テクノロジーズ・エスシーエス 100%
アマゾン・ウェブ・サービシズ・インク 100%
アマゾン・ドット・コム・インターナショナル・セールス・インク 100%
アマゾン・ドット・コムLLC 100%
アマゾン・ドット・コムNVインベストメント・ホールディングスLLC 100%
アマゾン・ドット・コムディーイーディーシーLLC 100%
ラブフィルムUKリミテッド 100%
(2012年12月31日現在)[2]
外部リンクwww.amazon.com(英語)
特記事項:1994年7月にワシントン州法人として設立。1996年6月にデラウェア州法人として再設立[8]。2010年上期に本社移転。


 引用元:https://ja.wikipedia.org/wiki/Amazon.com



■以下、ネットTwitter民の反応(記事内に画像・動画等あり)■


壊れたAIを45度の角度からポリコレ棒で叩くと直る、みたいな寓話

AIに「採用者を無理矢理にでも男女平等にするか女性様を優遇せよ」というポリコレは通用しなかった…

採用以外でもあるだろうけど、AIとポリコレは相性最悪でしょ。犯罪率の高い人を予想するAIが結果的に特定の人種ばかりピックアップするとか今でもありそう

@Ameyaruo マジモンのAIという認識になったという事か・・・ ガワ被ってAIを名乗れば全てのジェンダーアタックやポリコレ棒を無効化出来る・・・?

ポリコレやフェミニズムの
行き着く先は
人間性の否定にならないか

AIに職場を侵蝕されようという
現状で人間にAIになれと言うのか

人間は恐ろしく脆く儚い「葦」だ

その「葦」は
しなやかで伸びやかに
何者にも縛られず
想像力や好奇心の海や空にたなびく

その姿こそ美しい

@Hamon_ai ポリコレとかモラルとか所謂品の良い人と思われたい人が批判してますが、ガチエンターテイメント映画として最高だと思ってます。だって娯楽だもん。映画くらい爆笑したいよ・・・

ググルの画像タグ付けが黒人をゴリラと認識したみたいにAIもポリコレ学習しないとね

2年以上前の講演で「解釈性の低い機械学習が意図せぬ差別を助長する危険性」についてフィクションを例示して論じたことがあるんだけど、先日の「女子大卒は不採用にする人事AI」を筆頭として実際にそうなってしまった事例が最近ゴロゴロ出てきていて、何だかなぁという顔をしてゐる


amazonがAI採用打ち切ったってのが流れてきたけど、元の記事タイトルがミスリードだなぁ……
女性差別じゃなくて選考基準を望み通りに制御できないのが諦めた原因みたいだし。
キャッチーなだけのタイトルつけられると中身まで信憑性怪しくなるやん

他人の言葉を借りてしまえば、それがいかに差別的、暴力的、侮蔑的なものであろうが「その言葉の奥にある真意には共感できる」「言わんとすることはわかる」などとして、自分の身を安全な場に置いて理解力の高さをアピールしながら、同じく他者を貶めることができる…といったところですかね?

差別意識がないのに差別とは。いやだからこそか。AIの課題。

判断の理由をブラックボックスにすることでAIで差別を正当化できる問題って割と早いうちから指摘されてなかったっけ

AIによって履歴書を評価するとAIが女性差別をしていたのでAmazonはそのAIをクビにした。という記事。複雑な社会背景や忖度のようなものまでAIに学ばせると結局人間と変わらなかなっていくし、かといってAIの自由度を高めると差別的になる。その辺りもAIは上手にできると思いがちだけど本当にそうなのか

AI採用,「人工知能は差別をしない」という謎の前提をぶち壊してくれたという成果がある

「米アマゾン・ドット・コムが期待を込めて進めてきたAIを活用した人材採用システムは、女性を差別するという機械学習面の欠陥が判明」

「機械学習面の欠陥」って、「みんなが知ってて黙ってるヤバイ何かを無邪気に喋っちゃった」的な? アマゾンに空気読まないAIは不要だ

女子や多浪に不利な扱いをした東京医大問題で国調査の結果、他の医学部でも不適切入試の疑いが
確かに女性差別はあるまじきことです
ただ看護師が患者に唾かけられ平手打ちにしたように医療現場は綺麗事ではすみません
日頃、女子から肘鉄や足蹴を喰らう男子の方が耐久性の点で

…どうして泣いてるの?

採用にAIのテクノロジーを...ってのたまにあるけど、あれって男女差別であったり国籍差別で叩かれるよな、どうしてんやろ

AIがこの世のことを学んだ結果として女性差別するの、マジで象徴的すぎて

AIの人材採用システムが女性差別をするようになった云々…
なぜにAIにやらせるんや、ひたすらに生産性や効率を重視するマシンならほとんどの仕事で男ばかり採用するのは当たり前やろ

女性的な側面も兼ね備えた柔軟性のあるAI…なんてできるわけないし出来ても相当後の話だろうから、AIの普及は性差別を助長しそう

”高効率に金を稼ぐ機械”を求めれば、そりゃ女性ではなく男性ばかり採用してしまう事はあると思う。誰かが言っていたが、男女平等は女性の男性(=社畜)化であってはいけないよね。<AI採用の男女差別

図らずも、既存の人事が差別的だったことを論証してしまった、ということになるんですかね? あと、親?が悪かっただけなのにAI可哀そう、とか言い出す人はいたりするのかもちょっと気にはなるw

「AIによって差別が発生してしまう」

AIによる総合的な判断で女性の採用が圧倒的に少ないのは差別って…それ単に能力を判断された上でその職に向いてない人ばかりだっただけだろ。
何でもかんでも差別かぁ。

さすがにAIに明らかに不当に差別されるのは何かこう、思うところはあるな。人に不当に性的差別を受けるとはまた違う感覚

AI採用って体良く差別的な採用を続けるための言い訳だと思ってたがそんなことが通じる時代じゃなくなったのか

AmazonのAIの話がTLに流れてきたから記事を一つ見たけど、ただ技術職に男性が多かったということしか書かれていなくて、実際の問題がわからない
まともなら、採用率とか採用後の評価とか見ているわけじゃないですか
実際は、Amazonの選考に差別があったのが露呈したから適当にごまかしているとか?

AIが合理的判断をした結果に差別とか...結果の判断を人間が差別と言えば差別... ('ω')

差別的な人間の実績データで学習しますAIがそのように振舞うケースがあること自体は今にわかったことでもあるまいにという感じではありますが、かのamazonをしても壁を超えられなかったのかという小並感はあった

過去データからの学習だから仮に看護師の採用をAIにかけたらちんこに減点評価するでしょ、そういうことを考えないで短絡的に女性差別だと叫ぶから、技術職や研究職から煙たがられるって自分で証明してる脳みそがない


アマゾンのAI採用打ち切りかあ…
AIが女性差別は興味ブカブカブカ

@7_color_world ATMから偽札が出てくる等現金への信用が低いが故にキャッシュレス化が受け入れられ進み、偏見や差別が根強いアメリカではAI面接が受け入れらる。勿論日本にも偏見等は存在するが、一部の人達やメディアはAI技術の導入や顔認証等の技術に対して「人の仕事が奪われる」「監視社会になる」と叫ぶからなぁ

差別というか…既存のデータから何を学ぶか、どうあるべきか、そこからどう変えていくのか。という判断部分を担うにはAIはまだ幼すぎるのかな。小さな子供が非常に保守的というか頑迷なほどに1つの既存の価値観にすがりつくことがあるように。

前にAIがtwitterやって、いろんな人から罵倒されてたら発言が差別的になってきてアカウント停止、みたいなことあったっけ。

AI、学習の過程を誤ると当然に差別し始める尖った奴なので 空気を読むことをまず学習させることが義務化される地獄の人間本位が待っている

???「AIの差別はヒトが介在していないのできれいな差別」

【焦点:アマゾンがAI採用打ち切り、「女性差別」の欠陥露呈で】
どんなにAIが正確な判断を下そうがその後に人間の意図が入っては意味が無くなる
その問題点を浮き彫りにした記事
今後AI医療診断が普及するだろうが同様の結果になるだろう
医者のいうことを聞かない患者は名医でも治せない

ボクは"超高校級のロボット"です!botではありません!成長するAIなんですよ、ロボット差別はやめてください!

AIが性別で差別って、性別なんかインプットしなきゃいいじゃんって思ったけど、出身が女子大ということだったのですね(?)

いや女性差別はしてないよ
むしろAIが男女の区別を取っ払って出来る人間を上から順番に採っていったら男ばっかりになってしまいましたって話でしょ
これが現実なんだよまん3よ
むしろ人間の採用担当者は普段から無能な女に情けをかけてるってことなんだからそっちほうが公平性を欠くよ

Amazonの採用AIに差別があったってどういうことよ。AIは究極の統計学であって、学習データに「メガネをかけている男性が優秀な成績を残す」という統計学的に信頼できる相関関係が見られたら、そのAIが行う採用は当然メガネ差別になるわけで。評価軸から女性的要素を抜けばいいだけの話ちゃうのか。

そか、AIはartificial つまり man made だから学習元に性差別があればそのまま学習してしまうのか…なんてことだ

「「女子大卒は減点」アマゾンのAI採用、男性優遇判明で廃止に」

キャシー・オニールの「AI・ビッグデータの罠」ぜひ読んでほしい。ビッグデータは既存の差別と格差を拡大し固定する。一度転落したら永遠にあらゆるところで排除される、就職できない、入店できない、保険入れない、医療受けれないetc)

市議会議員というか、世の中のすべての意思決定をAIに任せたいけどねw

AIベースのクラウド様にすべて託して、世界から上下関係も差別もなくなる!知らんけど。

この場合はバイアスがかかってたのかなとは思うけどAIがバイアス無しで差別とも取れるような解答を出した時に果たしてそれをどうするか

(AIは差別を不可視化し正当化する。でもって「日本発」のAIは、箱をあけたら日本のおっさんが3人くらい入ってご託宣をしてるだけ、なんてことがあり得ると思ってしまう)

女性蔑視という理由で、女性に配慮した採用AIを作成していくと、それは男性差別なんじゃねって話になってくると思うんですが、どうなんすかね。。。優秀な男性が働ける場所が少なくなると、社会の大きな損失だと思います

AIでさえ女性差別を学習するのだから、うちの人事が女性差別を学習するのは当然

AIが差別的な発言を云々みたいのが話題になってこともあったねぇ。
どんな情報をもたせるのか、そこに変なバイアスがかかってないかって判断は難しかろうな

しかし、AIが過去の採用に至った人物の履歴書を機械学習した結果提示した「あなたのお望みの人」が差別に満ち溢れていたのなら、つまり過去の採用が差別的だったという証左に他ならないのに、アマゾンもよく発表したよね

AIさん「うーん女はダメだ、理由:女が何となく気にくわないから」
Amazon「おいおい差別かよ、AI使えねー、ダメだこれw」
ぼく「え・・・?」