テロリストに誤認、自動運転の機能不全…危険もはらむ「アルゴリズム」に人の意思決定をどこまで任せられるのか？

　たとえば健康情報をネットで検索するとFacebookにやたら健康食品の広告が表示されるようになったり、Amazonで何かを買い物すると「あなたへのおすすめ」と関連商品をおすすめされたり…ネットと切り離せない暮らしの中では、こんなことはもはやありふれた光景だ。最初こそ「え？ なんでそんなに知ってるの？」と違和感を覚えたかもしれないが、いつのまにか慣れてしまった方も多いだろう。こうした状況は、私たちがネットに提供した情報（住所や性別、年齢、購買履歴）をもとに「アルゴリズム」が提供するものだ。

　アルゴリズムと人間の関わりを考える『アルゴリズムの時代　機械が決定する世界をどう生きるか』（ハンナ・フライ：著、森嶋マリ：訳/文藝春秋）によれば、アルゴリズムとは「主にコンピュータによって問題を解決するため、あるいは、なんらかの目的を達成するための、段階をおった手順」のこと（姿は見えないが、コンピュータが思考するための「無数のコードの羅列」をイメージするといいだろう）。顔認証システムもカーナビもアルゴリズムであり、このほかにも我々の暮らしをあらゆるところから支えてくれている頼もしい存在だ。

　とはいえ100％任せていいのだろうか？　イギリスの気鋭の数学者の書いた本書が問題にするのは、まさにこの部分だ。どうも我々は、アルゴリズムが出した結論は「データにもとづく客観的で正しいもの」と受け止め、人間の判断に勝ると思いがちなところがあるという。だがアルゴリズムも機械である以上エラーはつきものだ（しかもアルゴリズムが何を判断基準にしているかを人間が完全に把握できているわけでもないという）。だからといって、すでに暮らしの多くの部分をアルゴリズムに依存している中では「アルゴリズムはこわい」と否定するばかりでも意味がなく、むしろうまく共存することが大事――そうメッセージする本書は、アルゴリズムの危うさを浮き彫りにすることで、その存在に自覚的になることを促していく。

アルゴリズムも偏見を持つ!?

　フロリダ州の被告人7000人以上に対してCOMPAS（再犯リスク評価アルゴリズム）の予測が当たっていたのかを調査したところ、予測のもととなる要素に人種は含まれていないはずなのに、結果には人種による偏りがあることがわかった。被告人が初犯の場合、黒人は再犯リスクが2倍高く予想され、白人は逆に2倍低く予想されていたのだ。世論は騒然となったが、この結果は数学的には不可避であると著者。参照する過去のデータではどうしてもアフリカ系アメリカ人の割合が多くなっており、すべての人種が同じ割合で逮捕されない限りこうした偏りはどうしても出てしまうのだ。

自動運転に頼りきるのはNG

　現在急ピッチで開発が進む自動車の自動運転機能だが、まだまだ課題は多く完全にアルゴリズムに運転を任せられる未来は遠い。一方ですでに自動操縦は実用化されている航空機だが、想定範囲外のトラブルに見舞われた途端にアルゴリズムは機能不全に陥るため、人間のフォローが欠かせない。といっても自動操縦が当たり前になれば「未熟なまま」キャリアを積むパイロットという危険因子が放置されるし、とっさの対応にも限界がある。まさに2009年に起きたエールフランスのエアバスA330の墜落事故は、突然のエラーにパニックを起こした経験の浅い副操縦士のミスを、ベテラン機長が瞬時に見抜けなかったことで起きた不幸だった。

テロリストに誤認され入国禁止に

　米国在住のマレーシア人の建築家はアルゴリズムにテロリストと誤認定され、ハワイへの国際会議に出席しようと飛行場にいったら搭乗拒否を受け、手錠をかけられて連行された。なんとか疑いを晴らし出国するも帰国便でまたもや搭乗拒否。滞在ビザも無効にされてしまい、裁判の結果アメリカに戻ることができたのは10年後だった。原因はFBIの職員が彼女の所属する建築団体を名前の似ているテロ組織と見誤って登録したこと。ほんの小さな入力ミスであっても、アルゴリズムを「絶対」と考える価値観の中では結果を覆すのは容易ではない。

　上記はほんの一例だが、このようなアルゴリズムの「限界」を冷静に自覚しておくのは大事なことだろう。アルゴリズムには何ができて何ができないのか。時に人間を超えるすばらしい能力を発揮するアルゴリズムの恩恵を正しく受けるためにも、こうした見識は必須だ。ビジネスマンはもとより、現代を生きる多くの人にとって、より上手に時代を渡り歩くためにも読んでおきたい一冊だ。

文＝荒井理恵