「AIに仕事を奪われる」というような記事が週刊誌などに盛んに特集されはじめたのはほんの数年前のことだが、すでにAIはいたるところで活用が始まっている。

　AIの進歩の背景にはビッグデータがある。今やなんでもインターネットやシステムにつながっているので、莫大なデータを自動で集めることができる。これがいわゆるビッグデータで、これをAIに読み込ませれば、AIは自動でデータ解析（深層学習やディープラーニングとよばれるもの）をし、さまざまな法則を見出し、答えを出してくれる。

　なぜAIがこのような答えを出すのか、それはほんの一握りの、高度な知識や技術を持つ人にしかわからない。とにかく、AIは、人間は到底及ぶことができない高速の計算処理によって、しかも人間のように見落としたり偏ったりすることなく、データを解析する。そう、機械だから結果は平等で公平なはずだ、と思っていた。この本を読むまでは。

『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』（キャシー・オニール/インターシフト）は、SFのような、AIが暴走して人を襲うというような話ではない。AIによって社会がルールづけられ、貧富の差がさらに拡大するような悪循環が生まれることを懸念し警告している。

　著者のキャシー・オニール氏は、データサイエンティストだ。ハーバード大学で数学の博士号を取得し、バーナードカレッジ教授を経て、金融、eコマースなどの分野を渡り歩いた数学の専門家である。

　AIは自動で学習するとはいえ、ベースは数理モデルだ。つまり、データをどのように扱うべきかがモデル化されている。そのモデルを作成するのは人間である。そして、人間は過ちを犯す生き物だ。作り手の先入観、誤解、バイアス（偏見）は自然と入り込み、影響を与える。厄介なのは、こうした数理モデルは実体が見えにくく、どのような仕組みで動いているのかがわからない。だから、モデルによって審判が下されれば、私たちは抵抗することも抗議することもできない。

　たとえばアメリカでは、銀行からお金を借りようとすれば、個人の支払い能力よりも、教会通いや家族、職場の評判、人種で判断されていた時代があった。日曜に礼拝に来ないから、白人でないから、女性だから、という理由で締め出される人々がいた。

　さて、今はどうだろう。インターネット上で人々の信用度は、どのように予測されるのか。郵便番号、ネットサーフィン時の閲覧パターンから最近の購入履歴にいたるまで、寄せ集めにすぎないデータを統計学者と数学者が考えつく限りの方法でまとめ上げ、日々、集計している。そして、私たち一人ひとりに、いわゆる「eスコア」を付けている。eスコアによって格付けがされ、コールセンターのオペレーターにつがなる確率や、ローンの金利が変わる、というようなことが起きている。

　ｅスコアのポイントは、人の信用度を計るのに直接的なデータではなく、代理データを用いている点だ。個人として精査するのを避け、人々をグルーピングし、「あなたに似ている人々」に関する計算をひたすら行う。そして、「似た人々」が借金を踏み倒していたり、犯罪者であったりすれば、あなたも「そういう人」として扱われる。

　つまり、ｅスコアのモデル作成者は、「あなたは、過去にどのような行動を取りましたか？」と質問すべき時に、質問をすり替えて、「あなたと似た人々は、過去にどのような行動を取りましたか？」という質問の答えを探し出してごまかそうとしている。

　ただし、統計学の世界では、代理データは役に立つ存在だ。確かに、似た者同士は同じような行動を取ることが多い。だから、このような統計モデルは、見かけ上は有用であることが多い。だがしかし、それなら生まれや境遇によって、あなたの信用度はほとんど決まってしまうことになる。それに、誤って分類された場合はどうなるのか。そういうことは必ず起きるが、その間違いを正すフィードバックは存在しない。

　本書には、他にも教育や仕事や政治にいたるまで、豊富な事例と問題点があげられている。事例はアメリカのものであり、現状の日本はここまでではないだろうが、すぐに同じ状況になるかもしれない。誤ったモデルによるAIによって人々が格付けされ、それが絶対になる。信用度が低い底辺に位置づけられる人々から教育や就職などのチャンスを奪い去り、富む者はさらに優遇される。そして、一度格付けされてしまうと、それを覆すのは非常に困難となってしまう世の中。社会をそんな方向に進ませないためには、多くの人が問題を認識することがまずは大事ではないかと思う。

　本書は、数学者が書いてはいるが、平易な表現でひじょうにわかりやすい。今後、AIやビッグデータと社会を切り離しては成り立たたないからこそ、本書の指摘は誰にでもふりかかる問題といえるだろう。ぜひ一読をおすすめしたい。

文＝高橋輝実