有害で悪質な数学破壊兵器のフィードバックループ／『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』キャシー・オニール

・『ビッグデータの正体　情報の産業革命が世界のすべてを変える』ビクター・マイヤー＝ショーンベルガー、ケネス・クキエ
・『データの見えざる手　ウエアラブルセンサが明かす人間・組織・社会の法則』矢野和男
・『パーソナルデータの衝撃　一生を丸裸にされる「情報経済」が始まった』城田真琴
・『マインド・ハッキング　あなたの感情を支配し行動を操るソーシャルメディア』クリストファー・ワイリー
・『無人の兵団　AI、ロボット、自律型兵器と未来の戦争』ポール・シャーレ
・『データ資本主義　ビッグデータがもたらす新しい経済』ビクター・マイヤー＝ショーンベルガー、トーマス・ランジ
・『アフターデジタル　オフラインのない時代に生き残る』藤井保文、尾原和啓

　・アルゴリズムという名の数学破壊兵器
　・有害で悪質な数学破壊兵器のフィードバックループ
　・オペレーションズ・リサーチの破壊力

・『AI監獄ウイグル』ジェフリー・ケイジ
・『快感回路　なぜ気持ちいいのかなぜやめられないのか』デイヴィッド・J・リンデン
・『もっと！　愛と創造、支配と進歩をもたらすドーパミンの最新脳科学』ダニエル・Z・リーバーマン、マイケル・E・ロング
・『新しい資本主義　希望の大国・日本の可能性』原丈人

・情報とアルゴリズム
・必読書リスト　その三

　本書で論じる数学破壊兵器の多くは、ワシントンDC学区の付加価値モデルも含めて、フィードバックがないまま有害な分析を続けている。自分勝手に「事実」を規定し、その事実を利用して、自分の出した結果を正当化する。このようなたぐいのモデルは自己永続的であり、きわめて破壊的だ。そして、そのようなモデルが世間にはあふれている。

【『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』キャシー・オニール：久保尚子〈くぼ・なおこ〉訳（インターシフト、2018年／原書、2016年）以下同】

・フィードバックとは／『進化しすぎた脳　中高生と語る〔大脳生理学〕の最前線』池谷裕二

　作成者の意図によって作られたモデルがアルゴリズムとなって走る。ここにおいてAIが為すのは単なる「振り分け」である。しかもビッグデータが示すのは相関性であって因果関係ではない。「相関関係が因果関係を超える」（『ビッグデータの正体　情報の産業革命が世界のすべてを変える』ビクター・マイヤー＝ショーンベルガー、ケネス・クキエ）こともあるが、因果関係を滅茶苦茶にする場合も出てくる。なぜならビッグデータはある種の擬似相関であるからだ。大袈裟に言ってしまえば答えが決まっていない連想ゲームみたいな代物だ。

　現在、ビジネスから刑務所まで、社会経済のあらゆる局面の細かな管理が、設計に不備のある数理モデルによって遂行されている。それらの数学破壊兵器には、ワシントンの公立学校でサラ・ウィソッキーのキャリアを狂わせた付加価値モデルと同じ特徴が多く備わっている。中身が不透明で、一切の疑念を許さず、説明責任を負わない。規模を拡大して運用されており、何百万人もの人々を対象に、選別し、標的を絞り、「最適化」するために使用されている。算出された結果と地に足の着いた現実とを混同することによって、有害で悪質な数学破壊兵器のフィードバックループを生み出しているものも多い。

　こうなると「業」（カルマ）と言っていいだろう。アルゴリズムは文明が織り成す業（ごう）なのだ。身口意（しんくい）から離れた業はモデル設計者が神となって下す恩寵と罰となって人々を分断する。信用スコアリングは貧富の固定化に寄与し、より貧困な者に鞭を振るう。合理が生んだ不合理を人類は取り除くことが可能だろうか？　AIやビッグデータがインフラストラクチャー化すれば、もう後戻りはできまい。

　人々を苦しめる一番の要因は、有害な悪循環を生むフィードバックループにある。すでに見てきたように、生まれ育った環境に基づいて受刑者をプロファイリングする判決モデルでは、判決そのものが受刑者を追い詰め、判決を正当化するような結果を招いている。この破壊的ループは延々と繰り返され、その過程でモデルはますます不公平になっていく。

　透明性と異議申し立ての担保が不可欠なのは言うまでもないが、ビッグテックのような民間企業に対してどこまで規制できるのかが不明である。彼らは法整備よりも遥か彼方にまで進んでいる。また潤沢な資金でロビー活動も活発に行っている。政治はマネーに支配され、人間はアルゴリズムに従う時代の到来だ。

　要約すると、不透明であること、規模拡大が可能であること、有害であること――この3つが数学破壊兵器の三大要素である。

　私は原子爆弾、銀行の決済システム、そしてインターネットが、現代のラッダイト運動を不可能にしてしまったと考えている。これは民主政の根幹に関わる問題なのだ。例えば米騒動を起こすことは可能だろう。だが同様の目論見で銀行へ行ったところで銀行に現金はそれほどない。また、どれほどの国民が武装蜂起したとしても原爆にはかなわない。パソコン上の重要な情報はクラウドにアップロードされ、いつでも別の場所でダウンロードできる。つまり何かを破壊することで国家を転覆させることはもう不可能なのだ。

「そのために選挙というシステムがあるのではないか？」という声が聞こえてきそうだが、かつての民主党があっさりとマニフェストを放り投げて地に落としてからというもの、選挙公約に意味はなくなった。自民党の派閥は政策集団ではなく選挙互助会に堕している。国民もまた政策など気にもかけていない。会社の指示や、テレビで見た印象、マスコミの煽り方であっちへ入れたりこっちへ入れたりしているだけである。自分の政治信条に合致した政党を支持しているのは左翼だけだ。公明党は例外で教団益（税務調査回避）を目指している。

　我々は既にデバイスなしで生きてゆくことは難しい。スマホの次はウェアラブルな端末となり、やがては人体にデバイスが埋め込まれる。人類は進化を遂げてロボットになるのだ。