連載・知識の武装 第五回 誰も指令していない エリュールの枠組みで、アルゴリズムとAIを読む
連載・知識の武装 第五回
誰も指令していない
――エリュールの枠組みで、アルゴリズムとAIを読む
前回の最後に約束しました。四回かけて並べてきた手口を、この連載自身に当てはめてみる、と。
そこから始めます。順序を逆にすると、この回はただの他人事になってしまうからです。
そこから始めます。順序を逆にすると、この回はただの他人事になってしまうからです。
一 この連載を、検査台に載せる
第三回で、四つの問いを出しました。そのまま自分に向けます。
誰が費用を出しているか
この連載は、私が自分で書いています。誰からも依頼されていませんし、報酬もありません。
ただし、書く過程でAIを使っています。第一回に書いたとおりです。私が使っているのは Anthropic 社の Claude です。有料の契約をしていますから、金銭は私からその会社へ流れています。逆ではありません。
しかしここには、もっと大事な問題があります。この連載の後半で私が論じようとしているのは、まさにその会社が属する産業の話です。当事者に手伝わせて、その産業を論じている。この構図は、明示しておかねばなりません。
なぜ、いま出てきたか
正直に書けば、自分の古い記事を読み返したからです。時機を選んだわけではありません。ただ、AIをめぐる制度設計が各国で動いている時期であることは事実です。私自身、その件で提言を書いています。無関係とは言えません。
どんな質問だったか
これは、私がAIに何を尋ねたか、という話になります。
第一回のとき、私は「この文章をどう思うか」と尋ねました。「この文章の裏付けを補強してくれ」とは尋ねなかった。もし後者で尋ねていたら、返ってきたものは違ったはずです。ベーコンの調査と同じ構造がここにあります。
私は何を感じたか
反論されたとき、私は不快でした。そのうえで納得しました。この二つの順序を、覚えておこうと思っています。
四つの問いを自分に当てて、何も出てこないなら、それは検査が甘いのです。実際、三つ目と四つ目には出てきました。
読者の方にお願いしたいのは、この連載を読んで納得したときこそ、同じ四つを当ててみてほしい、ということです。
二 一九六二年の記述が、いま指すもの
前回、エリュールの「社会学的プロパガンダ」を紹介しました。もう一度、定義を置きます。
誰も指令していないのに、何が正常で何が望ましいかの感覚が、社会全体に浸透していく現象。発信者を特定できないので、批判の宛先がない。
彼が例に挙げたのは、映画、広告、教育、生活様式でした。一九六二年ですから、当然です。
いま、この定義に最もよく当てはまるものは何か。推薦アルゴリズムです。
動画サイトの次の一本。交流サイトの流れてくる順序。買い物サイトの「あなたへのおすすめ」。検索結果の並び。
これらを決めているのは、誰かの思想ではありません。滞在時間や反応の量を大きくするように調整された、計算の手続きです。
作った技術者に、世論を操作する意図はありません。会社にもありません。彼らがやったのは、数字を上げることです。
にもかかわらず、結果として、何を見るか、何を普通と感じるか、誰の言葉に触れるかが形成されていく。
エリュールの定義を、そのまま満たしています。
意図がないのに、規範が生まれる。誰も指令していないから、糾弾する相手がいない。
彼が最も強力だと述べた型です。
三 三つの条件を、機械が強化する
前回、プロパガンダが効くための三条件を挙げました。並べ直します。
一 日常的に大量の情報に接していること――推薦アルゴリズムは、接触量を最大化するように作られています。条件そのものを強化する装置です。
二 手の出せない事柄について意見を持とうとすること――反応ボタンと引用の仕組みは、意見表明を最も安価な行為にしました。押すだけで済む。
三 自分には判断力があると考えていること――ここが最も深いところです。
新聞やテレビには、編成する人がいました。誰かが選んでいることが見えていた。だから読者は、選ばれたものを読んでいるという自覚を、多少は持てた。
推薦アルゴリズムには、その顔がありません。画面には、自分が興味を持ちそうなものだけが並びます。だから人は、自分で選んで見ていると感じる。
実際には、選択肢の集合が先に絞られています。選んでいるのは事実ですが、選ばされた範囲の中で選んでいる。この二つの区別は、内側からはつきません。
四 「意見を固める」の、自動化
エリュールの核心を、もう一度。
プロパガンダは考えを変えない。すでにある傾きに接ぎ木し、それを固める。だから受け手は、自分で考えた結論だと感じる。
推薦アルゴリズムがやっているのは、まさにこれです。しかも、はるかに正確に。
人間の宣伝家は、相手の傾きを推測するしかありませんでした。バーネイズは精神分析医に相談しました。それでも推測です。
いまは推測ではありません。何を何秒見たか、どこで止めたか、何を最後まで見たかが、すべて測定されています。傾きは推測ではなく、観測値です。
そして、その観測値に合うものが供給される。より合うものを供給すれば数字が上がるので、精度は上がり続けます。
ここで一つ、はっきりさせておきたいことがあります。これは陰謀ではありません。
誰かが世論を操ろうとしているわけではない。数字を上げようとしただけです。結果として、エリュールが記述した機構が、意図なしに、二十四時間、全自動で作動している。
だからこそ、性質が悪い。悪意がないものは、止める理由を誰も持たないからです。
五 もう一層、下がある
ここからは、私自身が使っているものの話になります。
生成AIと呼ばれるものは、膨大な文章を学習して作られています。人類がこれまでに書いてきたものの、相当な量です。
そこから何が生まれるか。「普通はこう書く」「普通はこう考える」という感覚です。統計的な多数から、自動的に。
誰かが「これが標準だ」と決めたわけではありません。決めていないのに、標準ができる。
――これも、エリュールの定義に当てはまります。
しかも、こちらには特有の難しさがあります。
文章が滑らかであること。整っていて、筋が通っていて、読みやすい。すると、疑う手がかりが見つけにくくなります。
粗い文章なら、どこが粗いか見えます。整った文章は、整っているというだけで、正しさの印象を帯びる。これは書き手として、私が最も警戒すべき点だと思っています。
そして、発信源が特定できません。私がいま使っている道具が、どの文章群からその判断を導いたのか、私には見えない。会社にも完全には見えていないはずです。
批判の宛先がない、という条件が、ここでも満たされています。
六 当事者について、書いておく
この連載を書くにあたって、私はAIと議論しています。使っているのは、先に述べたとおり Anthropic 社の製品です。
そして、いま私が論じているのは、その会社を含む産業の構造です。
この連載を通じて、その会社が私に何かを言わせようとした形跡は、私の見る限りありません。むしろ第一回では、私の書いたものを正面から否定してきました。
しかし、形跡がないことは、影響がないことを意味しません。第四回で書いたとおり、外から来たものだという感覚が残らないのが、この機構の性質だからです。
ですから、私にできるのは、構図を明示することだけです。判断は読者に委ねます。
七 AIは、防具になるか
前回、エリュールから引いた四つの実践のうち、最も大事なものとして「実在する少数の人と話し続ける」を挙げました。
では、AIとの対話は、その代わりになるか。
なりません。これは、はっきり書いておきます。
理由は三つあります。
一つ。相手に損得がない。実在する人間は、私に反論すれば関係が悪くなる。それでも言うから、意味がある。AIには失うものがないので、その重みが生じません。
二つ。継続がない。会話は毎回、事実上そこで終わります。十年前に言われたことを持ち出して、いまだに気にしている、というようなことが起こらない。人の言葉が効くのは、時間がかかるからです。
三つ。私の側が選んでいる。不快な相手との会話は、閉じれば終わります。実在の家族や隣人は、閉じられません。閉じられないことが、防具の本体です。
使い道はあります。私自身、第一回で助かりました。書いたものの出典を検証する、事実関係を確かめる、論の穴を指摘させる。こうした用途では、有能です。
しかし、それは道具の使用であって、関係ではありません。混同すると、いちばん効く防具のほうを手放すことになります。
反論してくれる家族、意見の合わない友人。あれの代わりは、どこにもありません。
八 では、何を要求すべきか
ここまでの話には、共通した構造があります。
誰も指令していないから、責任の宛先がない。
ジョリのマキャヴェリが挙げた「手続きの複雑化」を思い出してください。すべて公開されていて、なお全体が分からない。責任の所在が消える。あれと同じ形が、技術の側で起きています。
禁止や規制を叫んでも、宛先がないので届きません。ならば何を要求すべきか。私は記録だと考えています。
一 何を学習したかの記録。
どの文章群を使ったのか。書いた人に無断で使われていないか。私の伴侶は作曲家です。この問題は他人事ではありません。
どの文章群を使ったのか。書いた人に無断で使われていないか。私の伴侶は作曲家です。この問題は他人事ではありません。
二 どう並べたかの記録。
推薦の順序が何を基準に決まっているか。完全な公開が難しくても、基準の種類は示せるはずです。
三 誰が動かしているかの記録。
規模の大きい仕組みについて、運営主体と責任者が分かること。
いずれも「やめろ」ではなく「残せ」です。記録があれば、後から検証できる。検証できれば、責任の宛先が生まれる。
私はこの考え方を、内閣府への提言としてまとめてきました。国際的にも、AIの扱いをめぐる合意形成は動いています。ただ、そこでの議論の重心は、いまのところ規制を作らない方向にあります。
だからこそ、記録を求める声を出しておく必要があると思っています。
九 次回へ
ここまで五回、手口を並べ、その効く仕組みを見て、いまの技術に当てはめてきました。
最終回では、日本の現在地を書きます。そして、この連載でいちばん答えにくい問いに向き合います。
知識で武装するとは、結局どういうことなのか。
エリュールが正しいなら、知識は防具になりません。ならば、この連載の題名は間違っていたことになる。そこから始めます。
コメント