引き続きあれなんですが、ＡＩを使って今軍事目的でドローンで飛ばして攻撃していると、当然そのプログラムはこの目標に向かって行きなさいといって出すわけですけど、それを何らかの形で違う方向へ持っていくということもできるわけですよね。じゃ、それがブラックボックス化されて、今言うように勝手に、インプットは、我が国のために、平和を守るために君たちは頑張るんだぞというインプットであったと、ところが、それが何か違う意図せぬ国のところに例えば飛んでいったと。でも、それはＡＩからすると、いやいや、自分たちの国を守るためにそこを攻撃したんだみたいなことも起こり得るという、そういう理解でもいいですか。
大島九州男 (れいわ新選組)
2025年5月22日・第217回国会 参議院 内閣委員会 第16号（外部サイト、新しいタブで開きます） の 110 番目の発言（外部サイト、新しいタブで開きます）（全 116 発言）
前後のやりとり
コンピューター自体は、あるいはＡＩというプログラム自体は、その書かれたとおりにしか動きません。
問題は、我々人間がこう動いてほしいなという思いをプログラムという形で記述するわけですが、そこがパーフェクトではないということですね。つまり、いわゆるバグという問題が起きて、それはコンピューターの誤動作だというふうに我々はつい表現してしまうのですが、プログラムは正常に動作しているんです。人間の表現が間違えたのですね。そのような問題はＡＩについても常に起こり得ます。
108
大島九州男(れいわ)済みません、何かちょっと我々も素人であれなんですけど、ブラックボックス化っておっしゃったですよね、先ほど。何でそれが出たか分からないというような、だから、自分たちはこういうふうな意図でインプットしたんだけど、こういう答えが出てくるというのはちょっと理解に苦しむなというのは、勝手にその人工知能がそこで何か違う思考というか違うものを取り入れてやっていると、そういう認識でいいんですかね、そのブラックボックスというのは。大屋さん。
基本的にはそのようなことでいいと思います。 囲碁の場合のＡＩがまさにそうだったのですが、ルールを与えているわけですね。こういうルールで勝ち負けを判定しますよと。それはＡＩにトライアル・アンド・エラーを自動的に何度も何度もやらせたわけであります。そうすると、これまでの人間のいわゆる定石では発見されていない手法というのが発見されたというようなことがございました。この場合は、基準を与えていて、基準に対して最適化しなさいよという人間の意図は伝わっているわけですね。ただ、それはきっとこういう動作になるであろうなという我々の予想とは違う結果が出ていたわけであります…
- （上の発言）
110
大島九州男(れいわ)引き続きあれなんですが、ＡＩを使って今軍事目的でドローンで飛ばして攻撃していると、当然そのプログラムはこの目標に向かって行きなさいといって出すわけですけど、それを何らかの形で違う方向へ持っていくということもできるわけですよね。じゃ、それがブラックボックス化されて、今言うように勝手に、インプットは、我が国のために、平和を守るために君たちは頑張るんだぞというインプットであったと、ところが、それが何か違う意図せぬ国のところに例えば飛んでいったと。でも、それはＡＩからすると、いやいや、自分たちの国を守るためにそこを攻撃したんだみたいなことも起こり得るという、そういう理解でもいいですか。
二つの事案があろうかと思います。 一つは、おっしゃった例の一つは、サイバー攻撃があったようなケースで、本来学習させたもの、あるいは利活用者が意図していたのとは違う目的が勝手に注入されたと、こういう形でのアタックを受けることによってシステムが乗っ取られる危険というのは当然ございます。これについては、したがって、結果をちゃんと検証して、ドローンの場合であれば、多分違った方向に行ったのが目に見えますので、その時点でシステムをシャットダウンして、安全回復、安全確保措置を講じるみたいなことが要請されることになります。 それとは別に、先ほどのバグと同じなのですが…
112
大島九州男(れいわ)ということは、まとめますと、生命を危険に冒すような機械というかそういうものにＡＩを今使ってやっていくというのは時期尚早であるし、安全性がまだ確保されていないので、それは慎重というよりはやめた方がいいですよという、そういう認識でいいですか。
安全確保措置が十分に講じられていれば大丈夫だし、そうでなければいけないというのがお答えになろうかと思います。 一例として申し上げますと、医療に用いられるＡＩ診断ですね、診断機器にＡＩを組み込んだ場合に、それがちゃんと動作しているし期待どおりだよなということは常に医師が点検して、その上でないと実際の医療行為につながらないようになっております。 このような形で、能力のある人がちゃんと監査した上でということであれば生命のようなものについても利用可能だと思いますし、何かインターネット上でいきなりＡＩ病気診断システムが動き始めるというような事態は避けた方がよろ…