1. 概要: このページについて
2. 情報源の問題
3. 生成 AI はまだまだ不完全
4. 生成 AI を「正しく」使おうとする取り組み
5. AI の答えが「正しい」ことになっていくだろう

概要: このページについて

このページは、ある研究者の方からの寄稿記事に、Ultrabem 管理人がリンク追加などの形式上の手直しをしたものです。管理人はオープンソース指向なので、生成 AI も積極的に使っていく派ですが、「現在のレベルでは科学論文の質が低下する」という点にはこの記事と同じく強い懸念を抱いているので、掲載させて頂くこととしました。

2023 年、ChatGPT に代表される生成 AI がブレイクした。これが社会に及ぼす影響については多くの議論がなされているが、私は生成 AI がもたらす未来に非常に悲観的である。自分の仕事である研究が、今後つまらないものになっていくだろうな、余計なものを発明しやがって という意見である。

このページでは、ChatGPT のような大規模言語モデル (large languadge model, LLM) のみを対象としている。機械学習アルゴリズムは私も研究で使っているし、これは価値のある技術だと思う。

また、生成 AI の一種である DALL E 3 のような画像生成 AI はこのページでは対象としていないが、LLM とほぼ同じ問題点がある技術であり、当てはまる内容が多くなるだろう。

LLM を含む生成 AI の発展は今後も加速していくことと思われるので、このページは単なる愚痴のようなものである。自分の悲観的な予想が外れて、生成 AI が世の中を豊かにしていってくれることを願う。

情報源の問題

本題とは関係が薄いのだが、LLM の情報源に関する問題点についてまず触れておく。

LLM は、ウェブページ、書籍、学術論文などのテキストデータを情報源として学習し、それに基づいてテキストを出力する。

Perplexity のように情報源のリンクを示す LLM もあるが、これにしても数個しか表示しないし、ChatGPT に至っては「私は広範な一般的な知識を提供できますが、特定の情報源や出典を特定することはできません」と開き直るらしい (1)。

これは他人の努力にタダ乗りしているわけで、ウェブページや論文などの情報を作り出している側としては納得いかない。実際に、LLM の提供元は数多くの訴訟を起こされている。

• 2023 年 12 月、米紙ニューヨーク・タイムズが OpenAI および同社と提携するマイクロソフトを著作権侵害で提訴 (2)。有料コンテンツがそのまま ChatGPT で出てくる例、広告クリックの機会損失など。被害総額の見積もりは数十億ドル。
• 画像生成 AI の StableDiffusion と Midjourney は、アメリカの画家らから集団訴訟を起こされている (3)。

この一点だけでも、生成 AI に反対するのに十分な理由である。

生成 AI はまだまだ不完全

LLM は、この記事を書いている 2024 年春の段階では、まだまだ不完全である。

個人的には、プログラミングや報告書などの「型」のある文書を作る目的ではそこそこ役に立つと思っている。ただし、プログラミングでは間違ったコードを提供されることも多いので、LLM の答えを検証できる技術がないと危険。

一方で、LLM は論文書きにはあまり役に立たない。出てくる情報も間違いが多いし、せいぜい文法チェックや参考文献探しに使えるぐらいで、それも Google Scholar などのデータベースをサーチした方が質の高い情報が得られるように思う。

「生成 AI で論文作成！」みたいなのをよく見かけるようになった。あまり詳しく見たことはないのだが、正直言ってどのレベルの英文を目指しているのか疑問である。症例報告とかだったら、論理構築とかはあまり必要なさそうなので十分なのかもしれないが。

生成 AI を「正しく」使おうとする取り組み

これまでの LLM なしで勉強してきた人間 (つまり主に中高年世代) は、LLM を過信していないし、出力されるテキストを批判的に読むことができると期待される。

気づいたら身の回りに LLM がある世代は、LLM に対して違う認識を持つだろうことは想像に難くない。これに危機感を覚えた中高年が、LLM を「正しく」使う方法をいろいろと考案している。

• 東大ガイドライン: 授業などでの使用を一律に禁止はしない。「課題の目的、学生にとっての達成目標、成長目標を学生に伝える。得られた結果ではなく解答を得る過程が重要であることを説く」など、学生の成長モチベーションに依存した対策もあり、要するに教員に丸投げに近い。
• 秋田大など、教員の許可なくリポート課題や試験の解答に使用することは禁止としている大学も (4)。

教員側としては、東大のように丸投げされるのが一番やりやすくはある。ただし、重要な評価方法の一つであったレポートという形式を LLM がぶち壊してくれたので、影響はでかい。

同じく東大のガイドラインから。「レポートを執筆する際に学生同士や学生と教員が議論をし、その中で適切な質問・対話を行うことも、重要な学習過程です。このような人間同士の討議や対話の重要性がこれからも失われることはないと思います」。人間同士の討議で間違いを指摘したらアカハラにされかねない御時世。教育をしにくくなったのは多くの教員が感じていることだと思うが、LLM はそれに拍車をかけていると言ってよいだろう。

AI の答えが「正しい」ことになっていくだろう

大学教員の涙ぐましい努力があっても、そこに便利なものがあるのだから、たぶん学生は LLM をレポートに使うし、LLM が出力する文章を信じる人が一定数出てくるだろう。

Wikipedia が出てきたとき、私は「あんな誰が書いたかわからんものを信用できるか」と思っていたのだが、いまでは「まあ多分正しい情報だろう」授業中にさっと検索して見せるようになってしまった。LLM にも同じことが起こり、そのうち LLM で出力される答えが「正しい」時代が来てしまう のではないかと考えている。「悪貨が良貨を駆逐する」状態である。

今はちょっと見つからなかったが、ネット記事で「ChapGPT もこう言っていた」みたいな感じで自説を補強していた記事を見たことがある。読んだときは「もうここまで来たか」とショックだった。

研究、とくに論文書きについても、同じ未来が予想される。

たとえば統計でも、明らかに間違っているのに、著者も査読者もそれを知らないで出版されてしまっている論文がある。論文の数がとにかく増えているので、どうにも止められない。たぶん同じような感じで、LLM の助けを借りた論文がとにかく増えてくるだろう。

私は文献を調べながら書いていく作業というのがそもそも好きなので、この流れは気に入らない。例えば自分のスキルが 100 点満点中 80 点ぐらいだとすると、LLM が60点ぐらいの論文を連発するようになり、それがスタンダードになってしまうと予想している。つまり全体のレベルが下がって、美しく論理的な文章を「良い」と思わない人が増えてくるはず。

現時点での結論。LLM は、研究・教育という自分の仕事を労多くつまらないものにしてくれた。悲しいことだが、今後、この状況が改善していく可能性がみえない。行き着くところは 火の鳥 未来編 (Amazon link) だろう。

References

1. 【ChatGPT無】情報源はどこ？ Link: Last access 2024/04/22.
2. BBC ニュースジャパン. 米紙ニューヨーク・タイムズがオープンAIとマイクロソフトを提訴　著作権侵害で Link: Last access 2024/04/22.
3. 画像生成AI「Stable Diffusion」と「Midjourney」に対する集団訴訟でイギリスの写真家が団結呼びかけ. Link: Last access 2024/04/22.
4. チャットＧＰＴなど生成ＡＩ、試験やリポート作成で「許可なく使用禁止」…秋田大や国際教養大. Link: Last access 2024/04/22.

コメント欄

サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。

↑