「LLM入門１：しくみから学ぶ生成AIの基礎」下田昌平（Kindleペーパーバック　2025）

この本の正式名称は、「LLM入門：しくみから学ぶ生成AIの基礎: “使うだけ”から卒業するための、易しいけど深く言語モデルを探求する本 LLMマスターシリーズ」のようです。また、Kindleペーパーバック、というのは、AmazonでKindleとペーパーバックを同時出版する方法だそうです。

生成AI

2022年、すごいことが起きました。OpenAIによる対話型AI“ChatGPT”が発表されたのです。いわゆる生成AIです。端末から質問すると、非常に自然な日本語（あるいは任意の言語で）で答えてくれるようになりました。当初、質問に対する答えはイマイチ、特に質問の仕方が下手だと残念な答えにもなりましたが、何より驚いたのは自然な日本語でした。そして、今、その品質、分野において大変な改善拡大を続けています。

この自然言語処理（NLP：Natural Language Processing）には、LLMという技術が中核にあるようです。LLMとはLarge Language Modelsの略で、大規模言語モデルと呼ばれます、大量のテキストデータと高度なNN技術、ディープラーニングを用いて構築されています。

LLM入門　全5巻に何が書いてある、第1巻には何が書いてある

今、日常的に使っているChatGPTやCopiot等などが何故これほど高い性能を持っているのか、あるいはある時期に何故急に性能が上がったのか、とても不思議です。LLMとはどんな技術なのか、どのように進歩したのか、とても興味あります。そこで、下田昌平氏の「LLM入門」を覗いてみました。これは5巻シリーズになっており、最初の巻の「はじめに」には以下のように書かれています。

本書では、LLMの基本的な仕組み、学習プロセス、代表的なモデルの構造、実際の活用方法に至るまでを、できる限りわかりやすく整理・解説していきます。数学やアルゴリズムへの理解を深めながら、「LLMをどう活かすか」を考えるための技術的視座を提供することが、本書の目的です。

第1巻は、「LLMの基本的な仕組み」を記述してある巻で、LLMの歴史や、何故これほど自然な自然言語処理ができるのか、などについて書いてあります。

LLMの技術的内容については、トレーニングに関わる重要な事柄、学習データの質とバイアスのお話、予測、誤差、バックプロパゲーション、を繰り返し学習するという基本的動作などの説明があります。ただし、NN、LLM等のアルゴリズム、あるいは数学的な記述はなく、次の巻以降に現れるものと思われます。

第1巻を読みましたが、なかなか分かりやすい良い本です。この本で、LLMの基本的な事柄にふれることができました。また、アテンションメカニズムやトランスフォーマーが重要な技術であることもわかりました。もう少し知識を増やすため、次巻も覗いてみようと思います。