ライフスタイル
ニューラルネットワーク(Neural Network)とは:層と重みから成り、データから学習する関数
ニューラルネットワークは、単純なユニットを多層に組み合わせた関数です。各ユニットは重み付き和を計算し、多くの場合は非線形変換を加え、重みはデータから調整します。二つのスイッチで廊下の照明を操作する手計算の例で、順伝播、損失、逆伝播、勾配降下法を説明し、学習と推論を区別します。さらに、パラメータ数、ニューロン数、能力の違いと、深層学習や Transformer との関係を整理します。
読了目安 12 分

目次
ニューラルネットワークは機械学習機械学習(Machine Learning)とは機械学習はデータを通じてモデルを調整し、未知の入力に対する予測やコンテンツ生成を可能にします。本記事では、朝食店の仕込み量の予測を例に、特徴量、ラベル、訓練、テストがどう連携するかを説明し、教師あり学習、教師なし学習、強化学習を区別したうえで、データ漏洩、過学習、環境変化の影響を解説します。読み終えると、モデルにテストデータの取り分けが必要な理由を理解でき、具体的な問いを通じて、一見精度の高い予測を信頼してよいか判断できます。記事全文を読むにおけるモデルの一種です。入力を層ごとに出力へ変換し、各ユニットはまず重み付き和を計算して、通常はさらに非線形変換を行います。ネットワークに何ができるかは、重みと呼ばれる一組の数値で決まります。これらの数値は人が一つずつ書き込むのではなく、データを使って繰り返し調整するものです。
この記事では「二つのスイッチで一つの照明を操作する」という小さな課題を使い、順伝播と重みの一回の更新を手計算します。学習と利用がなぜ別の段階なのかを説明し、生物のニューロンという比喩がどこまでのものかも示します。例の数値は手計算用の教材として設定したもので、実際に学習させたものではありません。
ユニットが行うのは重み付き和と変換の二つだけ
Google の機械学習用語集によると、ニューロンの処理は二段階です。各入力に重みを掛けて足し合わせ、その合計を活性化関数(activation function、賦活関数とも呼ばれます)に渡します。バイアスも、学習によって決まる定数です。ユニットは層を構成します。入力層、出力層、そしてその間に挟まれ、値を直接外部に出さない隠れ層です。
生物のニューロンという比喩は、適切に位置づける必要があります。Rosenblatt はパーセプトロン(perceptron)を仮想的な神経系または機械と説明しました。特定の生物では未解明であることも多い条件に深入りせず、知能システムの基本的性質を説明するのが目的です。一方、Google の用語集では、このユニットは脳内のニューロンの挙動を「模倣する」としています。ただし、双方が示す動作の定義は、合計した後に変換するというものにすぎません。本物のニューロンに似ているかどうかは神経科学の証拠で答えるべき問題であり、ここでは名称の由来としてのみ扱います。
パーセプトロンから多層ネットワークへ:中間層は学習するのか
Rosenblatt のパーセプトロンは、報酬と罰によってユニットの「値」を調整します。本人も、刺激同士の関係を識別することは極めて難しくなるという限界を記しています。Rumelhart らは、パーセプトロンの中間層の結合はあらかじめ固定されており、学習する隠れユニットには当たらないと指摘しました。彼らの逆伝播法は、必要な特徴を隠れユニット自身が学べるようにしました。LeCun らによると、この方法は 1970 から 1980 年代にかけて、複数のグループがそれぞれ独立に発見しています。
なぜ非線形変換が必要なのか
Google の教材では、隠れ層を追加しても、ユニットが重み付き和しか計算しなければ、ネットワーク全体は線形のままだと示されています。線形な処理を重ねても線形なので、層を増やしても非線形な関係は学べません。そのため、隠れ層のユニットには非線形の活性化関数を続けます。出力層にも使うかどうかは課題次第で、以下の例では使いません。
よく使われるのは sigmoid、tanh、ReLU です。ReLU は入力が 0 より小さければ 0 を出力し、それ以外は入力をそのまま出力します。LeCun らは 2015 年に、多層ネットワークでは ReLU のほうが通常は学習が速いと記しており、Google の教材も現在まで、まず ReLU を試すことを勧めています。Cybenko(1989)は、単一の隠れ層と有限個のユニットを持ち、連続なシグモイド型の非線形関数を使うフィードフォワードネットワークが、単位超立方体上の連続関数を任意の精度で近似できることを証明しました。これは「表現できる」ということであり、学習でそれを見つけられるかは別問題です。
例:二つのスイッチで一つの照明を操作する
例(未実測、手計算):廊下の両端にスイッチ a と b があり、上向きを 1、下向きを 0 とします。ちょうど片方だけが上向きのときに点灯します。(1,0) と (0,1) では 1、(0,0) と (1,1) では 0 を出力する必要があります。重み付き和を計算して閾値と比較するだけの単一ユニットでは実現できません。点灯すべき二つの組み合わせを足し合わせ、消灯すべき二つの組み合わせを足し合わせると、互いに矛盾する不等式が得られるからです。
ネットワークは 2 個の入力、2 個の隠れニューロン、1 個の出力で構成し、パラメータは計 9 個です。重みは手で選びます。一つ目の隠れニューロンの重みは 1、1、バイアスは 0。二つ目の重みは 1、1、バイアスは −1 で、どちらも ReLU を使います。出力の重みは 1 と −2、バイアスは 0 とし、活性化関数は使いません。
- (0,0):隠れ層の値は 0 と 0、出力は 0 で消灯。
- (1,0) または (0,1):隠れ層の値は 1 と 0、出力は 1 で点灯。
- (1,1):隠れ層の値は 2 と 1、出力は 2 − 2 = 0 で消灯。
この重みは手で選んだものです。実際の学習はランダムな重みから始まり、答えとなる組み合わせも一つだけではありません。
学習:損失、逆伝播、勾配降下法
学習では次の四つの手順を繰り返します。
- 順伝播:現在の重みを使って予測を計算します。
- 損失:予測が正解からどれだけ離れているかを測ります。Rumelhart らは E = ½ ΣΣ (y − d)² を使い、各サンプルの各出力について足し合わせています。y は出力、d は目標値です。
- 逆伝播:連鎖律を使って出力から逆向きに計算し、各重みを少し変えたときに損失がどれだけ増減するか(勾配)を求めます。平たくいえば、誤差に対して各重みがどれだけの責任を負うかを調べることです。
- 勾配降下法:勾配と反対方向に重みを少し動かします。その幅を決めるのが学習率で、人が設定するハイパーパラメータです。
先ほどの例の続きです(例、手計算)。隠れ層は変えず、出力層の重みがまだ十分に調整されておらず、1 と −1.2、バイアスが 0 だとします。入力が (1,1) のとき、隠れ層の値は 2 と 1、出力は 0.8、目標値は 0 なので、損失は 0.32 です。出力に対する損失の変化率は 0.8 です。これにそれぞれ対応する隠れ層の値を掛けると、二つの重みの勾配は 1.6 と 0.8、バイアスの勾配は 0.8 になります。計算を簡単にするため、この一回では出力層だけを変えます。学習率を 0.1 とすると、重みは 0.84 と −1.28、バイアスは −0.08 となり、出力は 0.32 に下がります。実際の学習では、隠れ層の重みも同じステップで更新します。誤差に出力の重みを掛け、ReLU が働いているかを確認しながら、順々に逆向きに伝えます。これが「逆伝播」です。隠れ層も一緒に変えると、計算結果はここでの数値とは異なります。
ただし、この一回の更新はほかの入力にも影響します。(0,1) の出力はもともと 1 でしたが、出力層だけを変えた後は 0.76 になります。重みはすべての入力で共有されるため、一件に合わせて変えるとほかのデータにも影響します。そのため、一群のサンプルの平均勾配を使い、小さな更新を何周も繰り返す必要があります。LeCun らが述べる確率的勾配降下法では、毎回少数のサンプルだけを使って勾配を推定します。
学習が終わると重みを固定し、利用時には順伝播だけを行い、損失の計算も重みの変更もしません。Google の用語集では、学習は重みを決めることであり、推論推論(Inference)とは:モデルの学習後、回答するたびに行われる計算推論は、学習済みのモデルで新しい入力を処理し、出力を生成する過程で、この段階では重みは固定されています。言語モデルの推論をプロンプトの読み込み(prefill)と逐次生成(decode)の二段階に分け、最初の token までの時間、回答完了までの時間、スループットの違いを説明します。推論(inference)と推理(reasoning)、クラウドとローカルを区別し、バッチ処理、量子化、キャッシュがそれぞれ何を節約するのかを解説します。記事全文を読む(inference)は学習済みの重みで予測することだとしています。その後に重みを更新するなら、それは別の学習です。
詳しい説明を読む
上段は学習。順伝播、損失、逆伝播、勾配降下法の四つの手順を繰り返し、毎回、新しい重みを中央の重みとバイアスに書き込む。二つの入力、二つの隠れニューロン、一つの出力を持つ小さなネットワークを例にすると、パラメータは計九つ。下段は推論。新しい入力が入り、順伝播で固定済みの重みを読み取って出力を生成する。損失は計算せず、重みも変えない。
パラメータ、ニューロン、能力は別のもの
上の例には計算するユニットが 3 個しかありませんが、パラメータは 9 個あります。各隠れニューロンには 2 個の重みと 1 個のバイアスがあり、出力ユニットも 2 個と 1 個です。隠れ層のニューロンを 100 個に増やすと、パラメータは 100 × (2 + 1) + (100 + 1) = 401 になります。Google の用語集は、パラメータを学習中に獲得する重みとバイアスと定義し、学習率は人が与えるハイパーパラメータとしています。詳しくはモデルパラメータモデルパラメータ(Model Parameters)とはモデルパラメータは、入力を出力に変換するために学習時に調整される数値で、重みやバイアスなどがあります。この記事では簡単な式を使って、パラメータが予測にどう影響するかを説明し、モデルパラメータ、学習のハイパーパラメータ、プロンプト、生成設定を区別します。また、パラメータ数、数値精度、アクティブパラメータ数が異なる指標である理由も解説します。モデルの仕様をより正確に読み取り、パラメータが増えても知識が一件ずつ増えるわけではなく、チャットのたびにモデルを学習し直すわけでもないことを理解できます。記事全文を読むをご覧ください。
パラメータが多くても能力が高いとは限りません。構造、学習データ、損失の設計も関わります。LeCun らの総説が指摘するように、モデルの良し悪しは学習時に見ていないテストデータでの性能、つまり汎化能力で判断する必要があります。Cybenko の結果も、十分に大きなネットワークなら表現できるというだけで、学習でそれを見つけられる保証はありません。ニューロン数、パラメータ数、層数を見たら、自分の課題で、未見のデータに対してどれだけの性能を発揮するかも問うべきです。
| 用語 | この例では | よくある誤解 |
|---|---|---|
| ニューロン | 計算するユニット | 生物の神経細胞と同じ |
| 重みとバイアス | 学習する 9 個の数値 | 人が書いたルール |
| 活性化関数 | 隠れ層に続く ReLU | あってもなくてもよい |
| 学習率 | 0.1、人が設定 | ネットワークが自力で学ぶ |
深層学習、Transformer との関係
Google の用語集は、隠れ層が一層より多いニューラルネットワークを深層モデルと呼んでいます。LeCun らは深層学習を、単純な非線形モジュールを複数重ね、各層の表現をデータから学ぶ方法と定義しています。簡単にいえば、ニューラルネットワークは構造を指し、深層学習深層学習(Deep Learning)とは深層学習は多層のニューラルネットワークを使い、データからさまざまな階層の表現を学習する手法で、画像・音声・テキストのタスクによく使われます。本記事では資源ごみの写真分類を例に、隠れ層、非線形性、訓練、推論の役割を説明し、モデルが物品ではなく背景を覚える可能性や、データ・計算資源・解釈可能性のトレードオフを解説します。深層学習と機械学習全般の関係を理解し、撮影条件を変えてモデルが本当に有用なパターンを学んだか確認できるようになります。記事全文を読むは多層構造で表現を学ぶ方法です。定義の境界は資料によって少し異なります。Google の用語集では、ニューラルネットワークを「少なくとも一つの隠れ層を含む」モデルと定義しているため、この定義では入力を出力に直接つなぐモデルは含まれません。一方、Rumelhart らは、元のパーセプトロンの中間層は結合が固定されているため、本当の隠れユニットではないとしています。この記事の冒頭では、隠れ層の有無で境界を引いていません。読むときには、どの定義が使われているかをまず確認してください。
Transformer はネットワーク構造の一種です。Vaswani ら(2017)は、これを注意機構だけを基盤とするネットワーク構造と説明しています。各層には自己注意に加え、二つの線形変換の間に一つの ReLU を挟んだフィードフォワードネットワークがあり、まさに先ほどの重み付き和と非線形変換に当たります。後の言語モデルがこれを採用しているか、どう変更したかは、それぞれの技術文書で確認する必要があります。つまり、ニューラルネットワークは上位の分類であり、チャットボットは用途の一つにすぎません。写真を分類する小さなネットワークも、その一つです。
ほかの用語は、AI 用語総索引から探せます。
この記事が役に立ったら、必要な方にシェアしてください
同じテーマの記事
ライフスタイル
エージェント型検索拡張生成(Agentic RAG):いつ再検索が必要か
エージェント型検索拡張生成では、モデルが検索の判断に関与し、質問とすでに得られた根拠に応じて情報源の選択、クエリの書き換え、追加検索を行います。本記事では LangGraph のドキュメントにある具体的なフローを採用し、会場の利用条件の比較を例に固定型 RAG との違いを示すとともに、停止条件、権限、検索履歴、コスト管理を説明します。読後には、タスクに動的な探索が必要か、予測可能な固定フローで十分かを判断できるようになります。
ライフスタイル
グラフ検索拡張生成(GraphRAG):関係から文書群全体を読み解く
GraphRAG はエンティティとその関係を検索に取り入れ、文書をまたぐ関連性や全体のテーマについての回答を支援します。本記事では Microsoft の原論文と公式ドキュメントを対象に、エンティティ抽出、コミュニティ要約、ローカル検索、グローバル検索を解説し、地域イベントの記録を例に、問いによって異なる経路が必要なことを示します。また、グラフの接続漏れ、名称の誤統合、要約の歪みが回答にどう影響するかを説明し、見栄えのよい関係図を検証済みの事実と取り違えないようにします。
ライフスタイル
ナレッジグラフ(Knowledge Graph):事物と関係を明確にする
ナレッジグラフはエンティティと関係でデータを整理し、「誰が何に参加し、どこで、いつ起きたか」をリンクに沿って検索できるようにします。本記事ではコミュニティイベントのデータを例に、エンティティの識別、関係の方向、出典、時間を説明します。リソース記述フレームワーク(RDF)とプロパティグラフの表現の違いを紹介し、グラフが可視化や信頼できる事実と同じではないことも解説します。読めば、データがグラフ化に適しているかを判断でき、テーブル、ベクトル検索、グラフ検索拡張生成(GraphRAG)との組み合わせ方も理解できます。
ライフスタイル
ハイブリッド検索(Hybrid Search):語句の正確さと意味を両立
ハイブリッド検索は、全文検索やベクトル検索などの異なる検索結果を統合し、正確なコードと自然言語による要求の両方に対応します。本記事では機器の取扱説明書の検索を例に、候補の取得、重複排除、順位融合、再ランキングを解説します。逆数順位融合(RRF)が順位を使って異なる検索結果を統合する仕組みを紹介するとともに、組み合わせればあらゆる面で精度が上がるわけではないことも説明します。コードを含む質問、言い換えた質問、答えのない質問で品質を確認し、権限、フィルター、重複コンテンツによる偏りを見分けられるようになります。
この記事を引用している記事
出典
- Rosenblatt 1958:パーセプトロン(Psychological Review 65(6)、パーセプトロンの原論文)確認日:
- Rumelhart、Hinton、Williams 1986:誤差逆伝播による表現の学習(Nature 323)確認日:
- LeCun、Bengio、Hinton 2015:深層学習(Nature 521)確認日:
- Cybenko 1989:シグモイド関数の重ね合わせによる近似(Math. Control Signals Systems 2)確認日:
- Vaswani ら 2017:必要なのは注意機構だけ(arXiv:1706.03762、Transformer の原論文)確認日:
- Google Machine Learning Crash Course:ニューラルネットワーク(単元の概要)確認日:
- Google Machine Learning Crash Course:ノードと隠れ層確認日:
- Google Machine Learning Crash Course:活性化関数確認日:
- Google Machine Learning Crash Course:逆伝播による学習確認日:
- Google 機械学習用語集(ニューラルネットワーク、ニューロン、重み、パラメータ、逆伝播などの項目)確認日:
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。