ライフスタイル

ニューラルネットワーク(Neural Network)とは:層と重みから成り、データから学習する関数

ニューラルネットワークは、単純なユニットを多層に組み合わせた関数です。各ユニットは重み付き和を計算し、多くの場合は非線形変換を加え、重みはデータから調整します。二つのスイッチで廊下の照明を操作する手計算の例で、順伝播、損失、逆伝播、勾配降下法を説明し、学習と推論を区別します。さらに、パラメータ数、ニューロン数、能力の違いと、深層学習や Transformer との関係を整理します。

読了目安 12 分

LINEで送る
三列の丸い点が太さの異なる線でネットワーク状につながり、その横では球が谷の最下点へ転がっている
画像:Mokaair (© Mokaair)
目次
  1. 1. ユニットが行うのは重み付き和と変換の二つだけ
  2. 2. パーセプトロンから多層ネットワークへ:中間層は学習するのか
  3. 3. なぜ非線形変換が必要なのか
  4. 4. 例:二つのスイッチで一つの照明を操作する
  5. 5. 学習:損失、逆伝播、勾配降下法
  6. 6. パラメータ、ニューロン、能力は別のもの
  7. 7. 深層学習、Transformer との関係

ニューラルネットワークはにおけるモデルの一種です。入力を層ごとに出力へ変換し、各ユニットはまず重み付き和を計算して、通常はさらに非線形変換を行います。ネットワークに何ができるかは、重みと呼ばれる一組の数値で決まります。これらの数値は人が一つずつ書き込むのではなく、データを使って繰り返し調整するものです。

この記事では「二つのスイッチで一つの照明を操作する」という小さな課題を使い、順伝播と重みの一回の更新を手計算します。学習と利用がなぜ別の段階なのかを説明し、生物のニューロンという比喩がどこまでのものかも示します。例の数値は手計算用の教材として設定したもので、実際に学習させたものではありません。

ユニットが行うのは重み付き和と変換の二つだけ

Google の機械学習用語集によると、ニューロンの処理は二段階です。各入力に重みを掛けて足し合わせ、その合計を活性化関数(activation function、賦活関数とも呼ばれます)に渡します。バイアスも、学習によって決まる定数です。ユニットは層を構成します。入力層、出力層、そしてその間に挟まれ、値を直接外部に出さない隠れ層です。

生物のニューロンという比喩は、適切に位置づける必要があります。Rosenblatt はパーセプトロン(perceptron)を仮想的な神経系または機械と説明しました。特定の生物では未解明であることも多い条件に深入りせず、知能システムの基本的性質を説明するのが目的です。一方、Google の用語集では、このユニットは脳内のニューロンの挙動を「模倣する」としています。ただし、双方が示す動作の定義は、合計した後に変換するというものにすぎません。本物のニューロンに似ているかどうかは神経科学の証拠で答えるべき問題であり、ここでは名称の由来としてのみ扱います。

パーセプトロンから多層ネットワークへ:中間層は学習するのか

Rosenblatt のパーセプトロンは、報酬と罰によってユニットの「値」を調整します。本人も、刺激同士の関係を識別することは極めて難しくなるという限界を記しています。Rumelhart らは、パーセプトロンの中間層の結合はあらかじめ固定されており、学習する隠れユニットには当たらないと指摘しました。彼らの逆伝播法は、必要な特徴を隠れユニット自身が学べるようにしました。LeCun らによると、この方法は 1970 から 1980 年代にかけて、複数のグループがそれぞれ独立に発見しています。

なぜ非線形変換が必要なのか

Google の教材では、隠れ層を追加しても、ユニットが重み付き和しか計算しなければ、ネットワーク全体は線形のままだと示されています。線形な処理を重ねても線形なので、層を増やしても非線形な関係は学べません。そのため、隠れ層のユニットには非線形の活性化関数を続けます。出力層にも使うかどうかは課題次第で、以下の例では使いません。

よく使われるのは sigmoid、tanh、ReLU です。ReLU は入力が 0 より小さければ 0 を出力し、それ以外は入力をそのまま出力します。LeCun らは 2015 年に、多層ネットワークでは ReLU のほうが通常は学習が速いと記しており、Google の教材も現在まで、まず ReLU を試すことを勧めています。Cybenko(1989)は、単一の隠れ層と有限個のユニットを持ち、連続なシグモイド型の非線形関数を使うフィードフォワードネットワークが、単位超立方体上の連続関数を任意の精度で近似できることを証明しました。これは「表現できる」ということであり、学習でそれを見つけられるかは別問題です。

例:二つのスイッチで一つの照明を操作する

例(未実測、手計算):廊下の両端にスイッチ a と b があり、上向きを 1、下向きを 0 とします。ちょうど片方だけが上向きのときに点灯します。(1,0) と (0,1) では 1、(0,0) と (1,1) では 0 を出力する必要があります。重み付き和を計算して閾値と比較するだけの単一ユニットでは実現できません。点灯すべき二つの組み合わせを足し合わせ、消灯すべき二つの組み合わせを足し合わせると、互いに矛盾する不等式が得られるからです。

ネットワークは 2 個の入力、2 個の隠れニューロン、1 個の出力で構成し、パラメータは計 9 個です。重みは手で選びます。一つ目の隠れニューロンの重みは 1、1、バイアスは 0。二つ目の重みは 1、1、バイアスは −1 で、どちらも ReLU を使います。出力の重みは 1 と −2、バイアスは 0 とし、活性化関数は使いません。

  • (0,0):隠れ層の値は 0 と 0、出力は 0 で消灯。
  • (1,0) または (0,1):隠れ層の値は 1 と 0、出力は 1 で点灯。
  • (1,1):隠れ層の値は 2 と 1、出力は 2 − 2 = 0 で消灯。

この重みは手で選んだものです。実際の学習はランダムな重みから始まり、答えとなる組み合わせも一つだけではありません。

学習:損失、逆伝播、勾配降下法

学習では次の四つの手順を繰り返します。

  1. 順伝播:現在の重みを使って予測を計算します。
  2. 損失:予測が正解からどれだけ離れているかを測ります。Rumelhart らは E = ½ ΣΣ (y − d)² を使い、各サンプルの各出力について足し合わせています。y は出力、d は目標値です。
  3. 逆伝播:連鎖律を使って出力から逆向きに計算し、各重みを少し変えたときに損失がどれだけ増減するか(勾配)を求めます。平たくいえば、誤差に対して各重みがどれだけの責任を負うかを調べることです。
  4. 勾配降下法:勾配と反対方向に重みを少し動かします。その幅を決めるのが学習率で、人が設定するハイパーパラメータです。

先ほどの例の続きです(例、手計算)。隠れ層は変えず、出力層の重みがまだ十分に調整されておらず、1 と −1.2、バイアスが 0 だとします。入力が (1,1) のとき、隠れ層の値は 2 と 1、出力は 0.8、目標値は 0 なので、損失は 0.32 です。出力に対する損失の変化率は 0.8 です。これにそれぞれ対応する隠れ層の値を掛けると、二つの重みの勾配は 1.6 と 0.8、バイアスの勾配は 0.8 になります。計算を簡単にするため、この一回では出力層だけを変えます。学習率を 0.1 とすると、重みは 0.84 と −1.28、バイアスは −0.08 となり、出力は 0.32 に下がります。実際の学習では、隠れ層の重みも同じステップで更新します。誤差に出力の重みを掛け、ReLU が働いているかを確認しながら、順々に逆向きに伝えます。これが「逆伝播」です。隠れ層も一緒に変えると、計算結果はここでの数値とは異なります。

ただし、この一回の更新はほかの入力にも影響します。(0,1) の出力はもともと 1 でしたが、出力層だけを変えた後は 0.76 になります。重みはすべての入力で共有されるため、一件に合わせて変えるとほかのデータにも影響します。そのため、一群のサンプルの平均勾配を使い、小さな更新を何周も繰り返す必要があります。LeCun らが述べる確率的勾配降下法では、毎回少数のサンプルだけを使って勾配を推定します。

学習が終わると重みを固定し、利用時には順伝播だけを行い、損失の計算も重みの変更もしません。Google の用語集では、学習は重みを決めることであり、(inference)は学習済みの重みで予測することだとしています。その後に重みを更新するなら、それは別の学習です。

上段は順伝播、損失、逆伝播、勾配降下法を繰り返す学習ループ。中央は重みとバイアス。下段は推論で、重みを読み取って順伝播だけを行う
学習は中央の重みを繰り返し書き換え、推論はそれを読み取るだけです。 · 画像:Mokaair (© Mokaair)
詳しい説明を読む

上段は学習。順伝播、損失、逆伝播、勾配降下法の四つの手順を繰り返し、毎回、新しい重みを中央の重みとバイアスに書き込む。二つの入力、二つの隠れニューロン、一つの出力を持つ小さなネットワークを例にすると、パラメータは計九つ。下段は推論。新しい入力が入り、順伝播で固定済みの重みを読み取って出力を生成する。損失は計算せず、重みも変えない。

パラメータ、ニューロン、能力は別のもの

上の例には計算するユニットが 3 個しかありませんが、パラメータは 9 個あります。各隠れニューロンには 2 個の重みと 1 個のバイアスがあり、出力ユニットも 2 個と 1 個です。隠れ層のニューロンを 100 個に増やすと、パラメータは 100 × (2 + 1) + (100 + 1) = 401 になります。Google の用語集は、パラメータを学習中に獲得する重みとバイアスと定義し、学習率は人が与えるハイパーパラメータとしています。詳しくはをご覧ください。

パラメータが多くても能力が高いとは限りません。構造、学習データ、損失の設計も関わります。LeCun らの総説が指摘するように、モデルの良し悪しは学習時に見ていないテストデータでの性能、つまり汎化能力で判断する必要があります。Cybenko の結果も、十分に大きなネットワークなら表現できるというだけで、学習でそれを見つけられる保証はありません。ニューロン数、パラメータ数、層数を見たら、自分の課題で、未見のデータに対してどれだけの性能を発揮するかも問うべきです。

概念の比較。出典の確認は 2026 年 10 月。
用語この例ではよくある誤解
ニューロン計算するユニット生物の神経細胞と同じ
重みとバイアス学習する 9 個の数値人が書いたルール
活性化関数隠れ層に続く ReLUあってもなくてもよい
学習率0.1、人が設定ネットワークが自力で学ぶ

深層学習、Transformer との関係

Google の用語集は、隠れ層が一層より多いニューラルネットワークを深層モデルと呼んでいます。LeCun らは深層学習を、単純な非線形モジュールを複数重ね、各層の表現をデータから学ぶ方法と定義しています。簡単にいえば、ニューラルネットワークは構造を指し、は多層構造で表現を学ぶ方法です。定義の境界は資料によって少し異なります。Google の用語集では、ニューラルネットワークを「少なくとも一つの隠れ層を含む」モデルと定義しているため、この定義では入力を出力に直接つなぐモデルは含まれません。一方、Rumelhart らは、元のパーセプトロンの中間層は結合が固定されているため、本当の隠れユニットではないとしています。この記事の冒頭では、隠れ層の有無で境界を引いていません。読むときには、どの定義が使われているかをまず確認してください。

Transformer はネットワーク構造の一種です。Vaswani ら(2017)は、これを注意機構だけを基盤とするネットワーク構造と説明しています。各層には自己注意に加え、二つの線形変換の間に一つの ReLU を挟んだフィードフォワードネットワークがあり、まさに先ほどの重み付き和と非線形変換に当たります。後の言語モデルがこれを採用しているか、どう変更したかは、それぞれの技術文書で確認する必要があります。つまり、ニューラルネットワークは上位の分類であり、チャットボットは用途の一つにすぎません。写真を分類する小さなネットワークも、その一つです。

ほかの用語は、AI 用語総索引から探せます。

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る
  • ライフスタイル

    エージェント型検索拡張生成(Agentic RAG):いつ再検索が必要か

    エージェント型検索拡張生成では、モデルが検索の判断に関与し、質問とすでに得られた根拠に応じて情報源の選択、クエリの書き換え、追加検索を行います。本記事では LangGraph のドキュメントにある具体的なフローを採用し、会場の利用条件の比較を例に固定型 RAG との違いを示すとともに、停止条件、権限、検索履歴、コスト管理を説明します。読後には、タスクに動的な探索が必要か、予測可能な固定フローで十分かを判断できるようになります。

  • ライフスタイル

    グラフ検索拡張生成(GraphRAG):関係から文書群全体を読み解く

    GraphRAG はエンティティとその関係を検索に取り入れ、文書をまたぐ関連性や全体のテーマについての回答を支援します。本記事では Microsoft の原論文と公式ドキュメントを対象に、エンティティ抽出、コミュニティ要約、ローカル検索、グローバル検索を解説し、地域イベントの記録を例に、問いによって異なる経路が必要なことを示します。また、グラフの接続漏れ、名称の誤統合、要約の歪みが回答にどう影響するかを説明し、見栄えのよい関係図を検証済みの事実と取り違えないようにします。

  • ライフスタイル

    ナレッジグラフ(Knowledge Graph):事物と関係を明確にする

    ナレッジグラフはエンティティと関係でデータを整理し、「誰が何に参加し、どこで、いつ起きたか」をリンクに沿って検索できるようにします。本記事ではコミュニティイベントのデータを例に、エンティティの識別、関係の方向、出典、時間を説明します。リソース記述フレームワーク(RDF)とプロパティグラフの表現の違いを紹介し、グラフが可視化や信頼できる事実と同じではないことも解説します。読めば、データがグラフ化に適しているかを判断でき、テーブル、ベクトル検索、グラフ検索拡張生成(GraphRAG)との組み合わせ方も理解できます。

  • ライフスタイル

    ハイブリッド検索(Hybrid Search):語句の正確さと意味を両立

    ハイブリッド検索は、全文検索やベクトル検索などの異なる検索結果を統合し、正確なコードと自然言語による要求の両方に対応します。本記事では機器の取扱説明書の検索を例に、候補の取得、重複排除、順位融合、再ランキングを解説します。逆数順位融合(RRF)が順位を使って異なる検索結果を統合する仕組みを紹介するとともに、組み合わせればあらゆる面で精度が上がるわけではないことも説明します。コードを含む質問、言い換えた質問、答えのない質問で品質を確認し、権限、フィルター、重複コンテンツによる偏りを見分けられるようになります。

ライフスタイル