オペラント条件づけ
強化や弱化によって、行動の出現頻度が変化する学習過程
From Wikipedia, the free encyclopedia
オペラント条件づけ（オペラントじょうけんづけ、operant conditioning、あるいは instrumental conditioning）とは、報酬や罰などの結果に応じて、自発的な行動が学習される過程のことである。これは行動主義心理学における基本理論のひとつである。
オペラント条件づけの研究は、1898年にエドワード・ソーンダイクが行った試行錯誤学習の実験に始まり、その後、1938年にバラス・スキナーがハトやネズミを用いた体系的な研究を展開したことで広く知られるようになった[1]。こうした研究に基づき、オペラント条件づけは「道具的条件づけ」や「スキナー型条件づけ」、「オペラント学習」とも呼ばれる[1]。
一方で、イワン・パブロフによる古典的条件づけは、遺伝的に備わった反応と別の刺激を結びつける学習であり、オペラント条件づけとは異なる種類の条件づけである[1]。
オペラント条件づけはヒトを含む動物の幅広い行動に適用可能であり、日常生活において自然に生じている。例えば、子どものしつけや動物の訓練などに古くから用いられてきた。さらに、スキナーやその後継者によって応用領域が広がり、行動療法、プログラム学習、技能訓練、嗜癖の改善、障害児の療育、リハビリテーション、e-ラーニングなど、多様な分野で活用されている。
定義
オペラント行動とは、その行動の直後に生じる環境の変化（刺激の出現や消失）によって、その後の出現頻度が変化する行動を指す。
オペラント条件づけとは、このオペラント行動が自発的に行われた直後の環境の変化に応じて、その行動の自発頻度が変化する学習過程のことである。
古典的条件づけとは異なり、オペラント行動には行動を自動的に引き起こす無条件刺激のような生得的な刺激は存在しない。オペラント行動は、生物が自発的に行う行動に基づいて成立する。
「オペラント (operant) 」という語は、「操作する」を意味する英語 operate に由来し、バラス・スキナーによる造語である。
- 強化 (reinforcement)
- 行動の自発頻度が高まること。
- 例：子どもが宿題を終えたあとに親から「よく頑張ったね」と褒められると、宿題をする頻度が増える。
- 弱化 (punishment)
- 行動の自発頻度が低下すること。
- 例：子どもが兄弟を叩いたときに叱られ、その後は叩く行動が減る。
- 好子 (reinforcer、正の強化子、強化刺激)
- 出現することでオペラント行動の自発頻度を高める刺激。
- 例：テストで良い点を取ったときにご褒美としてゲーム時間（好子）が増えると、勉強する行動が増える。
- 嫌子 (punisher、負の強化子、嫌悪刺激)
- 出現することでオペラント行動の自発頻度を低下させる刺激。
- 例：授業中に私語をしたら居残り（嫌子）を命じられ、それ以降は授業中に話さなくなる。
- トークン
- 貨幣や引換券、点数など、他の好子と交換できる刺激。例えば、課題を遂行すると引換券が得られ、その引換券をエサと交換できるようにすると、チンパンジーは課題を継続的に行うようになる。
行動随伴性
行動随伴性 (behavior contingency) とはオペラント行動の自発頻度の変化とそれが自発された直後の環境の変化との関係をいう。行動随伴性には4種類がある。
- 正の強化：好子出現による強化
- 負の弱化：好子消失による弱化
- 正の弱化：嫌子出現による弱化
- 負の強化：嫌子消失による強化
また、行動随伴性を通して行動の分析を試みる事こそ行動分析学の根幹である。
強化の提示方法と刺激統制
オペラント反応と強化子の関係は、単に報酬や罰があるかどうかだけでなく、反応の直後に強化子を与える即時強化、反応のたびに強化する連続強化、反応数や時間間隔に応じて一部の反応だけを強化する部分強化として操作され、訓練を効率的に進めるうえでは反応直後に強化子を与えることが中心的な手続きとなる[2]。
部分強化の方式は、一定の反応数に応じて強化する定率、平均的な反応数に応じて強化する変率、一定時間の経過後の反応を強化する定間隔、平均的な時間経過後の反応を強化する変間隔の4種類に分けられ、これらの強化スケジュールの違いは、反応が生じる頻度や時間的なパターンを変化させる[2]。
強化スケジュールの反応型として、定率では一定の反応数ごとに強化されるため反応が継続的に生じ、変率では何回目の反応で強化されるかが変動するため高頻度の反応と高い消去抵抗が生じ、定間隔では設定された時間が近づくにつれて反応頻度が上がり、変間隔では反応頻度は低めであっても安定して持続する[2]。オペラント条件づけでは、反応を強制的に引き起こすのではなく、特定の刺激があるときに反応が高頻度で自発されるように条件づけることができ、この手続きは刺激統制と呼ばれ、ある音が提示されているときだけレバー押しを強化し、音がないときには強化しない訓練を反復すると、その音はレバー押しの手がかりとなる弁別刺激として働き、弁別刺激、オペラント反応、強化子の関係は三項随伴性と呼ばれる[2]。
目的の反応が訓練開始時に十分な頻度で生じない場合には、目的反応そのものだけでなく、それに近い反応を順に強化する行動形成が用いられ、例えばラットのレバー押しでは、まずレバーに近づく反応、次に立ち上がる反応、最後にレバー押し反応を選んで強化するように、目標反応へ近づく反応を段階的に選ぶ逐次接近法が使われる[2]。反応の直後に与えられる刺激であっても、その後の反応頻度を低下させるものは強化子ではなく罰として扱われ、レバー押しの後に電気ショックを与える例では、その後にレバー押しが生じにくくなる[2]。
- 消去 (extinction) - 以前に強化された応答がもはや有効でなくなったときに発生。
スキナー箱
オペラント条件づけの実験のため、スキナーはオペラント条件づけ箱 (Operant conditioning chamber) を発明した。これは現在ではスキナー箱と呼ばれている。
スキナー箱に絶食させておいたネズミを入れ、ブザーが鳴ったときレバーを押すとエサがもらえるようにしておくと、やがて、ネズミはブザーの音に反応してレバーを押すようになり、ブザーが鳴った直後にネズミがレバーを押す頻度（確率）が増加していく。これが正の強化の一例である。
- このとき「レバー押しの動作がエサで強化される」と表現される。
- エサは出現したことによって直前のオペラント行動の自発頻度を高めたので好子（こうし）と表現される。
- 絶食させたことが、餌に好子としての特性を与えた（確立した）ので、絶食を確立操作という。
- ブザーはエサに先行して出現しているため先行刺激と呼ばれる。
- ブザーが鳴っているときにはレバーを押し、鳴っていないときには押さなくなった場合、ブザーは弁別刺激と呼ばれる。
人の振る舞いを変えるには
応用行動分析とは、バラス・スキナーによって築かれた学術分野であり、人間の特定の社会的振る舞いを修正する理論である。その根底にはオペラント条件付け理論が存在し、条件つき刺激 (SC), 識別刺激 (Sd)、反応 (R)、 強化刺激 (Srein or Sr 嫌悪刺激(Save ).[3] などの用語がある。条件付き刺激は、感情反応など古典的条件付けよって形成された行動をコントロールする。ほか3つの用語は、スキナーの「3項の偶発事象」を形成する。
- ゴールを示す：どのような変化がもたらしたいのかを明確にする。たとえば「体重を30ポンド減らす」など。
- 行動を観察する：求める効果が発生しているかどうかを確認しつづける。たとえば毎日、体重をグラフに記す。
- 求める行動を強化する：たとえば体重が減少したことを褒める。人間では、行動の記録が強化の役目を果たす。減量効果をグラフで確認できれば、当人はそれを見て「減量プログラムの継続」という行動を強化するだろう。これをより一般化するとトークン経済とされ、求めた行動の報酬としてトークンが与えられる交換システムである。トークンは、後で希望の賞、報酬、威信、商品やサービスと交換可能とされる。
- 望ましくない行動へのインセンティブを削減する：たとえば、台所にスナックやキャンディを置かない。