オペラント条件付け（読み）オペラントジョウケンヅケ（その他表記）operant conditioning

デジタル大辞泉

オペラント‐じょうけんづけ〔‐デウケンづけ〕【オペラント条件付け】

《オペラント（operant）は「自発的な」の意》「道具的条件付け」に同じ。

出典　小学館

最新 心理学事典

オペラントじょうけんづけ
オペラント条件づけ
operant conditioning

オペラント条件づけとは，個体が自発emitした反応（行動をなんらかの装置により計測したもの）にある事象を随伴させることにより，その反応が変化することをいう。道具的条件づけinstrumental conditioningともいう。オペラント条件づけの対象となるのは，個体の随意的な行動（オペラント行動operant behavior）である。なお，共通の結果をもたらす反応は，すべて同一の反応クラスに属しており，このような反応クラスをオペラントoperantという。

　このようなオペラント条件づけが，パブロフPavlov,I.P.の発見したレスポンデント条件づけ（不随意的な行動の変容過程）とは異なる学習の過程であることを，スキナーSkinner,B.F.が指摘したのは1930年代のことであった。スキナーは，新しい条件づけをパブロフの見いだした条件づけ（条件反射）と区別するために，それぞれの条件づけの特徴を表わす名称として「オペラント条件づけ」と「レスポンデント条件づけ」と命名したのである。これらの名称は，個体が自発的・能動的に環境に働きかけるという特徴（随意的行動，行為）と，刺激に対する受動的な応答という特徴（不随意的行動，反射）をそれぞれ表わすために作られた造語である。このように二つの条件づけは，それぞれ「行為の原理」と「反射の原理」とよぶことができる。しかし，スキナーによるオペラント条件づけの定式化以前にその先駆的研究がソーンダイクThorndike,E.L.により行なわれていたのである。

【ソーンダイクの先駆的研究】　ヒトや動物の行為がどのように形成・維持されるかという問いへの回答を最初に試みたのは，ソーンダイクであった。彼は，1898年に，ネコやイヌ，あるいはヒヨコを被験体とした実験の結果をまとめた学位論文「動物の知能:動物における連合過程の実験的研究」を公刊したが，これは，「ソーンダイクの問題箱puzzle box」としてよく知られた実験装置を用いた研究であった。この時代，アメリカのどの大学にも，動物実験施設はなく，ソーンダイクが実験を行なったのは，ハーバード大学のジェームズJames,W.教授家の地下室であった（アメリカの大学で動物実験室が設けられるのは1898年以降である）。

　この装置には，いくつかの仕掛けが設けられており，それらを一定の順番で外すことで，最終的に問題箱の扉が開くことになっていた。空腹のネコを問題箱に入れ，扉の前に餌皿を置いておくと，ネコは箱から出ようとして，最初はでたらめに動き回るが，偶然仕掛けが外れて，箱の外に出られることも起こる。餌を食べたら，再び問題箱に入れ，外に出るまでの時間を測定する。これを繰り返していくと，やがてネコは，順番に仕掛けを外して外に出られるようになり，学習が成立する。

　図1の問題箱では，ネコが外へ出るには，ペダルを踏む反応，ヒモを引く反応，バーを上または下に押すという反応を行なわなければならなかった。最初，反応はでたらめに生じるが，やがて規則的かつ迅速に起きるようになる。この過程が学習であり，縦軸に問題箱から出るまでに要した時間（所要時間），横軸に訓練試行数を取り，示したものが図1の学習曲線learning curveである。訓練試行とともに，問題箱から出るまでの所要時間が短くなっていくことがわかる。ソーンダイクは，このような形で初めて学習曲線を示したが，同時に学習曲線の全体的なパターン，すなわち変化の仕方（オペラント条件づけに用いられる反応率，すなわち単位時間当たりの反応数の変化）にも関心を示していた。また，実験に先立ってネコを空腹にさせるという操作（動機づけ）を行なっていたことも，後のオペラント条件づけ研究における「動因操作」の先駆的な操作といえる。

　ソーンダイクの扱った問題箱におけるネコの学習は，モーガンMorgan,C.L.によって試行錯誤学習trial-and-error learningと名づけられた。この場面では，行動が試行という単位に区切られ，試行と試行の間には，個体は行動を自発することができない。このような実験場面を試行反応場面とよぶ。

　ソーンダイクは，後年，このような学習を効果の法則law of effectとよばれる行動の原理によって説明した。効果の法則とは，「個体にとって満足がもたらされるような反応は，他の条件が等しいならば，その事態により強く結合する。したがって，再び動物がその事態におかれたならば，そのような反応は再び生じやすくなる」というもので，事態と反応の結合（連合）が反応の結果により強められることを意味している。これは，オペラント条件づけにおける強化の原理を別のことばで表現したものといえる。しかし，このことが正しく認識されるには，スキナーによるオペラント条件づけの体系化まで，さらに4半世紀ほど待たなければならなかった。

【スキナーによるオペラント条件づけの体系化】　スキナーは，『アメリカン・サイコロジストAmerican Psychologist』誌（1956）に，自己のオペラント条件づけ体系化の研究史を非常に興味深いエピソードを交じえて紹介しているので，この論文は，オペラント条件づけの研究史を理解するのに重要である。

　スキナーの研究の出発点は，条件反射の枠組みからの驚愕反射の研究であった。そのときの装置は，図2のａに示されている直線走路であった。この装置では，ラットが目標点に到達して餌を食べた後，実験者が再び出発点に戻さなければならなかった。そこで彼は，実験者が戻さなくてもすむように，図2のｂの帰還式直線走路を考案した。この装置では，ラットはＢの直線送路を走り，Ｃ点の餌を食べる。食べ終わると，Ａの帰還用走路を通り，再び直線走路を走ることになる。このとき，餌を食べた後のラットの行動に一定の規則性のあることを見いだしたことが，オペラント条件づけへの着想のきっかけとなったのである。このように，帰還式直線走路を考案したことで，ラットの行動は中断されることがなくなり，後述する自由反応場面へのきっかけとなった。

　次に，餌も実験者を煩わせることなく自動的に呈示できるシーソー型走路（図2のｃ）を考案した。この装置は，ラットの移動に伴うシーソーの動きにより，餌の入った円盤を動かすことで，餌の自動呈示を可能にしたものである。この装置が不調になり，餌が呈示されなかったときに，反応の消去曲線extinction curveが偶然得られ，また，反応は時々餌が呈示されるだけでも維持されるという新しい事実の発見（間欠強化intermittent reinforcement）という幸運に恵まれたのである。さらに，餌呈示の記録も自動的に行なえるように工夫したことが，後年の反応の累積記録（図2のｅ）へと発展するきっかけとなった。そうして，1930年代の初めには，後にハルHull,C.L.により「スキナー箱」とよばれた図2のｄのような実験箱の原型（Skinner,1932）ができあがったのである。

　図3にハト用実験箱（スキナー箱）の模式図を示す。ハトが背後から照明された円形の窓（キー）をつつくと，給餌装置が作動し，餌が一定時間（通常3秒程度）食べられるようなしくみになっている。空腹なハトを実験箱に入れると，ハトは最初でたらめに動いて必ずしもキーをつつかないが，偶然キーをつつくと餌箱が呈示される。このようなことが何度か起きると，やがてハトはキーをつつくようになる。つまり，オペラント条件づけが成立したのである。

【三項強化随伴性three-term contingencies of reinforcement】　自発された反応に，餌の呈示を伴わせる（随伴させる）ことを強化reinforcementといい，ハトがキーをつつくと餌が呈示されるしくみを強化随伴性contingencies of reinforcementという。このとき，餌は反応を強めるもの，つまり強化子reinforcerであるといえる。このように，オペラント条件づけの成立には，自発される反応とその結果としての強化子呈示が必要であり，この関係の確立により，反応を自発する手がかり（弁別刺激）も成立するのである。これらの三つの項，すなわち弁別刺激-反応-強化子の関係を三項強化随伴性という。

　図4は，オペラント条件づけの基本パラダイムである三項強化随伴性の模式図を示したものである。この模式図は，どのような手がかり刺激のもとで，どのような反応が自発され，どのような強化子により反応が強められるのか，というオペラント条件づけ研究の課題を表わしている。三項強化随伴性のうち，反応と強化子の関係は，強化子の呈示の仕方を決める強化スケジュールschedule of reinforcementの問題であり，弁別刺激と反応との関係は，弁別刺激がどのように反応を制御するかという刺激性制御stimulus controlの問題である。

　このほか，このような強化随伴性に影響する要因として，強化子が反応を強める働きを保持するのに必要な，たとえば空腹にさせるという動因操作や，電気ショックなどの嫌悪刺激の呈示という情動操作がある。ここでは，刺激や反応は集合論のクラス概念に基づいて定義される。つまり，共通の結果（たとえば強化子呈示）をもたらす反応は，手でレバーを押す反応も口で咬んでレバーを押す反応もすべて同一の反応クラスに属する。このような反応クラスをオペラントと名づける。刺激についても，反応を自発する共通の手がかりになるものは，赤信号でも「止まれ」ということばでもすべて同一の刺激クラスに属することになる。

　このような随伴性により形成・維持される行動に対し，ヒトの場合には，言語を介した行動の形成・維持も考えられる。たとえば，「赤信号で止まり，青信号で歩き出す」という言語表現は，交通事故に遭わずに安全であるためには，どのように行動すればよいかを表現したものである。こうした言語表現により形成・維持される行動は，随伴性にさらされて（危険な目に遭って）獲得された行動，すなわち随伴性形成行動contingency-shaped behaviorではないので，規則支配行動rule-governed behaviorとよばれる。

　図3に示した実験装置（実験箱）は，行動を空間的な移動ではなく，時間的軸上で起こる出来事としてとらえる見方を具現化したものといえる。ハトのキーつつきやネズミのレバー押しなどの自発反応は，時間軸上で起きる出来事である。したがって，オペラント条件づけでは，反応強度を単位時間（たとえば1分）当たりの反応数，すなわち反応率response rateで表現する。また，時間軸に対して反応を累積的に表わす方法を考案したことで，反応パターンを時々刻々記録することが可能になった。

【自由反応場面と試行反応場面】　前述した実験場面を自由反応場面とよぶが，先に述べたソーンダイクの問題箱を用いた実験のように，行動を試行によって区切る試行反応場面の条件づけを，とくに道具的条件づけinstrumental conditioningとして区別することがある。この区別は単なる手続き上の相違にすぎないようにも見えるが，行動への影響が異なることが明らかになっているので重要である（Hachiya,S., ＆ Ito,M.，1991）。

【新しい反応の形成】　オペラント条件づけでは，反応が自発されない限り，個体が強化随伴性にさらされることはない。その意味で，随伴性とは偶然性であるが，新しい反応を形成させるためには，強化随伴性を逐次変化させる逐次接近法method of successive approximationという方法を用いる必要がある。たとえば，最初はハトがキーの方を向いたら強化する。この反応が安定して生起するようになったら，次はキーに近づいたら強化する（同時に，これまでのキーの方向を向く反応は強化されない）。さらにキーに接触したら強化するというように，順次，強化の対象となる反応を変化させることで最終的なキーつつき反応を形成するという方法である。

【自動反応形成autoshaping】　空腹なハトを実験箱に入れ，キーを照明した後，餌を呈示することを一定の試行間間隔を挟んで繰り返すと，やがてハトは餌を食べると同時にキーもつつくようになる。キーをつつくと，強化随伴性が設けられているので，餌が呈示され，キーつつき反応の条件づけが成立する。このような現象を自動反応形成という（Brown,P.L., ＆ Jenkins,H.M.，1968）。自動反応形成には，キーの照明（CS）と餌呈示（US）というレスポンデント条件づけと，キーつつき反応と餌（強化子）呈示というオペラント条件づけの二つの過程が働いていると考えられる。自動反応形成が成立した後，キーつつき反応が維持されることを自動反応維持automaintenanceという。その後，キーの照明に続いて，キーつつき反応がないときに餌を呈示し，反応があるときには餌を呈示しない，いわゆる除去訓練手続き（負の罰）を用いても，キーつつき反応がかなりの程度維持されることが見いだされた（Williams,D.R., ＆ Williams,H.，1969）。この事実は，キーつつき反応がキーの照明（CS）と餌呈示（US）というレスポンデント条件づけの強い影響を受けることを如実に示している。自動反応形成により形成されたキーつつき反応は，照明されたキーに向けられた反応であるという特徴をもっている。この特徴から，正の特色価効果や行動対比の現象の説明に用いられている。

【実験的行動分析と行動分析学】　スキナーとその弟子たちを中心としたオペラント条件づけの研究は，やがて個体の行動分析をめざす新たな学派を形成していくことになる。1958年の実験的行動分析誌『Journal of the Experimental Analysis of Behavior』の創刊は，この新しい学派の旗揚げとみなされるが，このようなオペラント条件づけの研究を基礎に，個体行動の実験的分析を行なう研究分野を実験的行動分析the experimental analysis of behaviorという。さらに，実験的行動分析の成果を臨床的な分野の諸問題へ適用しようとする応用行動分析applied behavior analysisもその後に誕生する。これらに，理論的な分析を指向する理論的行動分析theoretical behavior analysisを加えた新しい分野を行動分析学behavior analysisという（佐藤方哉，1976）。行動分析学という名称は，フロイトの精神分析学を意識してのものである。　→強化　→強化スケジュール　→行動分析学　→レスポンデント条件づけ　→連合学習理論
〔伊藤 正人〕

図4 三項強化随伴性の模式図

図3 ハト用実験箱（スキナー箱）とその…

図2 オペラント条件づけ研究で用いられ…

図1 ソーンダイクの用いたネコ用問題箱…

出典　最新 心理学事典

世界大百科事典（旧版）内のオペラント条件付けの言及

【感覚】より

…最近では，行動科学的手法による感覚の研究も行われている。これはオペラント条件づけの方法を用いて，感覚刺激とそれによって引き起こされる行動の変化を観察，計測するものである。例えば視覚でよく知られている暗順応の時間経過をハトを使って行った実験が有名である。…

【行動変容】より

…行動変容(または行動修正)と行動療法とは同義的または互換的に使用され，いまだ明確な統一見解はない。そのいずれの用語をとるかは，行動療法の基礎理論としてレスポンデント条件づけ法を重視するかオペラント条件づけ法(条件づけ)を重視するか，変容の対象行動が神経症以上の不適応行動か一般的人間行動か，臨床心理学的実践を先発の医学との関係でどうとらえるか，あるいは基礎理論が学習理論だけかそれに限らず実験心理学から広義の行動科学のものまで広げるかなどの違いによることが多く，しかもそれらが錯綜して無自覚的に使用されている。ここでは行動変容は行動療法よりも広義に解すべきものとする。…

【行動療法】より

…問題行動，不適応行動，病的行動などといわれるものの発生と持続の姿を学習心理学の立場からとらえ，それらを学習理論にもとづく技法によって適応的に治療改善させようとする心理治療の方法の総称。これは，20世紀初頭から研究報告の上では条件反射療法(技法)，学習療法，条件づけ療法(技法)，補強療法，オペラント条件づけ技法などと記載されてきたものを包括する。こうした各種の名称はそれが基礎とした学習理論の違いから発している。…

【条件づけ】より

…したがって，筋肉を麻酔して行動ができなくても，条件づけはできる。
［道具的条件づけinstrumental conditioning］
　オペラント(操作的)条件づけoperant conditioningまたは第II型条件づけtype II conditioningともいわれる。道具的条件づけにおいては，行動は動物本来の自発的行動の枠組みで偶発的に行わせ，その行動を報酬や罰によって強化する。…

※「オペラント条件付け」について言及している用語解説の一部を掲載しています。

出典｜株式会社平凡社「世界大百科事典（旧版）」