最新 心理学事典 「強化スケジュール」の解説
きょうかスケジュール
強化スケジュール
schedule of reinforcement
強化スケジュールは，さまざまな要因の効果を検出するためのベースライン（行動基線）としても用いられ，とくに行動薬理学の分野では，さまざまな薬物の行動への効果の検出に重要な役割を果たしてきた。
【基本強化スケジュール】 強化スケジュール研究の成果の一つは，行動は必ずしも毎回強化（連続強化continuous reinforcement）されなくとも，よく維持されることを見いだしたことである。これを時々強化すること，すなわち間欠強化intermittent reinforcementという。間欠強化には，まず時間経過と反応数に基づく強化が区別できる。さらにこれらの中を，時間経過や反応数が固定されている場合と固定されていない（変動する）場合に分けることができる。先に強化されてからの時間経過に基づく間欠強化は，固定時間間隔強化fixed-interval（FI）reinforcementと変動時間間隔強化variable-interval（VI）reinforcementである。たとえば，FI1分とは，先に強化されてから1分経過した最初の反応に強化子が呈示されるのである。また，VI1分とは，先の強化からの経過時間が平均1分後の最初の反応に強化子が呈示される。したがって，この場合には，1回ごとの経過時間は変動し，それらを平均すると1分になるのである。一方，反応数に基づく間欠強化は，1強化当たりの反応数（比率）という観点から，固定比率強化fixed-ratio（FR）reinforcementと変動比率強化variable-ratio（VR）reinforcementである。たとえば，FR5とは，5回目の反応に対して強化子が呈示される。VR5とは，平均5回目の反応に対して強化子が呈示されることを指す。この場合も，1回ごとの強化される比率は変動し，平均すると5回になるのである。これらの強化スケジュールは，われわれの日常生活の中でも一定の役割を果たしていると考えられる。たとえば，給料における固定給と歩合給の違いは，FIとFRのスケジュールに相当し，釣りやギャンブルにおける当たりなどは，VIとVRに相当するといえるであろう。
図に各強化スケジュールのもとで維持される反応パターンを累積記録器で描いたものを示した。図の左側は，累積記録器の仕組みを表わしている。反応記録用ペンは，反応ごとに一定の幅で左へ移動し，記録用紙は一定の（きわめてゆっくりとした）速度で送り出されているので，ある反応率（1分当たりの反応数）で反応していると一定の傾きをもった線が描かれる。急な傾きは高頻度の反応を，緩やかな傾きは低頻度の反応を表わすことになる。強化スケジュール研究のもう一つの成果は，こうした強化スケジュールによって維持される反応のパターンに違いがあること，さらに，強化スケジュール間の相違は消去操作を行なったときに最も顕著に表われることを見いだしたことである。
一般にVIやVRでは，一定の反応率が維持されるが，強化率（1分当たりの強化数）を一定に保った場合，VRの方がはるかに高い反応率になる。一方，FIやFRでは，強化後の反応の休止とその後の反応の加速度的な高反応率を特徴としている。ただし，これら二つの強化スケジュール下の反応パターンには相違があり，前者のFIでは強化後の反応休止とその後の反応の漸進的増加（スキャロップという）であり，後者のFRでは強化後の反応休止とその後の一定の高反応率（ブレイク・アンド・ランという）を特徴としている。消去後の反応の起こり方は，強化子を呈示しない消去操作に対する抵抗性（消去抵抗）という観点から見ることができるが，一般に消去抵抗は，間欠強化の方が連続強化よりも高くなり，また反応数に基づく強化スケジュールの方が時間に基づく強化スケジュールよりも高くなる。
【その他の強化スケジュール】 上記の基本強化スケジュール以外にもこれまでよく用いられてきた強化スケジュールとして，特定の反応パターンまたは反応率を分化強化するものがある。これらは，反応の時間軸上の起こり方に依存して強化するもので，分化強化スケジュールdifferential-reinforcement scheduleと総称される。たとえば，低反応率を生じさせる低反応率分化強化スケジュールdifferential-reinforcement-of-low-rate（DRL） scheduleは，先の反応から一定時間経過した最初の反応を強化する手続きである。言い換えれば，長い反応間時間interresponse time（IRT）を分化強化するものであり，その結果として低反応率となるのである。このため，この手続きは，動物の時間弁別や時間知覚の尺度構成などの方法として用いられている。DRLスケジュールでは，あらかじめ決められた反応間時間以上であれば，たとえばDRL10秒の場合，反応間時間が12秒でも20秒でも反応は強化されるのである。このため，時間弁別行動のより精度の高い分化を必要とする場合には，強化する反応間時間の上限を設定する必要がある。これを強化可能制限時間limited hold（LH）という。LHの幅を小さくすることで，より精密な時間弁別が可能になる。さらに，時間弁別や尺度構成の目的で，外部刺激呈示から反応が起きるまでの時間（反応潜時）を分化強化する反応潜時分化強化スケジュールdifferential-reinforcement-of-long latency（DRLL） scheduleが用いられる（Catania,C.，1970）。DRLLスケジュールでは，たとえば，キーに刺激が呈示され，このキーへの最初の反応の反応潜時があらかじめ決められた強化最小反応潜時を超えていれば，強化子が呈示されるのである。この手続きでは，外部刺激の呈示があるため，DRLスケジュールのように先の反応の生起からの時間計測よりも，時間計測の開始が明示的という特徴がある。さらに，ヒトの時間弁別の尺度構成の方法（時間の産出法）に類似した方法も用いられている。この方法では，最初に見本時間が呈示され，これと同じ時間間隔を再生するのである。これを見本時間つき反応潜時分化強化スケジュールdifferential-reinforcement-of-long-latency-with-a-sample-duration scheduleという（Ito,M., ＆ Asano,T.，1977）。このような反応間時間や反応潜時などの時間測度を用いた場合には，これらの分布の形状や条件つき確率である，機会当たりの反応間時間interresponse time per opportunity（IRT/op）を用いた解析が行なわれる。一般にDRLスケジュールでは，分布は最小時間単位と設定値付近の2峰性を示すが，DRLLでは，設定値付近で最大値となる単峰性である。
一方，これとは逆に高反応率を生じさせる高反応率分化強化スケジュールdifferential-reinforcement-of-high rate（DRH）scheduleは，ある時間内であらかじめ決められた反応数が生じたときに強化する手続きである。これは，短い反応間時間を分化強化するものでもあり，その結果として高反応率となるのである。さらに，一定時間反応がないと強化する他行動分化強化スケジュールdifferential-reinforcement-of-other-behavior（DRO）scheduleも用いられている。この手続きでは，当該反応が生じないときに強化子を呈示することになるので，反応に依存した強化子の呈示ではないことに注意が必要である。その結果，当該反応はほとんど生じなくなり，同時に当該反応以外の反応を強化することにもなるため，この名称がつけられたのである。
時間経過に基づく強化の手続きであるFIスケジュールとVIスケジュールは，反応が生じることで強化子が呈示されるが，強化子呈示が反応の生起とは独立に行なわれる手続きもある。これらは，固定時間スケジュールfixed-time（FT）scheduleと変動時間スケジュールvariable-time（VT）scheduleとよばれる。これらの強化スケジュールは，反応の生起とは独立に強化子が呈示されるにもかかわらず，一定の反応が維持される。こうした現象は，偶発的な強化による迷信行動の形成，あるいは強化子により誘発される摂食に関連する定型的な行動として解釈されている。また，キーつつき反応やレバー押し反応を減少させる手続きとしても用いられる。
基本強化スケジュールの一つである比率スケジュールを，強化ごとに規則的に比率スケジュールの要求する反応数が増加する手続きに変えたものを累進比率スケジュールprogressive-ratio（PR）scheduleという。この手続きでは，たとえば強化ごとに10反応ずつ比率が増加するとした場合，初期値がFR5であれば，3強化目にはFR25となるのである。このため，この手続きでは，どの比率まで被験体が反応を続けられるかが問題になる。ある程度の比率までは反応が持続するが，ある値の比率を超えると，反応しつづけることが困難になる。どの比率まで反応しつづけられるかは，強化子と密接な関係があると考えられる。このためこの手続きは，強化子の効果，とくに強化子としての薬物の効果を検出するために用いられている（反応が持続したPRの値を強化子の強化力の測度とする）。この手続きに，被験体が自ら比率を初期値へリセットできる選択肢を設ける場合もある。
【さまざまな強化スケジュールの組み合わせ】 いくつかの成分となる強化スケジュールを組み合わせたものを複合スケジュールcompound scheduleというが，これには，先行する成分スケジュールの要求を満たすと，次の成分へ移行し，最終成分の要求を満たしたときに強化される手続きと，成分ごとに要求を満たすと強化される手続きがある。たとえば，前者の例として2成分からなる連鎖スケジュールchained scheduleの場合，第1成分の強化スケジュールの要求を満たすと第2成分へ移行し，ここでの強化スケジュールの要求を満たすと強化子が呈示されるのである。このとき各成分に赤や緑の弁別刺激が付加されているので，成分の移行に伴って，外部刺激も変化する。一方，こうした各成分を区別する外部刺激を付加しない場合には，連結スケジュールtandem scheduleとよばれる。連結スケジュールは，連鎖スケジュールに対する，外部刺激が変化しない統制条件の手続きとして用いられることもある。
後者の例としては，多元強化スケジュールmultiple schedule，multi scheduleが挙げられる。たとえば，2成分から成る多元強化スケジュールの場合，第1成分の強化スケジュールの要求を満たすと強化子が呈示され，続いて第2成分へ移行し，ここでも第2成分の強化スケジュールの要求を満たすと強化子が呈示される。たとえば，mult VI 1分 VI 3分という表記は，最初の成分のVI1分スケジュールの要求を満たせば強化子が呈示され，第2成分へ移行する。第2成分のVI 3分スケジュールを満たすと強化子が呈示されることを示す。各成分は，赤や緑の外部刺激により区別される。各成分の移行は，時間経過により行なわれる場合もある。多元強化スケジュールは，継時弁別学習の手続きとして用いられる。継時弁別の手続きとして用いられる場合は，成分間の移行は，たとえば時間経過により1分ごとに正刺激と負刺激がランダムな順番で交替する。正刺激の成分では，反応は間欠的に強化され，負刺激の成分では，反応はまったく強化されない。成分間の移行に暗間隔（ブラックアウト）を入れて，成分間の交替を明瞭にすることもある。一方，こうした各成分を区別する外部刺激を付加しない場合には，混合スケジュールmixed scheduleとよばれる。混合スケジュールは，多元スケジュールに対する，外部刺激が変化しない統制条件の手続きとして用いられる。
二つの成分が同時並行的に進行するスケジュールを並立スケジュールconcurrent scheduleという。この手続きは，選択行動研究に用いられ，二つのキーやレバー，あるいはタッチパネルを選択肢として，各選択肢に異なる強化スケジュールが配置されるのである。このように，二つの異なる選択肢に強化スケジュールが配置された場合，選択肢間で交替反応が頻繁に起こる可能性がある。これを防ぐため，また二つの選択肢の独立性を保つために，反応を切り替えた直後には強化しない切替反応後強化遅延changeover delay（COD）の手続きを用いる。これは，切替反応が生じてから移行した選択肢では，強化可能状態にあっても一定時間（通常2秒程度）強化が遅延される操作である。さらに，各選択肢に連鎖スケジュールを配置した手続きを並立連鎖スケジュールconcurrent-chains scheduleという。2成分からなる並立連鎖スケジュールでは，最初の成分を第1リンク（初環），2番目の成分を第2リンク（終環）とよび，第1リンクには通常二つの独立したVIスケジュールを配置する。この方法を自由選択手続きという。これに対し，一つのVIスケジュールを用いて，どの第2リンクへ移行するかをあらかじめ決めておく方法もある。これを強制選択手続きといい，被験体の反応にかかわらず，第2リンクへの移行を選択肢間で等しくすることができる。並立連鎖スケジュールは，選択期（第1リンク）とその結果受容期（第2リンク）という二つの部分を操作的に区別できる利点があり，選択反応と摂食に至る完了反応consummately responseとを区別できる。
【スケジュール誘導性行動schedule-induced behavior】 強化スケジュールのもとで維持されている行動に，なんらかの形で依存して変化する行動のあることが知られている。たとえば，FIスケジュール下のネズミのレバー押し反応を観察すると，強化子呈示直後に，飲水行動が生じることがわかる。これは，通常の飲水量を上回るので，強化スケジュールの効果を示していると考えられる。この現象を最初に報告したフォークFalk,J.L.（1971）は，過剰飲水polydipsiaとよんだ。一般に，この例のように，行動の起こり方が他の行動に依存しているような場合，その行動を付随行動adjunctive behaviorとよぶ。このような，強化スケジュールの効果により生じた行動を，一般にスケジュール誘導性行動という。これには，飲水行動のほかに摂食行動，輪回し行動などがある。この現象を利用して，アルコールを摂取させることができる。また人間でも，日常場面で見られる「晩酌」という食事に付随する飲酒も一部は，このスケジュール誘導性行動によるものと考えられる。 →オペラント条件づけ →強化 →選択行動
〔伊藤 正人〕
出典 最新 心理学事典最新 心理学事典について 情報