グッドハートの法則
ある尺度が目標となったとき、それは良い尺度ではなくなる、という格言
From Wikipedia, the free encyclopedia
優先順位と背景
多くの概念がこのアイデアに関連しており、そのうち少なくとも1つはグッドハートの発言よりも前に存在していた[4]。特に、Jeff Rodamarが主張するように、さまざまな定式化が1969年にさかのぼるため、キャンベルの法則が先行している可能性が高い[5]。他の学者たちも当時、同様の洞察を持っていた。ジェローム・ラベッツの1971年の著書『Scientific Knowledge and Its Social Problems』[6]もグッドハートより前のものであるが、同じ法則を定式化しているわけではない。ラベッツは、タスクの目標が複雑、高度、または微妙である場合に焦点を当て、システム全体がどのように悪用(ゲーム化)されうるかを論じている。そのような場合、タスクを適切に実行するスキルを持つ人々は、割り当てられたタスクを犠牲にしてでも自分自身の目標を追求しようとする。目標が指標としてインスタンス化される場合、これはグッドハートやキャンベルの主張と同等であると見なすことができる。
グッドハートの発表の直後、ルーカス批判(1976年)など、密接に関連するアイデアが他の人々によって提案された。経済学に応用される場合、この法則は合理的期待のアイデアにも暗黙のうちに含まれている。合理的期待とは、報酬と罰のシステムを認識している者は、望ましい結果を達成するためにそのシステム内で自分の行動を最適化するという経済学の理論である。たとえば、従業員が毎月の車の販売台数によって報酬を得る場合、彼らは損失を出してでもより多くの車を売ろうとする。
この法則は市場の反応という文脈で生まれたが、組織における高レベルの目標の選択に深い意味を持っている[3]。ジョン・ダニエルソンはこの法則を次のように述べている。
いかなる統計的関係も、政策目的で使用されると崩壊する。
そして、金融リスクモデリングで使用するための系(コロラリー)を提案した。
リスクモデルは、規制目的で使用されると崩壊する[7]。
マリオ・ビアジョーリは、この概念を、科学出版物の重要性を推定するために引用インパクトの尺度を使用することの結果と関連付けた[8][9]。
科学的評価のすべての指標は、必ず悪用される運命にある。グッドハートの法則[...]は、経済のある特徴が経済の指標として選ばれた場合、人々がそれを悪用し始めるため、必然的にその指標としての機能を果たすことができなくなると述べている。
一般化
後の著述家たちは、金融政策に関するグッドハートの指摘を、会計および評価システムにおける測定と目標に関するより一般的な格言へと一般化した。1996年に出版された本の章で、キース・ホスキンは次のように書いている。
「グッドハートの法則」—目標となったすべての尺度は悪い尺度になるということ—は、容赦なく、悲痛なことではあるが、現代の支配的な法則の1つとして認識されつつある。悲痛なのは、この意図せざる結果の法則が非常に避けられないものに思えるからである。しかし、それが避けられないのは、それが近代の発明である「説明責任(アカウンタビリティ)」の必然的な結果であるからだと私は提案する[10]
教育における説明責任モデルの誤用に関する1997年の論文で、人類学者のマリリン・ストラザーンは、ホスキンがグッドハートの法則を「ある尺度が目標となったとき、それは良い尺度ではなくなる」と表現していることを引用し、この見解を1800年代のイギリスにまでさかのぼる説明責任の歴史と結びつけた。
ある尺度が目標となったとき、それは良い尺度ではなくなる。アッパー・セカンド(2.1)の試験成績が期待されるものになればなるほど、それは個人の成績の識別基準としては貧弱なものになる。ホスキンはこれを、金融統制の手段が金融の柔軟性を高めるための他のデバイスを発明せざるを得なくなったという後者の観察にちなんで、「グッドハートの法則」と説明している。しかし、測定可能に見える目標は、改善のための魅力的なツールとなる。改善を測定可能な増加と結びつけることで、広く適用される実践が生み出された。ホスキンの見解によれば、定量化可能な書面による評価の技術とともに、「である」と「べきである」の融合が、現代的な説明責任の発明につながったのである。これは1800年頃にイギリスで初めて「説明責任という恐ろしい考え」として明確に表現された(Ref. 3, p. 268)[1]。
例
- 研究評価に関するサンフランシスコ宣言は、科学におけるいくつかの問題を非難しているが、グッドハートの法則が説明するように、そのうちの1つは測定が目標になってしまったことである。h指数が広く普及して以来、h指数と科学的賞の相関関係は低下している[11]。
- 国際自然保護連合(IUCN)の絶滅の尺度は環境保護を解除するために使用される可能性があるため、その結果、IUCNは何かを絶滅したと分類することに対してより保守的になった[12][13]。
- 医療において、指標の誤った適用は有害な結果をもたらす可能性がある。たとえば、入院期間(LOS)を短縮しようとする病院は、不注意に患者を早すぎる時期に退院させてしまい、結果として緊急再入院を増加させる可能性がある[14]。
- トム・チバースとデビッド・チバースの著書『How to Read Numbers』によれば、イギリス政府のCOVID-19パンデミックへの対応において、1日あたり10万件のCOVID-19検査を目標として発表した際にこの法則が適用された。当初は実際に実施された検査数の目標であったが、後には検査の最大キャパシティの目標に変更された。政府が目標を達成したと発表した際、有用な診断検査の数は政府が報告した数よりもはるかに少なかった[15]。
- イギリスのサッチャー政権が広義および狭義の通貨の目標に基づいて金融政策を実施しようとしたことを批判するために使用されたが[16]、この法則ははるかに一般的な現象を反映している[17]。
関連項目
- キャンベルの法則 – 「定量的社会指標が社会的決定に使われれば使われるほど、それは腐敗の圧力にさらされやすくなる」
- コブラ効果 – 問題を解決するために設計されたインセンティブが、結果として問題を悪化させた人々に報酬を与えることになる現象
- 確証バイアス – 自分の事前の信念を裏付ける、あるいは支持する情報を検索し、思い出す傾向
- システムの悪用 – 望ましい結果を得るために規則や手順を操作すること
- ホーソン効果 – 観察されているという認識に反応して、人々が自分の行動の一部を変更する現象
- ルーカス批判 – 過去のデータで観察された関係のみに基づいて経済政策の変更の影響を予測しようとするのは素朴であるという観察
- 地図-土地関係 – 具体化の誤謬の一種で、モデルがモデル化されている対象そのものと混同されること
- マクナマラの誤謬 – 測定できないという理由で定性的な指標を無視すること
- Metric fixation
- Model collapse
- 過剰適合 – 特定のデータセットに密接に、あるいは正確に対応しすぎている分析
- ピーターの法則 – 個人は新しい役職での役割ではなく、以前の役割での成功に基づいて昇進するという法則
- Reification (fallacy)
- Reflexivity (social theory)
- レントシーキング – 全体の富を減少させながら個人の富を増加させること
- 報酬ハッキング – 人工知能が、意図した結果に達することなく、不十分に指定された報酬を最適化した場合に発生する
- Surrogation – ビジネスにおいて、関心のある構成要素の尺度が進化してその構成要素に取って代わること
- シャーキーの原則