人事施策の効果測定

因果関係の把握

一般的によくある効果測定の手法は、前後比較です。例えば、若手営業職に対する研修を実施し、研修前後の半年間で、営業実績・顧客満足度を比較する等のケースはよく見られます。しかし、仮に営業成績が一見上がっていたとしても、それが時間の経過（業務への慣れや社内ネットワークの構築等の他の要因）により改善した可能性が大いに考えられます。その施策による効果なのか（因果関係）、その他の要因の影響なのか（相関関係）は分からない状態です。

因果関係を読み解く最良のやり方は、ランダム化比較実験（Randomized Controlled Trial: RCT）と呼ばれており、ビジネスの分野ではＡ/Ｂテストという名で多用されています。ポイントはランダム化にあり、一定のサンプルサイズさえあれば、2つのグループを統計的に同質な集団とみなせるメリットがあります。仮に見えない要因（前述した業務への慣れなど）がある場合においても、ランダム化をすることで、その要因の影響を消し去ることが可能となります。

事例: 在宅勤務の導入実験

コロナ禍以前の話ですが、中国の大手旅行代理店Ctripが、実験により在宅勤務の生産性を測定していました（Bloom et al. 2015）。検討のアプローチとしては、まず実験に関心のある社員群を、誕生日が偶数か奇数かの2群に分けます。その上で、奇数グループのみ、9か月間トライアルで在宅勤務を実施しました。ここでは誕生日が偶数か奇数かのランダム要素により、施策を実施する群／実施しない群へ分けたことで、在宅勤務以外の要因（通勤時間の長さや、好む労働環境など）の影響を消し去っています。実験の結果、施策を実施した群は、受注件数などのパフォーマンス指標が上昇したため、特定の条件を満たす社員全体へ、在宅勤務を本格導入することになりました。

ランダム化比較実験の難しさ

しかしながら、人事施策の効果検証にランダム化比較実験を導入することは、現実的に難しい面もあります。企業の多くは、内部公平性の観点から特定の社員に限り施策を行うことに抵抗感があるでしょう。また倫理性の観点からも、個人のキャリアに影響を与えうる出来事を実験対象とすることに違和感を覚えるかもしれません。

こうした問題に対する一つの考え方として、施策をランダムに行う代わりに、施策の「順番」をランダム化する考え方があります。例えば、全国に複数の拠点がある企業において、刷新した企業理念やミッションの浸透施策として、経営陣が全国事業所を1年かけて回り、各拠点でタウンホールミーティングを行うケースがあります。この一連の拠点訪問の途中で、理念浸透度を測定することで、施策が実施された拠点／実施されていない拠点がランダムに分かれる状況を作り出すことができます。

自然実験・疑似実験的アプロ―チ

ランダム化比較実験は、人が主体的に実験計画を考え、その効果を検証する手法です。一方、自然実験（Natural Experiment）という考え方は、意図的に実験計画を進めるのではなく、何らかの理由で実験に似た状況が起きた場面を探し出し、その疑似的な実験で、施策の効果を検証する手法です。そんな状況が都合よく見つかるものかと疑念を抱かれるかもしれませんが、比較的応用が効きそうなアプローチを1つご紹介します。

回帰不連続デザイン（Regression Discontinuity Design: RDD）

施策のルールに明確な閾値が設定されている場合に、その境界線に近いグループを比べる方法論です。例えば、社員のリスキリングの一環として、英語のトレーニングプログラムを提供する際に、その対象者をTOEIC700点以上の社員に限定する場合などが考えられます。

ルールの閾値付近の社員（ほんの少し700点を下回ったグループと、ほんの少し上回ったグループ）は、施策の有無以外に英語力に影響を与える大きな要因はなく、概ね同質なグループと考えられます。この両者の英語力を施策の前後で比べることで、施策の効果を測定します。

分析のイメージ

グラフ上の直線は、比較対象である700点付近の社員の得点傾向を示しています。各グループ共に、元々のTOEIC得点が高い人ほど、新たに受験した試験の得点は高くなります。注目すべきは、施策の対象となる人事情報TOEIC700点の境界で非連続的なジャンプが起きている点です。700点を境にこのような変化が起こることは不自然であり、この変化が施策の効果と考えられます。

　
以上、本コラムでは人事施策の因果関係を探るための基本的な枠組みを取り上げました。最初は労力や時間の面から躊躇するかもしれませんが、施策の重要度によっては、今後は実験デザインや自然実験のアプローチを視野に入れた設計が必要となっていくと考えます。

【参考文献】
Bloom, N., J. Liang, J. Roberts and Z. J. Ying（2015）“Does Working from Home Work? Evidence from a Chinese Experiment, ” The Quarterly Journal of Economics, Vol.130, No.1, pp.165-218.