実験速度と学習速度

2017年11月30日  ダン・トマ氏
実験速度と学習速度
（ダン・トマ氏が"The Corporate Startup bookウェブサイト"に掲載したブログ記事を、本人の許可を得て翻訳、掲載しています）

私はイノベーション会計の重要KPIとして「実験速度」を推奨してきたが、それは誤りだった。何がいけなかったのか、どう修正するかをこれから述べたい。しかしはじめに、「実験速度」がイノベーション会計すべてを統制するKPIだと私が当初結論付けてしまった背景を説明させてほしい。

財務KPIは新事業の計測に利用すべきでない。生まれたてのベンチャーが成熟企業と財務KPIで競うのは不可能だ。だから動的で柔軟なKPIシステムを新たに作る必要がある。そうしなければ、大企業は新たな社内ベンチャーへの投資を正当化できないだろう。

しかし大企業の防衛本能として、十分に検証された財務KPIシステムの有用な代替手段なしには、そして投資判断における差し迫った必要性が無ければ、従来からのコンフォートゾーンに戻ってしまう。結局のところ、利益重視の考え方が何十年も大企業の成長の中心なのだ。

しかし想定条件を実証しないことが事業失敗の最大の原因なのだから、なんらかの対策が必要である。リーンスタートアップ思考の神話は、製品チームが事業開始前に想定条件を検証するよう推奨する。この考え方が大企業の世界にも徐々に普及しつつあるため、「実験速度」が標準的なROIの代替として適切なKPIのように思えたのだ。

では「実験速度」の何が問題なのか？

まず第一に、意図的かどうかは別として「実験速度」はごまかし可能だ。「実験速度」を測定していることを製品チームが知っていれば、こまごまとした小さなこと一つ一つを実験として主張するかもしれない。あるいは余計な疑いをかけないとしても、製品チームは実験を適切に設計する方法を知らないのだから、その速度がいくら速くても、結果に対する影響力は低い。

リーンスタートアップをすべての製品チームの手順として大手の優良企業向けにイノベーション・エコシステムの設計を行う中で、イノベーション会計のKPIとして「実験速度」を使うことが、誤解につながる場面を何度か目撃した。

以下の2つのチームの成績を見てみよう。
グリーンチーム：実験結果

オレンジチーム：実験結果

明らかに、グリーンチームはオレンジチームよりも多く実験を行っている。グリーンチームの平均「実験速度」は2.1回／週で、オレンジチームの平均「実験速度」はたったの1.3回／週だ。もし「実験速度」を成績評価のKPIとするならば、疑いなくグリーンチームが勝者だ。

しかし、中身を精査すると違う結論に至る。すべての実験のうち具体的な学びに結び付いたものがいくつかを見ると、どのようにして「実験速度」が誤った結論を導くかがわかる。
グリーンチーム：実験結果

オレンジチーム：実験結果

見ての通り、両チームの平均「学習速度」はほぼ同じで、約0.75回／週だ。

製品チームの目標は、なるべく速く実証による学習をする事なのだから、「学習速度」を「実験速度」より重視すべきだ。しかし、取り換えればよいというものでもない。

実験の結果として学習に結び付くというのは本当だが、100%の相関性を得るのは非常に難しい。実験が具体的な学習を生み出さない理由は多々あるが、結果は同じで時間のムダとなる。

各チームの「実験学習比率」を見ることで、チームの状況が良くわかり、支援が必要な場合にはどんな支援をすればよいかもわかる。

「実験学習比率」が1以下の場合を考えてみよう。このチームは複数段階の（じょうご型の）実験をし、各段階で学習結果を収集しているのかもしれない。この場合に注意すべき点は、このチームが複数の変数を使った実験をしている可能性があり、適切に実施していなければ誤った結論に達している可能性があることだ。

今度は「実験学習比率」が1以上の場合を考えてみよう。このようなチームは、得られた学びの数よりも多くの実験を実施したことになる。このことから推測できるのは、このチームが意味のある実験を設計するのに苦労している可能性があり、コーチングが必要かもしれない事だ。あるいは最悪の場合、このチームは「インチキ」をして、高い「実験速度」を得ようとしている。

「実験学習比率」がちょうど1であれば、チームが実施した実験の数とチームの得た学びの数の相関が100%という事になる。これが最適な状態といえる。

特筆すべき重要な点は、時間がたってチームの習熟度が高まるにつれ、実験速度が落ちることだ。これは、徐々に実験が複雑になり、準備の手間が増えるためだ。したがって、それぞれの速度を個別に測定するのでなく、その比率を見る方がより適切と言える。

「事業の助走距離(Runway)」が、「残り時間」を「実験・学習サイクルの所要時間」で割ったものであることを踏まえると、「学習速度」が「実験速度」に勝る。

結局のところ、イノベーションの測定とは、単に速度や比率を測ることではない。これらはあくまで戦術であり、戦術とは状況に応じて使い分けるもの、全体の方向性を示すのが戦略だ。イノベーション会計システム策定の戦略とは問うべき質問を変えることである。質疑の対象となる製品の成熟度に応じて適切な質問を問うべきということだ。

※本記事のオリジナルはダン・トマ氏が定期的に寄稿している「The Future Shapers」に掲載されたものです。