シンプルで公平な審査を実現する「ペアワイズ比較」プロトタイプを公開しました

はじめに

コンテストやピッチイベントで「どのアイデアが一番優れているのか」を決めるのは、意外と難しいものです。

評価する側がたくさんの案を一度に比べるのは大変ですし、アイデアを聞く「順番」で印象が変わることもあります。複数の評価軸を用意して点数をつけて評価する方法もありますが、点数として定量化して評価するのは意外と大変な作業です。それに、そもそも評価軸をどうするかや、それぞれへの重み付けによって、大きく順位が変わることもあります。

政策を選ぶ際においても、政策検討の最初の段階で多数ある政策から良さそうなものを選ぶときや、住民からの多数の政策アイデアに優先順位をつけるとき、同様の課題が生まれます。

そんな課題を解決する方法のひとつが「ペアワイズ比較（pairwise comparison）」です。

ペアワイズ比較とは？

ペアワイズ比較は、2 つの案を比べて「どちらがより良いか」を判断する、非常にシンプルな方法です。たとえば、A 案と B 案を見比べて「A の方が良い」と感じたら A に一票、という具合に、すべての案をペアごとに比較していきます。

この方法の良いところは、評価者が「どちらがより良いか？」という直感的な問いにだけ答えればいい点です。点数をつけるよりも迷いが少なく、評価のブレも減ります。

この方法は、「評価基準が多元的で、単純な点数付けが難しい」「評価者が多数いて合意形成が必要」「評価者が評価に不慣れ」というときに役に立ちます。たくさんの評価者がそれぞれで評価しても、全体の順位が集約されていくのも特徴です。政策に関連する領域で実際に使用された例として、ユネスコ統計研究所（UIS）で各国の学習達成度を評価している Global Alliance to Monitor Learning は、評価のためのツールとしてペアワイズ評価ツールキットを配布しています。

審査や意思決定での活用

実際にペアワイズ比較が使われている代表例が、世界中のハッカソンやピッチコンテストです。たとえば、MIT 主催の「HackMIT」や「HackPrinceton」などの大規模ハッカソンでは、「Gavel」というオープンソースの審査システムが導入されています。Gavel は、審査員がプロジェクトをペアごとに比較して投票するだけで、全体のランキングを自動で計算してくれる仕組みです。

ハッカソンやコンテストだけではありません。政策にも「審査」や「優先順位付け」はつきものです。研究助成の審査をするきや、インフラ投資の案件の優先順位付け、参加型予算での投票などに使える時もあるでしょう。また、参加者全員が評価者にもなるような、評価者の数が多いときにも効果を発揮します。結果が順位行列として出てくるため、結果の透明性も高く、合意点や対立点が分かりやすいという点も便利です。

日本でも、東京都主催のスタートアップビジネスコンテスト「Tokyo Startup Gateway」など、多数の応募案を効率よく・公平に審査する必要がある場面で、ペアワイズ比較のような仕組みが今後活用できるのではないでしょうか。

どんな場面でおすすめ？

ペアワイズ比較は、特に次のような場面で力を発揮します。

• アイデアやプロジェクトの数が多いピッチコンテストやハッカソン、初期の政策検討段階
• 審査員が多様で、一定の評価軸を基準とした点数化が難しい場合
• 公平性や納得感を重視したい場合

ただし、評価の前には評価基準を明示すること（コスト重視か、社会的インパクト重視か、など）や、グルーピングしてから比較するなど、導入にはいくつかのコツがあるので注意してください。

新しく公開したペアワイズ比較プロトタイプについて

私たちは、このペアワイズ比較の考え方を活用した Web アプリのプロトタイプを開発し、公開しました。このアプリは、誰でも評価イベントを作ることができ、その評価イベントに複数の評価者が参加して、登録されたすべての案の中から順次 2 つの案が表示され、2つの案を連続して比較投票することで、案の順位付けができる仕組みを持っています。投票結果はリアルタイムで集計^[1]され、全体のランキングが自動的に表示されます。

https://pep-pairwise-judge.replit.app/

重要な注意点

この Web アプリは評価管理者、および評価実行者に対して固有のURLを発行しますが、URLを知っている人からは入力されたデータが閲覧できる状態になります。したがって、個人情報や機密情報など、公開したくない情報は入力しないようにしてください。安全に利用するための配慮をお願いいたします。また、本 Web アプリはペアワイズ比較を体験するためのプロトタイプとして公開しており、今後予告なく公開を終了する可能性があります。

使い方

 上記URLにアクセスし、「新しい評価を作成」ボタンをクリックすることで評価の作成が可能です。

評価を作成すると以下のように管理者用URL、および評価者用URLが発行されます。
管理者用URLおよび評価者用URLは、第三者に不用意に共有しないようご注意ください。

管理者用URLからは、評価結果の閲覧や評価するアイテムの編集が可能です。こちらの管理URLがないと作成した評価の管理パネルへアクセスできないため、作成した後は紛失しないようご注意ください。

評価者用URLからは、ペアワイズ比較を実際に体験することが可能です。

おわりに

ペアワイズ比較は、「どちらが良い？」という直感的な問いかけを積み重ねることで、複雑な審査もシンプルかつ納得感のある形にまとめてくれる方法です。今後、ピッチコンテストやハッカソン、さらには市民参加型のアイデア審査など、さまざまな場面でこの手法が広がっていくことを期待しています。

[1] 投票結果の集計に際し、本アプリは CrowdBT アルゴリズム（Chen et al. (2013) ）および Gavel による CrowdBT アルゴリズムの実装を参考にしています。