施行後アンケートの読み方〜平均の外側

ある式場の施行後アンケートで、2つの月の満足度がどちらも平均4.5点だったとします。月次の報告書には同じ数字が並び、「今月も高い水準を維持しました」と書かれて終わるかもしれません。しかし、中身を開くと、この2つの月で打つべき手はまったく違います。

次の図は、説明のための仮の数字です。5段階評価で、どちらの月も10組から回答を得たものとします。

月Aは、全員が満足しているものの、半分の組が満点をつけていません。一方で月Bは、8割の組が満点をつけているのに、1組だけが1点をつけています。月Aで考えるべきことは「何があれば5点になったか」であり、月Bで考えるべきことは「1点の組に何が起きたか」です。平均値は、この2つの違いを1つの数字の中に消してしまいます。

この記事では、施行後アンケートを平均値の外側から読む方法を、設問の作り方と結果の読み解き方の両面から整理します。婚礼施設の責任者の方には設計と集計の見直しに、ウエディングプランナーの方には担当した組の結果を受け取るときの読み方に使っていただけるはずです。

平均が消すもの

冒頭の2つの月は、平均値が同じでも中身が違うという、統計の基本的な性質を示しています。総務省統計局の学習サイト「なるほど統計学園」の「データの散らばりを見る」は、平均値がどれも同じになる3つのデータを例に挙げ、データ集団は代表値だけではとらえられないと説明しています。そのうえで、中心の傾向だけでなく、データの散らばり具合にも着目する必要があるとしています。

さらに、同じ「なるほど統計学園」の「中心的な傾向を捉える」は、平均値・中央値・最頻値の3つのうち、外れ値の影響を最も受けるのは平均値だと説明しています。冒頭の月Bでいえば、1点をつけた1組が外れ値にあたります。仮の数字で中央値を求めると、月Aは4.5点、月Bは5点になり、中央値だけを見れば月Bのほうが良い月に見えます。つまり、平均値は外れ値に引っ張られて、中央値は外れ値を無視するため、どちらの代表値を見ても「1点の組がいた」という事実は報告書に残りません。

婚礼の施行後アンケートでは、この1組を見落とすことの意味が大きくなります。なぜなら、1点をつけた組は、式の当日かその準備のどこかで、はっきりした問題を経験している可能性が高いからです。「データの散らばりを見る」は、工場の抜き取り調査で測定値の散らばりが大きくなっているときは、製造過程のどこかの機械に問題があると推測できるという例も挙げています。婚礼に置き換えれば、散らばりの大きい月は、工程のどこかで問題が起きた月として読むべきです。

満点に寄る設問

では、月Aのように全員が4点か5点をつけている月は、問題がない月なのでしょうか。月Aの課題は、低い点ではなく、点数が上限に張り付いていることにあります。

5段階評価で多くの組が5点をつけると、それ以上の点は存在しないため、平均値は上がりようがありません。その結果、施設が何かを改善しても、アンケートの数字には変化が現れなくなります。逆に言えば、平均値が毎月4点台の後半で横ばいになっているのは、サービスが一定だからではなく、設問がそれ以上の差を測れない作りになっている可能性があります。

この点について、NPS（ネット・プロモーター・スコア）を提唱したベイン・アンド・カンパニーは、「Measuring Your Net Promoter Score」の中で、0から10までの11段階を使う理由を説明しています。同社は、選択肢の幅を十分に取ることで、満足した程度の体験に回答者が「5点満点中の5点」を安易につけることを避けられるとしています。5段階が悪いということではありませんが、上限に回答が集まっている設問は、段階を増やすか、聞き方を変えなければ改善を測れません。

聞き方を変える方法としては、満足したかどうかではなく、期待と比べてどうだったかを聞く方法があります。たとえば「料理はご期待を上回りましたか、ご期待どおりでしたか、ご期待を下回りましたか」と聞けば、満足している組の中でも、期待どおりだった組と期待を超えた組を分けられます。月Aでいえば、「期待どおり」の組が何に期待していたのかを知ることが、5点に届かなかった理由を探す手がかりになります。

設問を工程で切る

ここまでは、集計された数字の読み方の問題でした。しかし、月Bの1点の組について「何が起きたか」を探そうとすると、今度は設問そのものの作り方が問題になります。「全体の満足度」と「スタッフの対応」しか聞いていないアンケートでは、1点の原因が新規接客にあったのか、打合せにあったのか、当日の進行にあったのかが分からないからです。

総務省統計局の「なるほど統計学園」の「調査票の作成」は、質問文を作るときの注意点として、一つの質問に複数の内容を含めないこと、あいまいな言葉を避けて期間をはっきり書くこと、答えを誘導する文言を含めないことを挙げています。婚礼のアンケートでよく見かける聞き方を、この注意点に当てはめると、直すべき箇所がはっきりします。

表の2行目がとくに重要です。「スタッフ」という言葉は、回答する新郎新婦にとっては一つの顔ではありません。新規接客の担当、打合せの担当、当日の介添え、美容、写真、司会と、式場で出会う人は工程ごとに違います。したがって、設問は工程と担当の単位で切る必要があります。

表の右端の列は、設問を作る段階で決めておくべきものです。なぜなら、ある設問で低い点が出たときに照らし合わせる記録が決まっていない設問は、原因を調べる手段がないまま残るからです。設問を1つ増やすときは、その設問が低かったときに誰がどの記録を見るのかを、あわせて決めておくと、集計のあとの動きが変わります。

なお、設問を細かく切りすぎると、回答する新郎新婦の負担が増えます。そのため、すべての工程に同じ数の設問を置くのではなく、自社で問題が起きやすい工程に設問を厚くし、それ以外は1問ずつにとどめるという配分も考えられます。

満足と推奨を分ける

工程ごとの設問とは別に、多くの施設が「総合満足度」や「友人に勧めたいか」を聞いています。この2つは似ていますが、測っているものは違います。

日本生産性本部のサービス産業生産性協議会が運営するJCSI（日本版顧客満足度指数）は、利用前から利用後までの心の動きと行動を6つの指標でとらえ、その因果関係をモデル化しています。「統計手法（JCSI因果モデルとは）」によると、6つの指標は次のように定義されています。

JCSIの考え方では、顧客満足は期待・品質・価値の結果として位置づけられ、推奨意向やロイヤルティは満足のその後の行動として位置づけられています。この枠組みを施行後アンケートに当てはめると、「総合満足度」だけを聞いても、満足を上下させた原因は分かりません。原因を知るには、期待（成約時に何を期待していたか）、品質（工程ごとの評価）、価値（費用に見合っていたか）を別に聞く必要があります。

とくに婚礼で見落とされやすいのは、知覚価値です。料理も進行も高く評価されているのに総合満足度が伸びない組がいたとすれば、品質ではなく、最終的な金額と内容の釣り合いに引っかかりを感じている可能性があります。この場合、前の章の表で新規接客の行に置いた「成約時の見積書と最終請求額の差」が、照らし合わせる記録になります。

推奨意向を測る代表的な指標がNPSです。NPSは、ベイン・アンド・カンパニーのフレデリック・ライクヘルド氏が、Harvard Business Reviewの2003年12月号に掲載された「The One Number You Need to Grow」で示した指標です。同社の「Measuring Your Net Promoter Score」は、その計算方法を示しています。友人や同僚に勧める可能性を0から10で聞き、9〜10点を推奨者、0〜6点を批判者とし、推奨者の割合から批判者の割合を引いた値がNPSになります。7〜8点は中立者として、計算には入りません。

弊社は「今日の結婚式が、明日の結婚式をつくる」で、施行で高いNPSを得た組の事例や声が次の集客につながるという循環を示し、各部門がNPSを軸に連携する形を提案しました。その循環を回すためにも、推奨意向は満足度と混ぜずに、独立した設問として持っておくほうが扱いやすくなります。

「今日の結婚式が、明日の結婚式をつくる」

低い点から読む

設問が工程ごとに分かれていれば、集計のあとの読み方も変わります。平均値の表から読み始めるのではなく、低い点をつけた回答から1件ずつ読むという順番にすると、月Bの1組のような回答を見落とさずに済みます。

読み解きの手順は、次の4段階にまとめられます。

1. 設問ごとに、点数別の組数を並べて分布を見る
2. 低い点をつけた回答を1件ずつ取り出し、工程の表に戻して記録と照らし合わせる
3. 自由記述を、工程の単位で分類する
4. 担当者別やプラン別に分けるときは、必ず組数を併記する

2段階目で大切なのは、低い点の回答を「平均を下げた1件」ではなく、1組の新郎新婦に起きた出来事として扱うことです。そのためには、回答と担当の組を結びつけられる形でアンケートを回収しておく必要があります。無記名で回収している場合は、挙式日と会場名だけでも記入してもらえば、打合せ記録や進行表と照らし合わせられます。

3段階目の自由記述は、点数よりも多くのことを教えてくれます。ただし、自由記述を読んで感想を共有するだけでは、どの工程の話なのかがあいまいなまま終わりがちです。そこで、自由記述の一つひとつを、前の章の工程の表のどの行にあたるかで分類しておくと、点数と自由記述を同じ工程の単位で並べて読めるようになります。

4段階目の組数の併記は、小規模な施設ほど重要です。たとえば、説明のための仮の数字として、月に10組の施行がある施設を考えます。この施設では、1組の回答が変わるだけで割合が10ポイント動きます。月に4組しか担当しないプランナーの結果であれば、1組で25ポイント動きます。したがって、担当者別の満足度を月ごとに並べて順位をつけると、担当した組の数が少ない人ほど順位が大きく上下し、その上下のほとんどは1組の違いで説明できてしまいます。割合だけの表は、組数を併記しない限り比べてはいけない表です。

点数を評価に使うとき

担当者別に結果を読む段階まで来ると、施行後アンケートの点数をプランナーの評価に使うかどうかという問題が出てきます。ここで考えておきたいのは、測定される側の行動が、測定によって変わるという点です。

弊社は「測定による行動変容～新規接客と施行」で、ブライダルの現場では成約率や売上、顧客満足度が評価の対象となり、公開されることが一般的だと述べました。そのうえで、測定には良い行動変容と悪い行動変容の両方を生む可能性があり、施行では売上やNPSだけでなく、プランナー自身の気づきも評価に加えることで偏った行動を防ぐという設計を示しました。また、打合せのアンケートが目的を伝えないまま導入されると、回収率の低下や、監視されているという受け止め方につながることにも触れています。

測定による行動変容～新規接客と施行

施行後アンケートの点数を評価に使う場合、この行動変容は回収の場面に現れやすくなります。担当プランナーが新郎新婦の目の前でアンケートを手渡し、その場で書いてもらう運用では、新郎新婦は担当者の顔を思い浮かべながら点数をつけることになります。この状態で集めた点数は、満点に寄りやすくなると考えられ、前の章で見た「上限に張り付く」問題をさらに強めます。

さらに、「なるほど統計学園」の「調査票の作成」は、答えを誘導する文言を含めないことを注意点に挙げています。アンケートの依頼文に「担当者の励みになります」と書くことも、回答者に高い点を促す一文になりえます。そのため、点数を評価に使うのであれば、依頼文は中立に保ち、回収は担当者を通さない方法（後日にメールやフォームで送るなど）にしておくことが、点数の意味を守ることにつながります。

担当者に返す設計

点数の意味を守ったうえで、最後に残るのは、結果を誰に、どの形で返すかという問題です。アンケートを集計して月次報告にまとめても、担当したプランナーや各部門に工程の単位で返らなければ、次の施行は変わりません。

弊社は「本社が考えた施策の結果と評価が、現場に問われるという話」で、施策が本社から一方通行で下りてくる構造では現場の納得感が下がり、フィードバックの循環が機能しなくなることを取り上げました。施行後アンケートも同じ構造を持っています。集計する側だけが結果を見て、現場には平均値だけが伝わるのであれば、現場から見たアンケートは「書いてもらうだけのもの」になります。

本社が考えた施策の結果と評価が、現場に問われるという話

結果を返すときは、平均値ではなく、次の3つを担当者ごとに渡す形が考えられます。1つ目は、担当した組の設問ごとの点数と分布です。2つ目は、工程ごとに分類した自由記述です。3つ目は、低い点が出た組について、記録と照らし合わせた結果です。この3つがそろえば、担当者は自分の担当した組に何が起きたのかを、平均値よりも具体的に知ることができます。

業務委託のフリープランナーに打合せや施行を任せている施設では、その組の結果も同じ形で本人に返す設計にしておくことが考えられます。社員のプランナーと同じ設問で結果を受け取れば、フリープランナーも自分の担当分を社員と同じ基準で振り返ることができ、施設側も委託先の仕事を同じ物差しで確認できるからです。

プランナーの側から見ても、結果を受け取ったときに最初に見るべきなのは、自分の平均値の順位ではありません。自分が担当した組の中で、低い点をつけた組がどの工程で点を下げたのかを確かめることが、次の担当につながる情報になります。

施行後アンケートの点検

ここまでの内容を、手元のアンケートを見直すための項目にまとめます。いま使っている設問用紙と、先月の集計表を並べて確認してみてください。

冒頭の2つの月に戻ると、月Aに必要なのは「5点に届かなかった理由」を聞き出せる設問であり、月Bに必要なのは「1点の組」を工程に戻して調べる手順でした。どちらも、平均値を見ているだけでは出てこない問いです。施行後アンケートは、平均値を報告するための用紙ではなく、どの工程を直すかを決めるための記録として設計し直す必要があります。

まとめ

この記事では、施行後アンケートを満足度の平均値で読むことの限界と、設問の作り方・読み方の見直し方を整理しました。平均値が同じでも回答の分布が違えば打つべき手は変わり、満点に回答が集まる設問では、平均値そのものが動かなくなります。

改善につなげるには、設問を婚礼の工程と担当に沿って切り、満足と推奨を別の指標として聞き分けることが出発点になります。点数を担当者の評価に使う場合は、回収の仕方が回答をゆがめないように設計し、結果は工程の単位で担当者に返すことが大切です。

まずは、いま使っている設問用紙と先月の集計表を並べて、「施行後アンケートの点検」の項目を一つずつ当てはめてみてください。平均値を報告するための用紙から、どの工程を直すかを決めるための記録へと、見直すべき箇所が見えてきます。

用語解説

出典一覧

---

一覧を見る