
マルチモーダル検索とは、文字だけでなく、画像、音声、自然な文章など、複数の入力方法を使って商品を探せる検索の仕組みです。
たとえば、商品名が分からなくても写真から似た商品を探したり、「雨の日の通勤で使える軽い黒いバッグ」のような文章から条件に合う商品を探したりできます。
ただし、画像検索やAI検索を導入すれば、自動的に商品が見つけやすくなるわけではありません。
商品名、SKU、カテゴリ、色、サイズ、素材、用途、価格、在庫といった商品データが不十分なら、検索結果も不正確になります。
また、検索結果が0件になる、関連性の低い商品が並ぶ、検索後に商品ページへ進まないといった問題は、高度なAIを導入する前に改善できる場合があります。
この記事では、ECサイトにおけるマルチモーダル検索の意味、画像・音声・自然文検索の違い、必要な商品データ、検索ログの見方、導入手順、KPIを実務目線で解説します。
- マルチモーダル検索は画像・音声・自然文など複数の入力を扱う検索
- 閲覧履歴からの推薦とは分けて考える
- 高度な検索機能より先に商品データを整える
- 検索ゼロ件・表記ゆれ・絞り込み不足を先に改善する
- 画像検索では商品ごとの参照画像とID管理が重要
- alt属性はアクセシビリティと検索エンジンの画像理解に使う
- 構造化データとサイト内検索は同じ仕組みではない
- 検索後の商品到達・カート追加まで測定する
マルチモーダル検索とは
マルチモーダル検索とは、異なる情報形式を検索入力や商品理解に利用する検索方法です。
| 検索方法 | 入力例 | 向いている状況 |
|---|---|---|
| テキスト検索 | 黒 バッグ A4 | 商品名や条件を言葉にできる |
| 自然文検索 | 雨の日の通勤で使える軽いバッグ | 複数条件を文章で伝えたい |
| 画像検索 | 写真・スクリーンショット | 商品名を知らず、見た目で探したい |
| 音声検索 | 話し言葉で条件を入力 | 文字入力をせずに探したい |
| 画像+テキスト | この形で黒の商品 | 画像だけでは指定できない条件を追加したい |
購入履歴や閲覧履歴から商品を提示する仕組みは、主にパーソナライゼーションやレコメンドです。マルチモーダル検索では、画像・音声・文章などの検索入力をどう商品へ結び付けるかを中心に考えます。
ECサイト検索で最初に確認する5つの問題
画像検索や自然文検索を導入する前に、現在のサイト内検索が正常に機能しているか確認します。
| 問題 | 症状 | 改善候補 |
|---|---|---|
| 検索ゼロ件 | 商品はあるのに0件になる | 類義語、表記ゆれ、辞書 |
| 検索結果のズレ | 関係の薄い商品が上位に出る | 属性、カテゴリ、ランキング |
| 絞り込み不足 | 商品数が多すぎて選べない | 色、価格、用途、サイズ |
| 商品データ不足 | 条件検索に一致しない | SKU、属性、用途を整備 |
| 検索後の導線不足 | 検索されても商品ページへ進まない | 結果表示、画像、価格、在庫 |
通常検索で表記ゆれやゼロ件が大量に発生している場合は、商品データと辞書を先に修正した方が原因を把握しやすくなります。
マルチモーダル検索に必要な商品データ
検索システムが商品を正しく比較できるように、商品情報を項目ごとに整理します。
| データ | 例 | 用途 |
|---|---|---|
| 商品ID・SKU | BAG-001-BK | 商品を一意に識別する |
| カテゴリ | バッグ > ビジネスバッグ | 検索範囲を絞る |
| 色 | 黒、ネイビー | 条件検索 |
| 素材 | ナイロン | 条件・類似検索 |
| サイズ | A4対応、幅40cm | 適合判断 |
| 重量 | 650g | 「軽い」などの条件 |
| 用途 | 通勤、出張 | 自然文検索 |
| 機能 | 撥水、PC収納 | 悩み・条件検索 |
| 価格・在庫 | 8,800円・在庫あり | 購入可能な結果を表示する |
| 商品画像 | 正面、側面、使用状態 | 画像検索・商品理解 |
商品説明だけに属性を埋め込まない
「軽量で通勤に便利な黒いバッグ」と文章へ書くことは商品理解に役立ちます。
一方、検索システムが色、重さ、用途を個別の属性として利用できる場合は、文章だけでなく各データ項目にも登録します。
どの項目が検索対象になるかは、利用しているECカートや検索サービスによって異なります。登録前に検索対象フィールドとフィルター条件を確認してください。
画像検索を改善する
画像検索では、利用者が送った写真と、商品側に登録した参照画像を比較して類似商品を探す方式があります。
そのため、商品ページに画像が表示されているだけでなく、検索システム側で商品と参照画像が正しく結び付いていることが重要です。
商品側で用意したい画像
- 商品の全体が分かる画像
- 異なる方向から見た画像
- 主要な色違い
- 形や素材が分かる画像
- 必要に応じて商品部分を識別しやすい画像
画像検索結果で確認すること
- 似た外観の商品が上位に出る
- カテゴリが違うだけの商品を大量に出さない
- 在庫切れだけで結果を埋めない
- サイズ・用途など重要条件も確認できる
- 該当商品がない場合に別の探し方を提示する
見た目が近い商品でも、対応サイズ、素材、使用目的が違う場合があります。画像類似度だけでなく商品属性も合わせて絞り込める設計が必要です。
alt属性とファイル名の役割を分ける
商品画像のalt属性は、画像を見られない利用者へ内容を伝えるために重要です。
また、Googleはページ本文、画像周辺の文章、alt属性などを使って画像内容を理解します。
ファイル名も画像内容を示す軽い手掛かりとして利用されます。
| 項目 | 主な役割 |
|---|---|
| alt属性 | アクセシビリティ、検索エンジンの画像理解 |
| ファイル名 | 検索エンジンへ画像内容の補助情報を伝える |
| 参照画像 | サイト内の画像検索システムで商品を比較する |
| 商品ID | 検索結果と販売商品を結び付ける |
alt属性の最適化と、画像検索エンジンへの商品・参照画像登録は別の作業です。
自然文検索を改善する
自然文検索では、利用者が複数条件を文章で入力します。
「雨の日の通勤に使えて、A4が入り、できるだけ軽い黒いバッグ」
この入力から、用途、対応サイズ、重量、色、機能などを検索条件として扱える状態を作ります。
対応したい条件
- 用途
- 対象者
- 場所・使用環境
- 色
- 大きさ
- 重量
- 素材
- 機能
- 予算
- 在庫
曖昧な表現をどう扱うか
「軽い」「小さめ」「高級感がある」などは、商品によって意味が異なります。
検索結果を一つに決めつけず、必要に応じて条件を聞き返したり、複数候補を提示したりします。
「A4対応・650g・撥水のため候補に表示」といった条件を示せると、利用者が結果を比較しやすくなります。
音声検索を導入するときの確認
音声入力は検索条件を文字へ変換する入力方法として利用できます。
音声を導入する場合も、最終的に利用する商品データが不足していれば検索精度は上がりません。
確認項目
- 認識した文字を利用者が確認できる
- 誤認識した内容を修正できる
- 音声を使えない場合に文字入力できる
- 商品名やブランド名の認識を確認する
- 周囲の雑音がある場合の動作を確認する
- 録音・保存を行う場合は利用目的を確認する
音声を利用できない環境や利用したくない人もいるため、通常のテキスト検索を残します。
マルチモーダル検索の前に検索ログを分析する
現在のサイト内検索ログには、利用者がどの言葉で商品を探しているかが表れます。
確認するデータ
- 検索回数が多い語句
- 検索結果が0件になる語句
- 同じ意味の表記ゆれ
- 検索後に商品をクリックされない語句
- 何度も検索し直される語句
- 検索後に購入された語句
| ログの状態 | 考えられる問題 | 改善候補 |
|---|---|---|
| ゼロ件が多い | 類義語・属性不足 | 辞書、タグ、商品データ |
| 検索後に再検索される | 結果が意図と合っていない | 順位、絞り込み、自然文処理 |
| 商品をクリックされない | 結果の表示情報が弱い | 画像、価格、在庫、比較項目 |
| 検索後に離脱する | 該当商品不足・操作性 | 代替商品、カテゴリ、検索UI |
検索結果0件を改善する
画像・音声・自然文検索へ進む前に、通常検索のゼロ件を減らします。
0件時の対応例
- 類似する検索語を提案する
- 別名・略称へ対応する
- 誤字を修正候補として表示する
- 関連カテゴリへ案内する
- 条件を解除できるようにする
- 該当条件を満たさない理由を示す
- 問い合わせ先を案内する
検索条件と関係のない人気商品を表示しても、利用者の目的は解決しません。まず条件に近いカテゴリや代替条件を提示します。
検索結果ページも改善する
検索精度が高くても、結果一覧から違いを判断できなければ商品ページへ進みにくくなります。
検索結果に表示したい情報
- 商品画像
- 商品名
- 価格
- 在庫状態
- 主要な違い
- 色・サイズ
- 検索条件に一致した理由
スマートフォンでは、一画面に情報を詰め込みすぎず、比較に必要な要素を優先します。
Google向けの商品構造化データも確認する
自社サイト内検索とは別に、Google検索へ商品情報を伝える方法としてProduct構造化データがあります。
商品ページでは、条件を満たすProduct・Offer情報によって、価格、在庫、送料、返品情報などがGoogleの商品表示へ利用される場合があります。
ただし、構造化データを追加しても検索順位やリッチ表示は保証されません。
Product構造化データは主にGoogleなどへ商品情報を伝えるためのものです。自店の画像検索や自然文検索を動かすデータ設計とは分けて管理します。
小規模ECでの導入優先順位
| 段階 | 行うこと | 導入判断 |
|---|---|---|
| 1 | 検索ログを取得する | 現在の問題を把握 |
| 2 | ゼロ件・表記ゆれを改善する | 通常検索を整備 |
| 3 | 商品属性を整える | 検索データを改善 |
| 4 | 絞り込みと検索結果を改善する | 現在のUIを改善 |
| 5 | 自然文検索を試す | 条件が複雑な商品向け |
| 6 | 画像・音声検索を試す | 実際の需要がある場合 |
| 7 | 利用結果を比較する | 継続・拡大を判断 |
マルチモーダル検索を改善する7手順
検索回数、ゼロ件、再検索、商品クリックを確認します。
表記ゆれ、商品属性不足、該当商品なし、検索順位の問題へ分けます。
SKU、カテゴリ、属性、画像、価格、在庫を確認します。
類義語、ゼロ件、絞り込み、結果画面を修正します。
自然文、画像、音声から、現在の問題に合う方法を選びます。
対象カテゴリや商品数を限定し、誤検索やゼロ件を確認します。
検索利用だけでなく、商品ページ到達、カート、購入、離脱を確認します。
マルチモーダル検索で確認するKPI
| KPI | 確認すること |
|---|---|
| 検索利用率 | 検索機能が実際に使われているか |
| ゼロ件率 | 商品を提示できない検索が多くないか |
| 検索結果クリック率 | 結果から商品が選ばれているか |
| 再検索率 | 結果が意図と合わず検索し直していないか |
| 検索後商品到達率 | 商品ページへ進めたか |
| 検索後カート追加率 | 購入候補を見つけられたか |
| 検索後購入率 | 最終的な購入へつながったか |
| 検索後離脱率 | 検索体験が行き止まりになっていないか |
ゼロ件率=検索結果が0件だった検索回数÷全検索回数×100
検索結果クリック率=検索結果から商品がクリックされた検索回数÷検索結果が表示された検索回数×100
検索後商品到達率=検索後に商品ページへ進んだセッション数÷検索を利用したセッション数×100
一つの独自指標だけで判断せず、ゼロ件、商品クリック、再検索、カート追加などを組み合わせて、どこで商品発見が止まっているか確認します。
公開前にテストするケース
テキスト・自然文
- 正確な商品名
- 略称
- ひらがな・カタカナの違い
- 複数条件を含む文章
- 曖昧な条件
- 存在しない条件
画像検索
- 商品単体の画像
- 背景に物が写った画像
- 角度が異なる画像
- 一部だけが写った画像
- 似ているが別カテゴリの商品
音声検索
- 一般的な商品名
- ブランド名
- 複数条件
- 雑音がある状態
- 誤認識後の修正
結果が0件になる入力、曖昧な画像、誤認識した音声なども確認し、利用者が別の方法で探し直せるようにします。
マルチモーダル検索でよくある失敗
AI検索から導入する
現在の検索ログと商品データを先に確認します。
画像・音声・自然文を同時に追加する
どの機能が改善につながったか判断しにくくなるため、一つずつ試します。
alt属性を画像検索機能そのものだと考える
アクセシビリティ・検索エンジン向け情報と、サイト内画像検索の参照画像を分けます。
商品名だけを検索対象にする
色、サイズ、用途、機能などの属性も整えます。
ゼロ件で人気商品だけを表示する
利用者の検索条件に近い代替語やカテゴリを優先します。
検索数だけを見る
商品クリック、再検索、カート、購入、離脱も確認します。
高度な機能を導入して更新しない
新商品、在庫、価格、カテゴリ変更に合わせて検索データを更新します。
マルチモーダル検索改善チェックリスト
検索ログ
- 検索回数を確認できる
- ゼロ件語を確認できる
- 再検索を確認できる
- 検索後の商品クリックを確認できる
商品データ
- SKUが重複していない
- カテゴリが整理されている
- 色、サイズ、素材、用途を登録している
- 価格と在庫を更新できる
画像
- 複数方向の商品画像がある
- 商品と参照画像を結び付けている
- alt属性が画像内容を説明している
- 類似商品検索を実際の画像で確認した
検索結果
- 商品名、画像、価格が分かる
- 在庫を確認できる
- 条件で絞り込める
- ゼロ件から戻れる
- スマートフォンで操作できる
計測
- ゼロ件率を確認できる
- 検索結果クリック率を確認できる
- 検索後カート追加を確認できる
- 検索後購入を確認できる
- 検索後離脱を確認できる
マルチモーダル検索に関するFAQ
マルチモーダル検索とは何ですか?
テキストだけでなく、画像、音声、自然な文章など複数の入力方法を使って商品を探す検索の仕組みです。
通常のサイト内検索との違いは何ですか?
通常の検索はキーワード入力が中心です。マルチモーダル検索では、画像や音声など別の入力形式も商品検索へ利用します。
小規模ECでも画像検索を導入すべきですか?
必須ではありません。まず検索ログ、ゼロ件、商品属性、絞り込みを改善し、写真から探したい需要が確認できる場合に検討します。
alt属性を整えると画像検索の精度が上がりますか?
Googleなどが画像内容を理解する助けにはなりますが、自社サイト内の画像検索では別途、商品IDや参照画像を検索システムへ登録する仕組みが必要な場合があります。
自然文検索では商品説明を長くすればよいですか?
文章量だけでは不十分です。検索システムが利用する色、サイズ、用途、素材などの商品属性を正確に登録することが重要です。
構造化データを設定するとサイト内検索も改善しますか?
直接改善するとは限りません。Product構造化データは主にGoogleなどへ商品情報を伝える仕組みで、自社の検索エンジンが利用する商品データとは別に確認します。
マルチモーダル検索の効果は何で測定しますか?
検索利用率、ゼロ件率、検索結果クリック率、再検索率、商品ページ到達、カート追加、購入、離脱を確認します。
まとめ
- 現在の検索ログを確認する
- ゼロ件・表記ゆれ・再検索を確認する
- SKUと商品属性を整理する
- 通常の検索結果と絞り込みを改善する
- 解決する問題に合う入力方法を選ぶ
- 自然文・画像・音声から一つを試す
- 例外入力とゼロ件をテストする
- 商品ページ到達とカート追加を測定する
- 継続・修正・停止を判断する
マルチモーダル検索は、画像検索やAI検索を追加すること自体が目的ではありません。
利用者が商品名を知らない場合や、複数の条件を言葉で表しにくい場合でも、目的の商品へたどり着ける検索体験を作るための手段です。
最初に行うべきなのは、検索ログ、検索ゼロ件、商品属性、検索結果ページの確認です。
そのうえで、自然文、画像、音声のうち、現在の顧客課題に合う方法を一つ選びます。
画像検索を導入する場合は、alt属性だけではなく、商品IDと参照画像を検索システムへ正しく結び付ける必要があります。
導入後は検索回数だけでなく、商品ページ到達、再検索、カート追加、購入、離脱まで確認することが重要です。