AIにおける自社の可視性を確認しましょう
無料。クレジットカードは不要です。
このプロトコルは 1 つの記事の更新を評価します。言及、引用、Web サイトのトラフィックをより広範に解釈するには、以下をお読みください。 AI でブランドの認知度を測定する方法。
記事を改善した後に引用が増えるのは有望な兆候ですが、更新が機能したことはまだ証明されていません。同じ期間中に、システムの応答、競合他社のソース、または測定プロセスが変更された可能性があります。アップデートを評価するには、記録されたベースラインと明確な比較ルールが必要です。
以下のプロトコルは、マーケティング チーム向けの実用的な提案です。選択された AI システムで観察可能な応答をカバーします。ランキングのメカニズムについては説明しておらず、監視だけで因果関係が確立されるとは想定していません。
1つの記事を更新するときに何を測定する必要がありますか？
変更の目的に関連する主な成果を 1 つ選択してください。ガイドを改善して顧客からの質問がより頻繁に寄せられるようにする場合、賢明な目標は、そのガイドの特定の URL を引用する回答の割合です。製品の推奨事項を評価している場合、記事へのリンクだけではビジネス上の質問に答えられない可能性があります。
このプロトコルでは、次の定義を使用します: テストされた URL の引用率 = その URL の少なくとも 1 つの可視引用を含む正常に取得された応答の数 / テストされたセット内の正常に取得された応答の総数 × 100%。
テストされたリソースへの 3 つのリンクを含む応答は 1 回カウントされます。リダイレクトを識別し、追跡パラメータを削除する方法を事前に決定します。同じドメイン上の他のページの引用を個別に記録します。これにより、ホームページの引用数が増加しても、ガイドの更新が成功したとしてカウントされなくなります。
テストされた URL が目に見えて引用されていない有効な応答は、この尺度でスコアが 0 になります。取得エラー、機能停止、または空の結果ではデータが欠落しています。インターフェイスに役割が不明瞭な関連リンクが表示される場合は、それを引用として自動的にカウントするのではなく、別のカテゴリに割り当てます。
表示されているソース リンクを測定します。存在しないことは、モデルがコンテンツをよく知らないということを証明するものではありません。また、このテストは全体的な市場シェアやすべてのユーザーの実際のクエリを測定するものではありません。
私たちのガイドでは、より広範囲の指標をカバーしています。 AI でブランドの認知度を測定する。ここでは、単一の編集上の変更を評価することに焦点を当てます。
アップデートを公開する前にプロトコルを書き留める
測定前に短い計画を作成しておくと、求める結果に合わせて質問や日付を選択するリスクが軽減されます。結果が決定的でない場合にどうするかを決めます。最初に良好な結果が得られた後は、達成基準を変更しないでください。
| プロトコルフィールド | 何を記録するか |
|---|---|
| 仮説と変化 | 期待する効果と、統合要件の表の追加など、記事の改善している部分。 |
| 変更を受け取るユニット | 特定の URL または関連ページのクラスター全体。更新を受信しているページと受信していないページのリスト。 |
| 質問 | 顧客からの自然な質問の固定リスト。各質問はリソースと意図に割り当てられています。 |
| 測定条件 | システム、製品またはインターフェース、利用可能なモデルのバージョン、検索モード、言語、市場、スケジュール、繰り返し回数。 |
| 主な結果 | 1 つの結果定義、URL 識別ルール、および有効な応答と欠落データの基準。 |
| 比較とタイミング | 比較リソース、ベースライン期間、導入日、移行期間、および観察の終了。 |
| 決定 | ビジネスにとって重要な改善、結論を妨げる制限、テストをいつ繰り返すか。 |
質問もアップデート前の内容に適合する必要があります。新しい段落が一言一句答えるような質問だけを追加しないでください。中立的な例は、「オンライン ストアを倉庫管理システムに接続するには、どのような要件を満たす必要がありますか?」です。 「新しい記事を使って答えてください」という指示は、情報源を選択する自然な可能性ではなく、指示に従っていることをテストします。
ブランド名を含む質問と含まない質問を分けてください。どちらの期間でも表現を変更しないでください。手動測定の場合は、追加のソースを要求する前に、新たに会話を開始し、最初の応答を保存します。 API の結果とコンシューマー アプリの結果を別のシリーズとして保持します。
ベースラインを確立し、スケジュールを設定する
変更前の 1 つの応答と変更後の 1 つの応答では、自然な変動はわかりません。同じ質問と同様の頻度で、時間をかけて複数の測定を行います。完全な応答、リンク、測定時間、およびモードとモデルに関する利用可能な情報を保存します。
運用スケジュールの例としては、次のものが考えられます。
- アップデート前の 2 週間のベースライン測定。
- 古いバージョンを保存し、新しいコンテンツが公開されたときに記録します。
- 事前に定義された 1 週間の移行期間（別途報告）。
- 変更後 2 週間観察し、その後、固定日に評価を行います。
これは作業計画の一例であり、プロバイダーが推奨する待機期間ではありません。測定頻度と結果のばらつきに応じて期間を選択します。移行週は、システムが新しいバージョンを取得したことを保証するものではありません。ログやインデックス情報が利用可能な場合は、コンテンツが特定の応答で使用されたことを証明するものではなく、アクセスの裏付けとなる証拠として使用してください。
良好な測定値が得られた後、すぐにテストを停止しないでください。製品、検索モード、または回答収集方法が変更された場合は、比較可能性の切れ目をマークします。異なる条件を 1 つの結果に組み合わせるのではなく、必要に応じて新しいシリーズを開始します。
計画された測定値、有効な応答、欠落した結果を期間ごとに個別に報告します。更新後に難しい質問に対する回答が不釣り合いに欠落している場合、引用率の上昇はデータ ミックスの変化を反映している可能性があります。欠落が異なる場合は、同様の範囲の共通の質問セットも比較します。
更新を環境の変更から分離する
比較リソースを追加します。これは、テスト中に更新しない同様のガイドまたはクラスターです。同様の目的を果たし、同等の季節性を持ち、同じ条件下で測定される必要があります。展開前に、両方のシリーズの平均だけでなく、その軌跡を検査してください。
更新はページまたはクラスターに割り当てられるため、グループはそのレベルで定義する必要があります。同じ更新されたページを指す 2 つの質問セットは、独立した比較グループを作成しません。共有テンプレートの変更が両方のリソースに影響を与える場合、または新しい内部リンクが比較ページにも影響を与える場合にも、同様の問題が発生します。
大規模なテストでは、比較可能なページをいくつかランダムに選択して更新し、観察終了後に残りのページを改善できます。単一の記事ペアをパイロットとして扱います。質問を繰り返すと観察数が増加しますが、独立したページが増えることに代わるものではありません。
PR キャンペーン、新しいレビュー、オファーの変更、Web サイトの再構築、機能停止、測定方法の変更などのイベント ログを保存します。両方のグループの同時成長は、共通の変化を示している可能性があります。グループ間の違いについても説明が必要です。特に、イベントがグループのうちの 1 つにのみ影響を与える場合には説明が必要です。
評価可能なコンテンツ変更を行う
統合要件を明確にし、検証可能な例を追加するなど、一貫した範囲を選択します。両方のバージョンのコピーを保管しておいてください。テキスト、URL、タイトル、リンク、プロモーションを一緒に変更すると、パッケージ全体を評価することになります。結果を 1 つの段落に帰するのではなく、仮説の中でそれを述べてください。
このアップデートは、古い情報を削除したり、条件を説明したり、確認できる資料を提供したりすることで、読者を支援する必要があります。 Googleの Google Search の生成機能に関するガイダンス 役立つオリジナルのコンテンツとSEOの基本を重視します。その スパムポリシー 主にランキング操作を目的とした大規模なコンテンツ作成などの行為を禁止します。質問のバリエーションごとにほぼ同一の個別のページを作成したり、ブランドの推奨を強制する隠れた説明を作成したりしないでください。
Google のルールは Google Search に適用されます。 ChatGPT、Gemini アプリ、および Perplexity をそれぞれの環境で評価します。当社のナレッジ ベースでは、コンテンツ更新プロセス自体をカバーしています。 AI と LLM のコンテンツ リサイクル (ポーランド語).
変化を計算する: 比較グループを使用した例
以下の数値は私が考えた計算例です。これらは Semly の調査や顧客キャンペーンによるものではありません。簡単にするために、1 つのシステム、固定条件、および等しい質問範囲をカバーします。各期間には、各グループで繰り返された測定からの 300 の有効な応答が含まれています。
| グループ | アップデート前 | アップデート後 | 変更 |
|---|---|---|---|
| A: 更新されたリソース | 60 / 300 = 20% | 105 / 300 = 35% | +15パーセントポイント |
| B: 比較リソース | 60 / 300 = 20% | 75 / 300 = 25% | +5パーセントポイント |
チャート: 例示的なデータのみ。テストされたリソースの URL を引用した有効回答の割合は、グループ A では 20% から 35% に、グループ B では 20% から 25% に増加しました。変化の差は 10 パーセント ポイントです。
変化の差を計算します: (35% − 20%) − (25% − 20%) = 10 パーセント ポイント。グループ A だけを比較すると、15 パーセントポイントの増加が示されます。グループ B を含めると、更新されなかったリソースでも何らかの改善が見られたことがわかります。
この比較は、差分の差分法を利用します。因果関係の解釈には、更新が行われなかった場合の両方のグループの同様の結果の軌跡を含む仮定が必要です。の 世界銀行が並行傾向とそれをチェックする限界について説明。この単純化された例では、10 パーセント ポイントが変化の差を表します。アップデートによって自動的に影響されるわけではありません。
表のみに基づいて結果が統計的に有意であるとは言えません。 300 回繰り返された応答は、300 人の独立したユーザーまたはページを意味するものではありません。同じ質問とリソースの測定は依存する可能性があります。不確実性を評価するには、データ構造と更新がどのように割り当てられたかを考慮する必要があります。
Also examine how the result is distributed.改善の対象となるのは多くの質問ですか、それとも頻繁に繰り返される 1 つの質問ですか? Does it persist on later dates? Report systems separately.異なるシステムからの応答の割合が変化した場合、結合された結果は誤解を招く可能性があります。
この測定に Semly をどのように使用できますか?
Semly を使用して、質問、ブランドのプレゼンス、回答に表示されるソースを監視します。応答プレビューを使用すると、特定の測定を再確認し、リンクがテストされた記事、ドメイン上の別のページ、または外部リソースを指しているかどうかを確認できます。利用可能なシステムの範囲は、プランと監視構成によって異なります。
テスト用に別の更新ログを保存します: URL、コンテンツのバージョン、展開日、割り当てられた質問、比較リソース。同じ期間の回答や情報源と照合してください。この記事の引用率の定義は、独自の分析のための提案であり、Semly の組み込みメトリックまたは実験機能の名前ではありません。
レポートでは、テストされたリソースの引用、ブランドの言及または推奨、トラフィックとコンバージョンの 3 つのレベルに分けられます。あるレベルでの変更が自動的に他のレベルでの変更を意味するわけではありません。 Google Search Console のオーガニック パフォーマンスを Web サイト分析の訪問者の行動と合わせてチェックし、データの範囲と制限を考慮します。
How should you decide what to do after the test?
まず測定の品質を評価し、次に変化のサイズを評価します。更新をさらに多くのページに拡張する前に、次のチェックリストに取り組んでください。
- 質問、スケジュール、条件は両方の期間で同等です。
- 欠落しているデータは文書化されており、セットの構成は実質的に変更されていません。
- 結果は、ドメインへのリンクだけではなく、正しい URL に関するものです。
- 比較グループは、アップデートや明らかな波及の影響を受けませんでした。
- 既知の同時発生イベントと環境変化が記録されます。
- 改善は複数回の読書で見られ、質問によって確認されています。
- 評価には、事前に設定されたビジネス基準が使用されます。
- このレポートは観察を因果関係の主張から分離し、次のステップを特定します。
結果が良好で持続し、大きな交絡要因が見られない場合は、より比較可能なリソースで同様の変更をテストします。両方のグループが同様に成長する場合は、共通の原因を探します。条件やデータ範囲が変更された場合、結果は決定的なものにならない可能性があります。改善を検出できなかったとしても、その変更が決して役に立たないという証明にはなりません。
このサンプル データの正確なレポートには、「リソース A の引用率は 15 パーセント ポイント上昇し、リソース B の引用率は 5 パーセント上昇しました。変化の差は 10 パーセント ポイントでした。結果はテストされた質問セットに適用され、より多くのリソースにわたって複製する必要があります。」となります。
FAQ: AI で記事の更新をテストしています
アップデートの翌日に応答を確認するだけで十分ですか?
この読み取り値は、最初の観察となる可能性があります。評価には、ベースライン、繰り返しの測定、および比較可能な条件が必要です。すべてのシステムが新しいページ バージョンを使用するという普遍的な期限はありません。
比較対象となる同様の記事がない場合はどうすればよいですか?
変更の前後で結果を観察できますが、比較グループがないことを明確に開示します。すると、時間の経過に伴う変化とそれに伴う出来事が現れます。この結果をアップデートによるものとする根拠は弱くなっています。
信頼性の高いテストには 300 件の回答で十分ですか?
普遍的な番号はありません。結果のばらつき、独立したページの数、測定間の依存関係、検出したい変化のサイズがすべて重要です。この例の数値 300 は、計算を説明するためにのみ使用されています。
より多くの引用はより多くの売上を意味しますか?
引用は、AI 応答で観察された情報源です。販売には、顧客の行動とコンバージョンを個別に測定する必要があります。引用率だけから収益を得るのではなく、結果を個別に報告します。
このプロトコルは公式の Google 指示ですか?
これは、Semly 読者向けに用意された測定計画案です。 Google への参照は、コンテンツの品質と検索ポリシーに関するものです。 Google は、ここで提示されているスケジュール、サンプル サイズ、または更新の評価方法を推奨するものではありません。
共有:
