AIにおける自社の可視性を確認しましょう
無料。クレジットカードは不要です。
AI はあなたの会社を推奨しますが、製品の機能はすべてのプランで利用できると付け加えます。リンクは実際のページにつながります。ただし、これを開くと、この機能は特定のパッケージでのみ使用できます。あなたのブランドは言及され、引用されましたが、顧客は誤った約束を受け取りました。
これには、ソースカウンターではなく、特定のクレームの評価が必要です。この記事では、回答が参照資料と一致しているかどうかを検討します。これは、一般的な可視性のガイドでも、モデルのエラー率の研究でもありません。例は仮説です。ソース文書は 2026 年 10 月 5 日にチェックされました。
事実の正確さと引用の正確さを区別する
2 つの質問をしてください:「その情報は、評価されている条件下で真実ですか?」 「参照資料は実際にそれをサポートしていますか?」引用が間違っていても、ステートメントは真実である可能性があります。情報源は、現在の製品を説明していない古い情報をサポートしている場合もあります。
で 大規模な言語モデルで引用を含むテキストを生成できるようにする、研究者は回答の正しさを引用の質から区別します。私たちは、2023 年の実験結果を現在の製品に当てはめることなく、その区別を利用します。
リンクの役割も記録します。文の横にある参照、結合されたソースリスト、および「関連」リソースは、異なる意味を持つ場合があります。の Gemini アプリのドキュメント アプリにはソースや関連コンテンツが表示される場合があり、すべての回答にそのようなリンクが含まれるわけではないと説明しています。リスト全体をすべての文に自動的に割り当てないでください。
顧客にとって重要な主張を選択する
機能の範囲、プランの条件、互換性、市場での入手可能性、実装要件など、顧客が決定するために使用できる情報から始めます。 「便利なツール」のような一般的な判断には、統合に関する検証可能な事実とは異なる基準が必要です。
複数の約束を含む文を別々のクレームに分割します。 「この製品は統合をサポートし、24 時間以内のサポート応答を保証します」には 2 つの確認事項が含まれています。そうしないと、正しい部分が間違った部分を隠してしまう可能性があります。
監査の境界を定義します: 質問、AI 製品、モード、言語、市場、期間。元の質問、完全な回答、日付を保存してください。その後情報源を尋ねると、会話が変わります。その結果を元の回答のソースとしてではなく、後続のステップとして保存します。 API の結果をユーザー向けアプリと同一視せずに、API の結果としてラベル付けします。
主張と証拠の記録を作成する
評価単位は、割り当てられた情報源とともに 1 つのクレームです。複数のリンクが共同してステートメントをサポートしている場合は、それらの結合されたコンテンツを評価し、すべての URL を保持します。参考文献が増えたからといって、クレームの評価が増えるわけではありません。
- コンテキスト: 質問、AI 製品、モード、言語、市場、回答日。
- 主張: 正確な文言とそれが適用される条件。
- 帰属: 割り当てられた URL と、それらが文にどのように接続されているか。
- 証拠: 短いソースの抜粋、ページ上の位置、および取得日。
- 現在の状態: 現在の状態とその所有者を説明する公式資料。
- 評価: 情報源のサポート、文脈における事実の正確さ、および推論。
- 次のステップ: 優先順位、責任者、修正と再チェックの方法。
ページのタイトルや検索スニペットだけでなく、コンテンツを読んでください。製品名、バージョン、市場、プラン、資格を確認してください。組み合わせた出典リストを文に確実に結び付けることができない場合は、証拠をでっち上げるのではなく、不確かな出所を記録してください。
明示的なルールを使用してソースを評価する
これらのラベルは、独自の監査の提案です。これらは Semly 指標でも、AI プロバイダーが使用する公式のスケールでもありません。完全なクレームとその重要な条件を評価します。
| 引用評価 | いつ使用するか | 何を記録するか |
|---|---|---|
| サポートされています | 割り当てられた資料は、評価された文脈において主張全体を裏付けています。 | 事実とその状況を裏付ける文章。 |
| 部分的にサポートされています | これらは主張の一部を支持していますが、その全範囲や重要な条件を支持しているわけではありません。 | 何がサポートされていて、何が不足しているのか。 |
| 矛盾している | 引用された情報源は、主張と矛盾する情報を提供しています。 | 正確な不一致、バージョン、日付。 |
| ソースではサポートされていません | 資料は読むことができますが、主張の証拠はありません。 | 欠けている基礎。自動的にそれを虚偽として扱わないでください。 |
| ソースが提供されていません | 答えは、その主張に割り当てられる資料を提供していません。 | 引用がないこと。事実の正確さを個別に評価してください。 |
| 検証不能 | アクセスできない、帰属が不確かである、または必要なバージョンが欠落している場合、結論を得ることができません。 | その理由と足りない証拠。 |
係争中の事件を2人目にレビューしてもらいます。分類ルールを変更した場合は、新しいバージョンを記録し、比較対象の資料を再評価します。これにより、ラベルの変更だけで結果が変わることを防ぎます。
サービス条件に関する例を見てみる
現在のドキュメントでは統合が Pro プランでのみ利用可能になっている架空のソフトウェアを想像してください。そのサポート ポリシーでは、通常の初回応答時間は最大 48 営業時間であり、SLA の保証はありません。一般的な製品ページには、ファイルのエクスポートについての説明がありません。これはトレーニングの例であり、Semly や他の実際の会社の説明ではありません。
| AIの主張 | 割り当てられたソースコンテンツ | 監査結果 |
|---|---|---|
| 統合はすべてのプランで機能します。 | この統合は Pro プランでのみ利用できます。 | 矛盾しています。 「すべてのプラン」では提供範囲が変わります。 |
| サポートからの返信は 24 時間以内に保証されます。 | 通常 48 営業時間以内。保証された SLA はありません。 | 矛盾しています。時間が変更され、保証が追加されました。 |
| 本製品はCSVエクスポートをサポートしています。 | 一般的な製品説明には輸出については記載されていません。 | このソースではサポートされていません。機能ドキュメントを別途確認してください。 |
リンク先のページで議論されていないという理由だけで、最終的な主張を虚偽としてマークしないでください。別のリソースでエクスポート機能を確認できる場合があります。その場合、事実は真実になりますが、引用は間違った位置のままになります。
今日のページの内容は、回答が生成されたときにそのページに何があったのかを証明するものではありません。保存版がない場合は、今日の資料との一致を評価し、歴史的評価の限界を述べてください。
原因を修正し、意思決定の証跡を保存する
ドキュメントが不正確または曖昧な場合は、製品所有者が管理する場所でドキュメントを改善してください。例外を遠くの FAQ に隠すのではなく、Promise の横に条件を置きます。複数のリソースで同じサービスについて説明している場合は、最新の事実に関する共有ソースを確立します。の ブログとナレッジベースの役割分担 助けることができます。
問題が外部資料にある場合は、作成者向けの証拠を含む具体的な修正を準備します。ソースは正しいが、その回答が条件を歪める場合は、例を保持し、製品の利用可能なチャネルを通じて報告することを検討してください。レポートやページの編集によってすぐに回答が変更されるとは考えないでください。
顧客への影響に基づいて優先順位を付けます。存在しない統合を約束するには、不正確な形容詞を使用する場合とは異なる対応が必要です。修正に所有者と再チェック日を割り当てます。履歴を上書きするのではなく、新しい回答を前の回答と並べて保持します。
可視性とは別に引用の質をレポートする
Semly では、保存されている回答とそのソースを検査できます。これらは評価への入力となります。ブランドの存在感、肯定的な感情、または回答における立場によって、すべての文が文書と一致しているかどうかが決まるわけではありません。証拠と条件を個別に確認します。
カスタム指標が必要な場合は、完全にサポートされている引用クレーム / 評価済みの引用クレームとして定義します。最初の 4 つのテーブル カテゴリを分母に含めます。出典のない主張、検証不能な主張、除外理由を個別に報告してください。分母がゼロの場合は、0% ではなく結果なしを報告します。
パーセンテージの横に数と質問範囲を表示します。この指標は、評価されたセットを説明するものであり、全体的な「AI の真実性」を説明するものではありません。説明なしに異なるモードやマーケットを組み合わせないでください。繰り返しは独立した観察を保証しません。
品質監査と修正の効果のテストは別のタスクです。で比較プランを解説しています。 記事更新前後のテスト;単一の改善された回答から因果関係を推測しないでください。
有用なコンテンツを保存し、SEO ポリシーに従います
監査では、類似したページをさらに公開するのではなく、1 つの条件を明確にすることが求められる場合があります。 Googleの スパムポリシー 主にユーザー価値を持たずにランキングを操作するために作成されたページを含む、大規模なコンテンツの悪用について説明します。
情報を明確かつ最新に保ち、構造化データを表示テキストと一致させます。の Google Search AI 機能のドキュメント AI Overviews と AI モードには特別な Schema.org タイプも個別の AI ファイルも必要ないと述べています。このガイダンスは、すべてのモデルに一括してではなく、これらの Google 機能に適用されます。
- 質問、完全な回答、AI プロダクト、モード、日付を保存しました。
- いくつかの検証可能な約束を含む文を分割しました。
- 特定の主張や顕著な不確実性については出典を割り当てました。
- 引用資料の条件、製品バージョン、範囲を読みました。
- 私は事実の正確さと引用の裏付けを別々に評価しました。
- 取得日と歴史的評価の制限を記録しました。
- 修正所有者と再チェック方法を割り当てました。
- 不足している引用文献やアクセスできない情報源を分離し、レポート内の誤りを確認しました。
FAQ: AI 引用の正確性の監査
公式ページへのリンクは、回答全体を検証するものですか?
いいえ。特定の文章と割り当てられたソースを確認してください。公式資料は回答の一部のみをサポートしている場合や、異なる製品条件をサポートしている場合があります。
情報源が欠落しているということは、AIが誤った情報を提供したということなのでしょうか?
いいえ。それは、その回答が明確な証拠を提供していないことを意味します。関連文書を使用して事実を個別に評価できます。
今日のページを使用して古い回答を評価できますか?
現在の状態と比較することはできますが、その情報源が過去に何を含んでいたのかを証明するものではありません。両方の日付を記録し、不足している履歴バージョンにフラグを立てます。
Semly はすべての引用が正しいかどうかを自動的に判断しますか?
このプロセスでは、Semly は保存された回答と分析用のソースを提供します。リソースが特定の事実とその条件をサポートしているかどうかを判断することは、監査人にとって別のタスクです。
ドキュメントを修正すると、AI の正確な回答が保証されますか?
いいえ。明確な情報にアクセスしやすくなりますが、情報源の選択や正しい解釈が保証されるものではありません。比較可能な回答を再確認して保存します。
共有:
