Overte viditeľnosť svojej firmy v AI
Zadarmo, bez platobnej karty.
Hlavné výsledky výskumu Semly
Viditeľnosť značky v AI je vhodné skúmať vo vzťahu k potrebám človeka, ktorý sa pýta, a k priebehu jeho rozhovoru s modelom. Výskyt značky v odpovedi na všeobecný dopyt ešte nehovorí, či ju systém odporúča používateľovi, pre ktorého je ponuka vhodná. V metóde Semly preberá Leon úlohu používateľa opísaného personou a vytvára kontext v rozhovore pred položením cieľovej nákupnej otázky.
V Semly rozvíjame tento prístup s AI agentom Leonom. Šesť mesiacov sme vykonávali výskum a experimenty s dopytovaním ChatGPT a Gemini. Súbor poskytnutý pre správu zahŕňa 1,2 milióna dopytov, 24 agregovaných záznamov a 12 porovnávacích párov. Analýza pokrýva šesť kohort a dva prístupy k príprave obsahu: bez persony a s personou.
Priemerný čas dosiahnutia rovnakého cieľa viditeľnosti bol 100 dní bez persony a 70 dní s personou. To znamená skrátenie o 30%, teda priemerne o 30 dní. Relevantnosť obsahu vzrástla zo 61,5% na 77,5% - o 16 percentuálnych bodov. V oboch systémoch pozorujeme rovnaký smer rozdielu.
Výsledky podporujú využívanie person pri plánovaní obsahu a analýze viditeľnosti. Umožňujú konkrétnejšie zadanie: pre koho materiál vzniká, aké kritériá výberu má vysvetliť a na aké námietky odpovedať. Opakovateľnosť odpovedí a vplyv na konverziu vyžadujú samostatné ukazovatele; tento súbor neumožňuje ich účinok číselne vyjadriť.
| Informácia | Hodnota | Podklad |
|---|---|---|
| Rozsah práce | Šesť mesiacov, ChatGPT a Gemini | Opis výskumu Semly |
| Dopyty v súbore | 1 200 000 | Súčet počítadiel na začiatku a konci merania |
| Štruktúra porovnania | 24 záznamov, 12 párov | 6 kohort × 2 systémy × 2 prístupy |
| Priemerný čas do cieľa | 100 oproti 70 dňom | Skrátenie o 30% |
| Relevantnosť obsahu | 61,5% oproti 77,5% | Rozdiel 16 percentuálnych bodov; 1200 hodnotení na prístup |
| Opakovateľnosť a konverzia | V súbore nie je číselný ukazovateľ | Samostatné oblasti hodnotenia |
Prečo samotná otázka neopisuje potreby zákazníka
Dopyt „Kde kúpim pohodlné bežecké topánky?“ neurčuje povrch, skúsenosti, rozpočet ani spôsob využitia. Odporúčanie preto môže zodpovedať širokej kategórii produktov, kým značka potrebuje vedieť, či oslovuje rekreačného bežca v lese, začiatočníka na asfalte alebo účastníka pretekov.
Informácia „Behám rekreačne najmä po lesných chodníkoch a hľadám topánky na krátke tréningy“ situáciu spresňuje. V prístupe Semly môže Leon predstaviť tento kontext na začiatku rozhovoru a po interpretácii odpovede prejsť k cieľovej otázke. Hlavná nákupná potreba zostáva rovnaká, ale podmienky merania zahŕňajú personu, zámer a predchádzajúce správy. To je dôležité pri interpretácii rastu či poklesu viditeľnosti.
Persona určuje úlohu a scenár používateľa, ktoré Leon využíva v rozhovore s modelom. Agent v ňom vytvára vlastný kontext a približuje výskum spôsobu, akým človek používa chat. Nejde o rekonštrukciu histórie konkrétneho skutočného používateľa. Je vhodné začať potrebami a obmedzeniami súvisiacimi s produktom. Vek, pohlavie a ďalšie demografické znaky majú byť odôvodnené skúmaným scenárom.
Oficiálne odporúčania OpenAI a Googlu uvádzajú, že relevantný kontext pomáha vymedziť úlohu a jej obmedzenia [1][2]. To tvorí základ návrhu dopytov.
Ako AI agent Leon prepája znalosť značky s kontextom používateľa
Leon vytvára persony zo znalostí o značke, jej produktoch, službách a existujúcom obsahu. Potom vo výskume plní úlohu používateľa zodpovedajúceho zvolenému profilu. Začne rozhovor, predstaví sa modelu a interpretuje jeho odpoveď. Na tomto základe rozpozná, kedy môže položiť cieľový prompt s kontextom a zámerom. Výsledok odpovedá na praktickú otázku: zahŕňa AI značku do rozhovoru používateľa, ktorého potreby zodpovedajú ponuke?
Táto úloha prepája monitoring s plánovaním obsahu. V odpovediach možno hľadať kritériá výberu, námietky a informácie, ktorými model odôvodňuje odporúčania. Ak na webe značky chýbajú údaje pre určitý scenár, analýza môže viesť k zadaniu na doplnenie obsahu.
Leon vedie rozhovor v úlohe používateľa
Výskum vedený Leonom má priebeh rozhovoru. Agent sa najprv predstaví modelu ako skúmaný používateľ podľa zvolenej persony. Tým uvedie jeho situáciu a potreby. Po získaní odpovede si ju prečíta a interpretuje vzhľadom na cieľ rozhovoru.
Interpretácia odpovede je súčasťou fungovania agenta. Leon posúdi, či už môže prejsť k cieľovej otázke. Jej okamih vyplýva z priebehu rozhovoru a prijatej odpovede. Cieľový prompt obsahuje kontext a zámer používateľa a zaznieva v rozhovore, v ktorom už model má predchádzajúce informácie o ňom.
Tento spôsob dopytovania je bližší ľudskému používaniu chatu. Používateľ opíše situáciu, prečíta si odpoveď a na jej základe formuluje ďalšiu otázku. Leon túto úlohu plní vo výskume, takže možno odporúčanie značky analyzovať v kontexte rozvíjajúceho sa rozhovoru.
Zámer určuje rozhodnutie, ktoré chce používateľ urobiť. V bežeckom príklade môže byť kontextom rekreačný beh po lesných chodníkoch a zámerom výber a kúpa vhodných topánok. Leon požiada o odporúčanie po interpretácii predchádzajúcej odpovede, keď vyhodnotí, že môže položiť cieľovú otázku.
Na interpretáciu výsledku je dôležitá celá história rozhovoru. Rovnaké znenie záverečnej otázky môže viesť k rôznym odpovediam, ak skoršie správy uvádzajú iné potreby. Výskum preto musí identifikovať cieľový prompt aj rozhovor, v ktorom zaznel.
Opis procesu vysvetľuje Leonovu úlohu a priblíženie výskumu interakcii v chate. Poskytnuté agregáty však neoddeľujú účinok predstavenia, interpretácie odpovede ani výberu okamihu otázky. Výsledky 30% a 16 percentuálnych bodov nepripisujeme samostatne žiadnej z týchto fáz.
| Fáza rozhovoru | Leonova činnosť | Význam pre výskum |
|---|---|---|
| Predstavenie | Preberá úlohu používateľa podľa persony a začína rozhovor | Uvádza situáciu a potreby používateľa |
| Odpoveď modelu | Prijíma a interpretuje odpoveď | Zohľadňuje priebeh rozhovoru |
| Rozhodnutie o ďalšej otázke | Rozpozná, kedy môže položiť cieľový prompt | Prispôsobuje okamih odpovedi |
| Prompt so zámerom | Kladie cieľovú otázku s kontextom a zámerom v tomto rozhovore | Umožňuje hodnotiť odporúčanie v kontexte používateľa |
Čo znamená skrátenie času o 30 percent
Súbor predpokladá spoločnú počiatočnú viditeľnosť 20% a spoločný cieľ 40%. Viditeľnosť je počet odpovedí odporúčajúcich značku delený počtom dopytov. Ide o nárast o 20 percentuálnych bodov. Prístupy opisujú prípravu obsahu a výsledok sa podľa predpokladov hodnotí voči rovnakému cieľu a panelu otázok.
Priemerný čas do cieľa je 100 dní bez persony a 70 dní s personou. Skrátenie počítame ako (100 - 70) / 100 × 100%, teda 30%. Rozdiel je 30 dní. Presná formulácia znie „o 30% kratší čas na dosiahnutie rovnakého cieľa“.
Pre tím budujúci viditeľnosť to potenciálne znamená kratší cyklus od poznania potrieb po zamýšľaný výsledok. Prevádzková interpretácia je dôležitá: lepšie zacielený obsah môže obmedziť ďalšie úpravy. Súbor však neoddeľuje pracovný čas redakcie ani jednotlivé príčiny rozdielu, preto celý efekt nepripisujeme výhradne Leonovej automatizácii.
Údaje zahŕňajú počiatočný a konečný stav aj čas do cieľa, ale nemajú denný časový rad viditeľnosti. Graf preto ukazuje čas potrebný na spoločný výsledok. Nekreslíme podľa neho krivku naznačujúcu rovnomerné narastanie účinku.
Graf 1. Priemerný čas do spoločného cieľa 40% viditeľnosti: 100 a 70 dní. Podklad: 12 porovnávacích párov v údajoch Semly. Rozdiel: 30 dní, teda skrátenie o 30%.
Relevantnosť obsahu a presnosť odpovedí sú rôzne miery
Relevantnosť znamená podiel hodnotených materiálov považovaných za zodpovedajúce potrebám persony. Každý záznam obsahuje 100 hodnotení. Bez persony ide celkovo o 738 relevantných obsahov z 1200, s personou o 930 z 1200. To zodpovedá 61,5% a 77,5%.
Rozdiel je 16 percentuálnych bodov. Relatívny nárast voči počiatočným 61,5% je približne 26,0%. Ide o dve vyjadrenia rovnakých údajov, ale rôzne jednotky. V texte aj grafe zostáva hlavnou mierou rozdiel v percentuálnych bodoch.
Relevantnosť obsahu nie je totožná s pravdivosťou odpovede modelu. Odpoveď môže vyhovovať potrebám a zároveň obsahovať nesprávny parameter produktu. Presnosť je preto vhodné hodnotiť zvlášť: zohľadňuje model požiadavky, je odporúčanie vhodné a potvrdzujú informácie zdroje?
Výsledok 77,5% ukazuje pri prístupe s personou vyšší podiel materiálov zodpovedajúcich potrebám. Umožňuje hovoriť o relevantnejšom výbere obsahu v tomto súbore. Keďže sú k dispozícii iba agregáty bez jednotlivých hodnotení a podrobnej rubriky, správa neuvádza štatistickú významnosť a nestotožňuje relevantnosť s faktickou správnosťou všetkých odpovedí AI.
Graf 2. Relevantnosť obsahu: 61,5% a 77,5%, rozdiel 16 percentuálnych bodov. Podklad: 1200 hodnotení na prístup v údajoch Semly. Ukazovateľ opisuje súlad s potrebami persony; nie je mierou konverzie.
Výsledky pre ChatGPT a Gemini
V ChatGPT je priemerný čas do cieľa 95 dní bez persony a 66,5 dňa s personou. V Gemini ide o 105 a 73,5 dňa. V oboch systémoch to znamená skrátenie o 30%. Porovnanie ukazuje rovnaký smer rozdielu v analyzovaných skupinách.
Relevantnosť v záznamoch ChatGPT je 60,5% bez persony a 76,5% s personou. V Gemini je to 62,5% a 78,5%. V každom systéme ide o rozdiel 16 percentuálnych bodov. Každá kombinácia systému a prístupu zahŕňa 600 hodnotení obsahu.
Rozdelenie podľa systémov overuje, či spoločný priemer neskrýva odlišné výsledky. V tomto súbore sú rozdiely medzi prístupmi konzistentné v ChatGPT aj Gemini. Nejde však o rebríček kvality modelov: čas a relevantnosť opisujú analyzované postupy a obsah.
V praxi je vhodné viesť samostatné profily viditeľnosti pre každý systém. Rovnaký obsah a potreby môžu byť prezentované inak. Leonove odporúčania možno potom hodnotiť pre konkrétny systém a scenár bez redukovania celej prítomnosti značky na jediné číslo.
Graf 3. Priemerný čas do spoločného cieľa v ChatGPT a Gemini. Podklad: 6 porovnávacích párov na systém, údaje Semly. Výsledok opisuje analyzované prístupy, nie rebríček kvality modelov.
| Systém AI | Čas bez / s personou | Relevantnosť bez / s personou |
|---|---|---|
| ChatGPT | 95 / 66,5 dňa | 60,5% / 76,5% |
| Gemini | 105 / 73,5 dňa | 62,5% / 78,5% |
Výsledky v šiestich kohortách
Súbor zahŕňa kohorty M1-M6. Priemerný čas, počítaný v každej kohorte pre oba systémy, je bez persony 75, 85, 95, 105, 115 a 125 dní. S personou ide o 52,5, 59,5, 66,5, 73,5, 80,5 a 87,5 dňa.
Rozdiel je viditeľný pri kratších aj dlhších časoch. V M1 predstavuje 22,5 dňa, v M6 37,5 dňa. Vo všetkých poskytnutých pároch tvorí čas s personou 70% času bez persony. Tento stály vzťah ukazujeme priamo a nepovažujeme ho za mieru opakovateľnosti odpovedí modelov.
M1-M6 označujú kohorty, nie šesť následných meraní viditeľnosti jednej značky. Rastúce časy nemožno čítať ako zhoršenie účinnosti v ďalších mesiacoch. Analýza sezónnosti a zmien potrebuje kalendárne dátumy a denné či týždenné merania.
Úplné hodnotenie by malo zahŕňať aj prípady, ktoré pred koncom pozorovania nedosiahli prah. Súbor takéto prípady samostatne nevyčleňuje. Tento rozsah treba zohľadniť pri návrhu ďalších porovnaní.
Graf 4. Čas do cieľa v šiestich kohortách, priemer dvoch systémov, údaje Semly. Kohorty M1-M6 nie sú mesačným časovým radom viditeľnosti jednej značky.
Rovnaká otázka pre viac person
V rámci práce Semly sme skúmali aj rovnakú základnú otázku pre viac person. Leon preberá úlohu používateľa každého profilu a pred cieľovou otázkou vedie rozhovor. To umožňuje rozpoznať, ako potreby, zámer a predchádzajúci kontext ovplyvňujú odporúčania a informácie užitočné pri nákupe. Pri bežeckých topánkach možno porovnať začiatočníka na asfalte, rekreačného bežca v lese a človeka s dlhšími terénnymi tréningmi. Nasledujúca matica ilustruje metódu a nie je prepisom odpovedí z výskumu.
V každej odpovedi je vhodné zaznamenať odporúčané značky, argumenty výberu, technické požiadavky, námietky a citované URL. Porovnanie ukazuje informácie spoločné pre rôzne scenáre a tie, ktoré patria ku konkrétnej potrebe. Zadanie môže zahrnúť spoločné jadro a doplnkové sekcie pre rozdiely.
Semly používa tieto pozorovania ako základ relevantnejších odporúčaní pre obsah. Poskytnutý súbor však nemá identifikátory person, úplné prompty ani odpovede modelov. Správa preto nepripisuje číselný účinok konkrétnej persone a nezoraďuje značky, ktoré odporúča.
| Ilustratívny scenár | Otázky na analýzu odpovede | Možný obsah |
|---|---|---|
| Začiatočník, krátke asfaltové trasy | Objavujú sa kritériá pohodlia a správneho usadenia? | Výber prvého páru, veľkosť a použitie |
| Rekreačný beh po lesných chodníkoch | Zohľadňuje odpoveď povrch a priľnavosť? | Terénne podmienky a porovnanie podrážok |
| Dlhšie tréningy v teréne | Aké obmedzenia a parametre model uvádza? | Porovnanie riešení pre dlhšiu záťaž |
Ako z odpovedí viacerých person vzniká zadanie pre obsah
Priebeh rozhovoru môže priniesť informácie pre zadanie ešte pred konečným odporúčaním. Skoršia odpoveď ukáže kritériá vyžadujúce vysvetlenie a Leonova cieľová otázka ich spojí so zámerom používateľa. Analýza celého dialógu pomáha hľadať užitočný obsah pre jednotlivé fázy rozhodovania.
Najprv treba oddeliť kritériá výberu od názvov značiek. Samotný zoznam odporúčaných firiem nevysvetľuje ich prítomnosť. Redakcii viac pomôže informácia, že používateľ potrebuje porovnanie použitia, vysvetlenie kompatibility alebo jasné podmienky vrátenia.
Potom sa tieto potreby porovnajú s materiálmi značky. Chýbajúca dôležitá odpoveď môže odôvodniť aktualizáciu existujúcej stránky. Rozdiely medzi skupinami môžu odôvodniť samostatnú sekciu či porovnanie. Rozhodnutie má vychádzať z užitočnosti pre človeka, nie z mechanického množenia stránok pre každú personu.
Zadanie môže obsahovať scenár používateľa, potrebné rozhodnutie, hlavné kritériá, overiteľné údaje o produkte, námietky a zdroje. Ak sa analýza týka lesných trás, má materiál vysvetliť využitie produktu aj jeho obmedzenia.
Takto pripravený obsah môže byť relevantnejší pre človeka prichádzajúceho z odpovede AI. To podporuje hypotézu lepšej konverzie. Jej potvrdenie však vyžaduje porovnanie správania používateľov a predajných výsledkov po zavedení.
Opakovateľnosť vyžaduje opakované merania
Stály opis persony a konzistentné pravidlá rozhovoru uľahčujú porovnanie meraní. Keďže Leon interpretuje odpoveď pred cieľovou otázkou, treba kontrolovať aj históriu a pravidlá rozhodnutia. Opakovateľnosť procesu a zhodu konečných odpovedí je vhodné merať oddelene.
Navrhnutý test má zachovať verziu modelu, režim vyhľadávania, jazyk, lokalitu a pravidlá začiatku relácie. Je vhodné porovnávať úplné rozhovory s rovnakou personou a cieľom aj odpovede pri identicky obnovenom kontexte. Prvé porovnanie hodnotí variabilitu celého procesu, druhé finálnej odpovede. Základný panel a panel s personami majú bežať paralelne.
Možno merať stabilitu výskytu značky, zhodu množín odporúčaných značiek a zhodu citovaných zdrojov. Pre množiny A a B je jednoduchou mierou podiel spoločných značiek v množine všetkých značiek z oboch odpovedí. Dve prázdne množiny potrebujú samostatné pravidlo vykazovania.
Opakovateľnosť v rámci jednej persony a rozdiely medzi personami odpovedajú na iné otázky. Stabilné odporúčania pre jeden profil môžu existovať spolu s výraznými rozdielmi medzi profilmi. Leonove štruktúrované opisy udržiavajú konzistentnejšie podmienky dopytovania. Súbor však nemá miery zhody následných odpovedí, preto nevyčísľujeme zlepšenie opakovateľnosti.
Ako overiť vplyv na konverziu
Obchodné meranie má rozlišovať prítomnosť značky v odpovedi, citáciu webu, návštevu a vykonanú akciu. Každá fáza vyžaduje vlastný ukazovateľ. Počet odporúčaní nie je počtom návštev a počet návštev nie je počtom nákupov.
Po zavedení obsahu je vhodné sledovať relácie z rozpoznateľných AI zdrojov, zapojenie, obchodné dopyty, transakcie a tržby. Časť návštevnosti nemusí mať jednoznačný zdroj, preto musí byť rozsah identifikovaných relácií opísaný. Konverzný pomer potrebuje jasný menovateľ, napríklad kvalifikované relácie.
Spoľahlivejšie hodnotenie umožňuje porovnanie podobných stránok či skupín obsahu pri jednotnej definícii konverzie a pozorovacom okne. Treba zaznamenať ďalšie zmeny, napríklad akcie, ceny, dostupnosť a kampane. Inak môže byť rast predaja nesprávne pripísaný obsahovej stratégii.
Správa teda predkladá konkrétnu hypotézu: obsah spojený so skutočnými potrebami môže pomáhať rozhodovať. Veľkosť vplyvu na predaj zostáva zmerať. Tabuľka neobsahuje relácie, leady ani transakcie.
Čo zmena metodiky znamená pre výsledky viditeľnosti
Persony a rozhovory vedené Leonom menia podmienky dopytovania modelov. Odpoveď na cieľový prompt zohľadňuje aj predchádzajúce správy. Výsledok môže rásť, keď značka lepšie zodpovedá potrebám, alebo klesať, keď systém vyberie inú ponuku. Porovnania preto majú zahŕňať text otázky aj prípravu kontextu.
Najtransparentnejšie je ukazovať výsledky základného panelu a panelu s personami vedľa seba. Ak je potrebný spoločný priemer, váhy person majú vychádzať z explicitných predpokladov o publiku. Rovnaké váhy sú jednoduchou analytickou možnosťou, ale nedokazujú rovnaký podiel každej skupiny na skutočnom dopyte.
Súlad s potrebami je dôležitý aj pri výbere person. Profil vytvorený len z pohľadu ponuky môže vynechať bariéry nákupu alebo situácie, keď produkt nevyhovuje. Je vhodné zahrnúť náročné scenáre a nestavať panel len okolo ľudí, ktorým možno značku ľahko odporučiť.
Zhrnutie správy
Výskum Semly ukazuje, že persony pomáhajú lepšie prispôsobiť obsah potrebám a skrátiť čas budovania viditeľnosti v AI. V analyzovanom súbore bol priemerný čas do spoločného cieľa 100 dní bez persony a 70 dní s personou - o 30% menej. Relevantnosť vzrástla zo 61,5% na 77,5%, teda o 16 percentuálnych bodov. Rovnaký smer rozdielu sa zistil v ChatGPT a Gemini.
Leon dáva tomuto prístupu podobu rozhovoru. Agent plní úlohu používateľa: predstaví sa podľa persony, interpretuje odpoveď modelu a rozpozná okamih pre cieľovú otázku s kontextom a zámerom. Semly tak analyzuje odporúčania v podmienkach bližších ľudskému používaniu chatu.
Rovnaká základná otázka pre viac person odhaľuje odlišné kritériá výberu, námietky a informačné potreby. Z pozorovaní môžu vzniknúť konkrétnejšie zadania, porovnania a materiály pomáhajúce rozhodovať. Vyššia relevantnosť tento prístup podporuje; vplyv na konverziu vyžaduje samostatné meranie správania a obchodných výsledkov.
Konzistentné persony a pravidlá rozhovoru tvoria základ porovnateľného monitoringu. Opakovateľnosť odpovedí je napriek tomu potrebné hodnotiť v ďalších meraniach s ohľadom na históriu a podmienky dopytovania. Výsledky nevyčísľujú zlepšenie opakovateľnosti ani zvýšenie konverzie.
Praktický záver pre značky je jasný: skúmať, komu a v akej situácii AI odporúča ponuku, a tieto informácie využiť pri rozvoji obsahu. Semly tak prepája monitoring viditeľnosti s výskumom kontextu, zámeru a odporúčaní modelov.
Zdroje
Materiál Semly: „Viac ako milión dopytov, šesť mesiacov výskumu. Prečo Semly zavádza persony do monitoringu viditeľnosti v AI“ a doplnenie o Leonových rozhovoroch - zdroje opisu agenta a výskumnej práce.
[1] OpenAI, Prompt engineering. Odporúčania na poskytovanie relevantného kontextu v dopytoch. https://developers.openai.com/api/docs/guides/prompt-engineering
[2] Google AI for Developers, Prompt design strategies. Odporúčania ku kontextu a obmedzeniam úlohy. https://ai.google.dev/gemini-api/docs/prompting-strategies
[3] Franziska Weeber, Vera Neplenbroek, Jan Batzner, Sebastian Padó, One Persona, Many Cues, Different Results: How Sociodemographic Cues Impact LLM Personalization, ACL 2026. https://aclanthology.org/2026.acl-long.2079/
Zdieľať:
