AI modely a agenti

Prompt injection

Tiež známe ako: vkladanie inštrukcií

Pokus zmeniť správanie AI pomocou inštrukcií skrytých v nedôveryhodných dátach.

Praktický príklad

Dokument obsahuje pokyn ignorovať úlohu používateľa.

Čo je dobré vedieť?

Zdrojový obsah nemá sám udeľovať oprávnenia na akcie.

AI modely a agenti v praxi

Model spracúva informácie, aplikácia určuje nástroje a oprávnenia. Spoľahlivé odpovede potrebujú zdroje a kontrolu. Akcie s účtami, obsahom a objednávkami musia zostať v povolenom rozsahu.

Súvisiace funkcie Semly

Zistite, kde sa pojem uplatňuje v Semly.

Semly MCPPrepojte dáta a nástroje Semly s AI asistentom. Analyzujte reporty a pracujte s Leonom v rozhovore.Weby pre AI agentovSprístupnite štruktúrované firemné znalosti a dopytové formuláre cez kanál pre agentov.

Súvisiace pojmy

AI agentSystém používajúci model a nástroje k cieľu v rámci možností.AutorizáciaUrčenie zdrojov a operácií, ku ktorým má identifikovaný používateľ či aplikácia prístup.Volanie nástrojovMechanizmus, ktorým model navrhne použitie dostupnej funkcie, ktorú aplikácia vykoná.

Dokumentácia a ďalšie zdroje

Definícia Semly. Štandardy a správanie opisujú ich tvorcovia: