AI agenti jsou všude v titulcích. Adopce se však stále většinou děje na individuální nebo v malých týmech. Instituce vyžadují jiný přístup. Na našem workshopu s @UNDP and @UNDP_AltFinLab minulý týden náš zakladatel a generální ředitel @0x7SUN rozebral, co je potřeba k bezpečnému a efektivnímu používání AI agentů v reálných pracovních postupech. Časová razítka: 00:00 Mezera v kompetencích AI a vývoj AI 10:26 Jak AI skutečně funguje: LLM, halucinace a epické neúspěchy 25:12 Multiagentní systémy: architektura a rizika 1:03:00 Jak bezpečně začlenit AI agenty do institucí (případové studie) 1:24:00 Zlatá pravidla pro používání AI agentů 1:27:00 Otázky a odpovědi Klíčové body ↓

Většina lidí bere AI jako vyhledávač, který získává fakta, i když tomu tak není. AI je pravděpodobnostní motor. Generuje to nejpravděpodobnější další slovo, ne to nejpravdivější. To jsou základní znalosti, které je třeba pochopit před nasazením AI agentů v jakékoli organizaci.

Halucinace AI vzniká, protože je to vlastnost fungování pravděpodobnostních engin. Nebezpečné je, že halucinace přicházejí zabalené do uhlazené syntaxe a autoritativního tónu. Rozhodovatelé nevědomky jednají na základě zcela vymyšlených dat. Proto je ověřování celá hra.

Integrace API proměňuje pasivní AI v AI agenty schopné prohlížet web, psát kód, přistupovat k databázím a jednat jménem lidí. AI nejenže získává větší schopnosti, ale také riskantnější na řízení. AI nejenže získává schopnosti, ale je také rizikovější na řízení.

Jednotliví AI agenti se pod složitostí zhroutí, stejně jako byste nedali jednomu stážistovi každý úkol v organizaci. Lepší přístup jsou systémy s více agenty, kde každý agent vykonává specifickou roli. Takto mohou oddělení vytvořit AI, která je spolehlivější pro skutečnou práci.

AI má konečnou paměť. Při dlouhých sezeních, jako jsou vícedenní jednání nebo složité zprávy, začíná dřívější kontext mizet. To je "efekt zlaté rybky". Řešením je aktivní správa paměti: - Pravidelně přepisovat základní instrukce pro obnovení AI zaměření - Rozdělte dlouhé dokumenty na menší, zvládnutelné části - Využití souhrnů k udržení běžícího kontextu

AI agenti pomáhají zvyšovat efektivitu, ale bezpečnostní riziko je reálné. Existuje několik způsobů, jak si vytvořit rizikový profil: - Nasazovat pouze v kontrolovaných prostředích - Povinné přísné zaznamenávání aktivit - Izolace sítě - Protokoly lidského dohledu jsou nevyjednatelné

Onboarding AI v institucích obvykle probíhá ve třech úrovních: - Úroveň 1: Používá zabezpečené podnikové LLM v uzavřených prostředích bez uchovávání dat a externího přístupu, hlavně pro bezpečné a jednoduché úkoly. - Úroveň 2: Propojuje modely s interními daty prostřednictvím RAG systémů, takže výstupy odrážejí skutečné institucionální znalosti. - Úroveň 3: Buduje agentické pracovní postupy s přístupem k souborům a API, které vyžadují přísné ochranné mechanismy, testování a lidský dohled.

Tři případové studie ukazují, proč je prompt engineering manažerskou dovedností, nikoli technickou, a jak se zlepšovat. Případová studie 1: Řešení pomocí standardních operačních promptů (SOP) Případová studie 2: Past na halucinace Případová studie 3: Zlepšit výstupy AI pomocí persony a omezení

Zlaté pravidlo pro používání AI v pracovních postupech: Vždy mějte lidi v obraze. ❌ Nikdy nevkládejte klasifikovaná data do veřejných AI nástrojů ❌ Nikdy nezveřejňujte obsah generovaný AI bez nezávislého ověření ❌ Nikdy nepřidělujte AI agentovi vágní, otevřené úkoly ✅ Vždy přiřaďte svým agentům personu ✅ Vždy poskytujte strukturované instrukce ✅ Vždy implementujte ochranné ověření Tento rámec pomůže ve většině případů předcházet vážným selháním AI.