Široké používání generativní umělé inteligence napříč odvětvími vyžaduje bezpečnostní a provozní povědomí o rizicích a možnostech jejich zmírnění. V tomto příspěvku na blogu přinášíme 10 hlavních rizik a použitelné strategie, jak se proti nim chránit. Nakonec nabízíme nástroje, které mohou pomoci.

Vznik generativní umělé inteligence

Rok 2022 znamenal začátek nové oblasti generativní umělé inteligence. Toto období bylo svědkem rychlého rozvoje LLM (Large Language Models) jako GPT-3, GPT-4, BERT, Claude, Gemini, Llama, Mistral a další. Tyto LLM předvedly pozoruhodné schopnosti v oblasti zpracování přirozeného jazyka (NLP), generování obrázků a vytváření kreativního obsahu. V důsledku toho se nástroje řízené umělou inteligencí rozšířily do různých odvětví a zvýšily produktivitu a inovace v oblasti tvorby obsahu, služeb zákazníkům, vývoje a dalších. Mají také potenciál způsobit další revoluci v odvětvích, jako je zdravotnictví, finance a zábava.

Transformační dopad této moderní technologie ještě nebyl plně pochopen. Přesto by organizace, které si chtějí udržet konkurenční výhodu, měly naplánovat začlenění GenAI do svých operací raději dříve než později. Zároveň by měly řešit bezpečnostní rizika GenAI.

Rizika generativní umělé inteligence

Používání aplikací Gen AI a LLM, ať už veřejných nebo v rámci vlastního vývoje a/nebo nasazení, může pro organizace představovat rizika. Mezi tato rizika Gen AI patří:

Kategorie #1: Bezpečnostní a soukromí rizika

1. Obavy o soukromí

Generativní umělá inteligence se opírá o obrovské množství dat, často sklízených z různých zdrojů. Ty mohou obsahovat osobní údaje, včetně PII. Pokud jsou tato data použita ve výstupech, mohou nechtěně odhalit citlivé detaily o jednotlivcích, což vede k narušení soukromí a možnému zneužití. Povaha černé skříňky mnoha modelů GenAI dále komplikuje transparentnost a odpovědnost, takže je obtížné vysledovat, jak jsou konkrétní datové body používány nebo ukládány.

2. Phishingové e-maily a malware

Generativní AI umožňuje kyberzločincům vytvářet vysoce přesvědčivé a sofistikované útoky. Před generativní umělou inteligencí byla jedním z příznaků phishingového e-mailu špatná gramatika a fráze. Phishingové e-maily generované umělou inteligencí však mohou napodobovat tón, styl a formát legitimní komunikace. To ztěžuje jednotlivcům a bezpečnostním systémům je odhalit.

Útočníci mohou navíc využít GenAI k vývoji a ladění malwaru, který dokáže obejít tradiční bezpečnostní opatření. Tento útočný malware generovaný umělou inteligencí se může přizpůsobovat a vyvíjet, takže jeho ochrana je ještě obtížnější.

3. Zasvěcené hrozby a zneužití zaměstnanců

Vnitřní hrozby jsou jednotlivci v rámci společnosti, kteří zneužívají svůj přístup k citlivým informacím a systémům. Tyto hrozby mohou být záměrné, jako je krádež dat nebo sabotáž, nebo neúmyslné, jako jsou náhodné úniky dat z nedbalosti. Znalost bezpečnostních opatření organizace jim často umožňuje obejít obranu snadněji než externím útočníkům.

V kontextu GenAI mohou zasvěcenci neúmyslně zadat nebo vložit citlivá data do aplikací GenAI. To může zahrnovat zdrojový kód, citlivé obchodní informace, finanční údaje, informace o zákaznících a další.

4. Zvýšená útočná plocha

Generativní systémy umělé inteligence mohou zvýšit prostor pro útoky na hrozby kybernetické bezpečnosti, protože se často integrují s různými zdroji dat, rozhraními API a dalšími systémy. To vytváří několik vstupních bodů pro potenciální útoky. Složitost těchto integrací může vést ke zranitelnostem, které mohou zneužít aktéři se zlými úmysly, jako je například vkládání škodlivých dat za účelem manipulace s výstupy AI nebo přístup k citlivým informacím prostřednictvím slabých článků v systému. 

Kategorie #2: Rizika kvality a spolehlivosti

5. Problémy s kvalitou výstupu

Problémy s kvalitou výstupu v generativních systémech AI vznikají, když AI generuje text, obrázky nebo jiné výstupy, které jsou nepřesné, nesprávné, zavádějící, neobjektivní nebo nevhodné. Mezi faktory přispívající ke špatné kvalitě výstupu patří neadekvátní trénovací data, nedostatečné vyladění modelu a vlastní nepředvídatelnost algoritmů AI.

V kritických aplikacích, jako je zdravotnictví, finance a kybernetická bezpečnost, mohou nepřesné výstupy umělé inteligence vést k vážným finančním ztrátám, právní odpovědnosti, ochromování podnikání a dokonce k ohrožení životů. Ale i v nekritických aplikacích mohou mít nesprávné výsledky a šíření nesprávných nebo zavádějících informací důsledky na práci a životy lidí a výkonnost podniků.

6. Vymyšlená „fakta“ a halucinace

Extrémním příkladem výše uvedeného problému kvality je generování „vymyšlených faktů“, nazývaných „halucinace“. K tomu dochází, když LLM generuje informace, které vypadají věrohodně, ale jsou zcela vymyšlené. Tyto halucinace vznikají spíše kvůli tomu, že se model spoléhá na vzorce v trénovacích datech než na skutečné pochopení faktické přesnosti. Jak již bylo zmíněno, může to vést k šíření nesprávných nebo zavádějících informací, což představuje vážná rizika – zejména v kontextech, kde je přesnost kritická, jako je zdravotnictví, právní nebo finanční sektor.

Kategorie #3: Právní a etická rizika

7. Autorská práva, duševní vlastnictví a další právní rizika

Generativní systémy umělé inteligence často používají k trénování svých modelů obrovské množství dat, včetně materiálu chráněného autorským právem. To může vést k neúmyslné reprodukci chráněného obsahu, což potenciálně porušuje práva duševního vlastnictví. Kromě toho existuje právní otázka, zda je LLM legálně povoleno školit se na data o autorských právech. Konečně, generování nového obsahu, který se velmi podobá existujícím dílům, může vyvolat právní spory o vlastnictví a originalitu.

Tyto výzvy jsou umocněny nejednoznačností současných zákonů o autorských právech týkajících se obsahu generovaného umělou inteligencí. V současné době se tyto otázky projednávají u soudů a na veřejnosti. Jsou to například The New York Daily News, Chicago Tribune, Denver Post a další noviny žalovat OpenAI a Microsoft za porušení autorských práv.

8. Předpojaté výstupy

Předpojaté výstupy v systémech umělé inteligence často pocházejí ze zkreslených nebo nereprezentativních tréninkových dat, která odrážejí historické předsudky a systémové nerovnosti. Když modely umělé inteligence generují neobjektivní výstupy, může to vést k diskriminačním praktikám v oblastech, jako je najímání, půjčování, vymáhání práva a zdravotní péče, což nespravedlivě ovlivňuje marginalizované skupiny. To představuje vážnou hrozbu pro spravedlnost a spravedlnost, protože mohou udržovat a dokonce zesilovat stávající společenské předsudky.

9. Dodržování

Když jsou citlivé informace zpracovávány systémy AI, existuje potenciál pro únik dat, neoprávněný přístup a zneužití důvěrných dat. Toto riziko se zvyšuje, pokud poskytovatel služeb AI postrádá robustní bezpečnostní opatření a certifikace shody. Sdílení dat s generativními nástroji umělé inteligence proto může výrazně zvýšit riziko porušení předpisů a zákonů na ochranu dat, zejména v odvětvích s přísnými požadavky na ochranu dat.

Kategorie #4: Operační a finanční rizika

10. Náklady na odbornost a výpočetní techniku

Při vývoji, školení a zavádění LLM interně mohou být náklady na odborné znalosti a výpočetní techniku ​​značné. Pokročilé systémy umělé inteligence vyžadují vysoce výkonné GPU, specializovaný hardware a služby cloud computingu, což může způsobit nemalé náklady. Navíc vysoce kvalifikovaní profesionálové, jako jsou datoví vědci, ML inženýři a doménoví experti, mají nadstandardní platy. Globální nedostatek jak GPU, tak talentu tyto náklady dále zvyšuje. To pro mnohé organizace představuje značné překážky vstupu. 

Strategie ke zmírnění generativních bezpečnostních rizik AI

Po nastínění rizik si proberme strategie, jak se proti nim chránit. 

Strategie zabezpečení a ochrany soukromí

  • Inventář – Identifikujte oblasti podnikání, kde se používá gen AI. Od zaměstnanců dotazujících se na oblíbené aplikace Gen AI jako ChatGPT, Claude nebo Gemini přes vaše inženýrské týmy vyvíjející vaše vlastní LLM až po používání komerčních nebo open source LLM na vašich datech.
  • Hodnocení rizik – Mapujte a vyhodnoťte potenciální bezpečnostní rizika spojená s každým typem použití. Pro pomoc můžete použít výše uvedený seznam.
  • Implementujte kontrolu přístupu – Pomocí ověřovacích mechanismů určete, ke kterým systémům AI mají vaši zaměstnanci přístup a jak. Například rozšíření podnikového prohlížeče může zabránit vašim zaměstnancům v instalaci a škodlivé rozšíření vydávat se za legitimní rozšíření ChatGPT.
  • Implementujte zásady – Prosazovat zásady, jak lze aplikace GenAI používat v organizaci. Například rozšíření podnikového prohlížeče může zabránit vašim zaměstnancům ve vkládání citlivého kódu do aplikací gen AI.
  • Záplatování softwaru – Aktualizujte a opravte systémy, abyste zlepšili svou pozici zabezpečení proti útokům řízeným umělou inteligencí (a neřízenými AI).
  • monitorování – Sledujte a odhalujte neobvyklé incidenty a podezřelé chování, od pokusů o neoprávněný přístup přes abnormální vzorce chování až po vkládání citlivých dat do nástrojů gen AI.
  • Vzdělávání uživatelů – Pravidelně školte zaměstnance o rizicích gen AI prostřednictvím rozhovorů, cvičení a průběžné podpory. Rozšíření podnikového prohlížeče může podporovat online školení tím, že zaměstnancům vysvětlí, proč jsou akce, jako je vkládání zdrojového kódu do ChatGPT, blokovány.

Strategie ochrany kvality a spolehlivosti

  • Zajištění kvality dat – Používejte datové sady, které jsou různorodé, vyvážené a bez zkreslení nebo nepřesností. Implementujte přísné procesy ověřování dat, jako jsou automatické kontroly a ruční kontroly. Průběžně aktualizujte a upravujte datové sady, aby odrážely aktuální a přesné informace. 
  • Metriky hodnocení – Použijte komplexní hodnotící metriky, jako je přesnost, zapamatovatelnost, skóre F1 a BLEU, abyste identifikovali problémy s přesností a výkonem s modelem a jeho výstupy.
  • Začlenit systémy Human-in-the-Loop – Zapojte lidské experty do školicích, validačních a dolaďovacích fází vývoje modelu. Lidé mohou poskytnout kritické kontextové vhledy, identifikovat jemné problémy, které by automatizovaným systémům mohly uniknout, a nabídnout návrhy, které zlepšují reakce modelu.

Strategie právní a etické ochrany

  • Soulad s právními předpisy – Zajistit soulad se zákony na ochranu údajů, jako je GDPR a CCPA. To znamená zajistit, že údaje používané pro školení jsou získávány a zpracovávány legálně, s příslušným souhlasem a anonymizací.
  • Stanovte jasné etické pokyny – Tyto pokyny by měly zahrnovat zásady, jako je spravedlnost, transparentnost, odpovědnost a vyvarování se zaujatosti. Implementace etických rámců umělé inteligence může poskytnout strukturovaný přístup k zajištění dodržování etických ohledů.

Operační a finanční strategie ochrany

  • Zajistěte škálovatelnost, optimalizaci a spolehlivost infrastruktury – Používejte robustní cloudové služby, vysoce výkonné výpočetní zdroje, efektivní řešení pro ukládání dat a škálovatelné kanály AI. Přijměte například model průběžných plateb, vyjednávejte množstevní slevy s poskytovateli cloudu a používejte zřizování GPU.

Řešení pro GenAI DLP

LayerX je rozšíření podnikového prohlížeče, které chrání před webovými hrozbami v místě rizika – v prohlížeči. LayerX poskytuje a Řešení DLP speciálně navržené pro generativní umělou inteligenci nástroje, jako je ChatGPT, jejichž cílem je chránit citlivá data bez omezení uživatelského dojmu.

Klíčové schopnosti:

  • Mapování a definice dat – Identifikujte a definujte citlivá data, jako je zdrojový kód a duševní vlastnictví pro ochranu.
  • Přizpůsobitelné ovládací prvky dat – Implementujte ovládací prvky, jako jsou vyskakovací upozornění nebo blokovací akce při zjištění citlivých dat.
  • Bezpečná produktivita – Umožněte bezpečné používání nástrojů GenAI použitím opatření podobných DLP, abyste zabránili neúmyslnému vystavení údajů.
  • Ovládací prvky rozšíření prohlížeče – Spravujte přístup a akce v rámci GenAI pro zabezpečení datových interakcí.

Granulární zmírňování rizik – Zjistěte a zmírněte vysoce rizikové aktivity, jako je vkládání citlivých dat, při zachování bezproblémové uživatelské zkušenosti.