Egy AI irányítási rendszer akkor válik valóban működő irányítási rendszerré, amikor már nemcsak szabályok, felelősségek és dokumentumok léteznek, hanem ezek tényleges működése is ellenőrizhető. A belső audit ebben a helyzetben nem adminisztratív formaság, hanem annak vizsgálata, hogy a szervezet képes-e az AI-kockázatokat felismerni, kezelni, nyomon követni és fejleszteni.
Az ISO/IEC 42001 alapú AIMS belső auditja a szervezet AI-használatának egyik legfontosabb visszacsatolási mechanizmusa. Az audit célja nem az, hogy hibát keressen mindenáron, hanem hogy bizonyítékok alapján megállapítsa: az AI-irányítási rendszer megfelel-e a követelményeknek, illeszkedik-e a kockázatokhoz, és ténylegesen támogatja-e a felelős AI-működést. Az ISO/IEC 42001 az AI irányítási rendszer létrehozására, működtetésére, fenntartására és folyamatos fejlesztésére ad követelményrendszert, ezért a belső auditnak is ezt a működő rendszerlogikát kell vizsgálnia (International Organization for Standardization, 2023a).
Az AIMS belső auditjának célja és tárgya
A belső audit elsődleges célja annak értékelése, hogy az AI irányítási rendszer nemcsak papíron létezik-e, hanem a gyakorlatban is működik-e. Egy szervezet rendelkezhet AI-politikával, kockázatértékelési sablonnal, beszállítói kérdőívvel és incidensfolyamattal, de ezek önmagukban még nem bizonyítják a rendszer hatékonyságát. Az auditnak ezért azt kell megvizsgálnia, hogy a szabály csak akkor értékes, ha működésben is látszik, és a munkatársak tényleges döntési helyzetekben is alkalmazzák.
Az AIMS belső auditja nem egyenlő az AI-rendszer technikai tesztelésével. A technikai tesztelés azt vizsgálhatja, hogy egy modell megfelelő pontossággal, stabilitással vagy biztonsággal működik-e. A belső audit ennél szélesebb kérdést tesz fel: van-e szabályozott életciklus, kijelölt felelősség, jóváhagyási rend, kockázatértékelés, dokumentáció, monitoring, incidenskezelés és vezetői visszacsatolás. Ilyenkor az auditor nem a modellt ellenőrzi önmagában, hanem a modell köré épített szervezeti irányítást.
Ez a különbség gyakorlati szempontból döntő. Egy AI-alapú ügyfélkockázati modell például lehet statisztikailag megfelelő, de audit szempontból mégis gyenge, ha nincs dokumentálva az adatforrás, nem világos a modell célja, hiányzik a felülvizsgálati gyakoriság, nem ellenőrizhető az emberi beavatkozás, vagy a változáskezelés nem követi a modellfrissítéseket. Az audit tehát azt tárja fel, hogy a technikai teljesítmény nem helyettesíti az irányítási bizonyítékot, különösen akkor, ha az AI kockázatos döntési helyzetben jelenik meg.
Az ISO 19011 a menedzsmentrendszerek auditálására ad útmutatást, beleértve az auditprogram irányítását, az audit lefolytatását és az auditorok kompetenciájának értékelését (International Organization for Standardization, 2018). A szabvány szemlélete az AIMS-ben is alkalmazható: az auditot cél, terjedelem, kritérium, bizonyíték és megállapítás mentén kell felépíteni. Ebben a keretben a belső audit bizonyítékalapú értékelés, nem vélemény, benyomás vagy általános megfelelőségi beszélgetés.
Az AIMS audit tárgya lehet egy teljes irányítási rendszer, egy szervezeti egység, egy AI-életciklus-folyamat, egy beszállítói kapcsolat, egy konkrét AI-használati eset vagy egy kontrollcsomag. Nem minden auditnak kell mindent lefednie. A belső auditprogramnak arányosan kell kijelölnie, hogy adott időszakban mely területek kerülnek vizsgálatra, és miért. Ez azért fontos, mert a jó audit fókuszált, nem mindent egyszerre vizsgál, különösen gyorsan változó AI-környezetben.
Az audit célja lehet megfelelőségértékelés, hatékonyságvizsgálat, kockázati kontrollok ellenőrzése, tanúsítási felkészülés vagy vezetői döntéstámogatás. Ezek a célok nem zárják ki egymást, de más hangsúlyt adnak az auditnak. Egy tanúsítási felkészülést támogató audit például nagyobb figyelmet fordít a szabványkövetelmények lefedettségére és a dokumentált információkra. Egy működési kockázatra fókuszáló audit viszont mélyebben vizsgálhatja a használati esetek jóváhagyását, a modellmonitoringot vagy az incidensek kezelését.
A belső audit tárgyának meghatározásakor az auditor nem indulhat ki kizárólag abból, hogy milyen dokumentumok állnak rendelkezésre. A kérdés inkább az, hogy a szervezet AI-kockázatai hol jelennek meg a gyakorlatban. Ilyen pont lehet az új AI-eszköz beszerzése, a modellfejlesztés, az adatkezelés, az ügyfélkommunikáció, a döntéstámogatás, az emberi felügyelet, a beszállítói függőség vagy a generatív AI napi használata. Az audit akkor ad valódi értéket, ha a vizsgálat a kockázat helyére megy, nem csupán a dokumentumtárba.
Az AI-audit sajátossága, hogy gyakran több szakterületet érint egyszerre. A jogi megfelelés, az adatvédelem, az információbiztonság, a modellműködés, az üzleti cél, az etikai szempont és a felhasználói gyakorlat egyetlen használati esetben is összekapcsolódhat. Ezért az auditor kompetenciája nem merülhet ki abban, hogy ismeri a menedzsmentrendszer-audit alaptechnikáit. Értenie kell, hogyan jelennek meg az AI-kockázatok szervezeti folyamatokban, dokumentációban és felelősségi rendben.
Az auditnak végső soron arra kell választ adnia, hogy a szervezet képes-e felelősen működtetni az AI-t. Ez magában foglalja az azonosítást, értékelést, kontrollálást, monitoringot, incidenskezelést és fejlesztést. Ha az audit csak azt ellenőrzi, hogy van-e szabályzat, akkor nem méri az AIMS tényleges érettségét. Egy erős belső audit ezzel szemben megmutatja, hogy az AIMS teljesítménye a döntések minőségében látszik, nem a dokumentumok számában.
Kockázatalapú auditprogram kialakítása
Az AIMS belső auditprogramjának kockázatalapon kell eldöntenie, mit, mikor és milyen mélységben vizsgál. Ez azt jelenti, hogy az audit nem minden AI-használati esetet azonos súllyal kezel. Más auditfigyelmet igényel egy belső szövegösszefoglaló eszköz, mint egy ügyfélkockázati modell, egy HR-döntéstámogató rendszer vagy egy ügyfélkommunikációt automatizáló megoldás. A programtervezésben ezért a kockázat adja az audit súlypontját, nem a technológiai újdonság önmagában.
A kockázatalapú auditprogram kiindulópontja az AI-használati esetek nyilvántartása. Ha a szervezet nem tudja pontosan, hol és milyen célra használ AI-t, akkor nem tud érdemi auditprogramot készíteni. A nyilvántartásnak tartalmaznia kell legalább a használati célt, a rendszer tulajdonosát, az érintett adatokat, a felhasználói kört, a kockázati besorolást, a beszállítói kapcsolatokat és a kapcsolódó kontrollokat. Ebben a helyzetben az AI-leltár az auditprogram térképe, mert nélküle a vizsgálat könnyen esetlegessé válik.
Az ISO/IEC 23894 az AI-kockázatkezelés szervezeti tevékenységekbe és funkciókba való integrálását hangsúlyozza (International Organization for Standardization, 2023b). Ez az auditprogramra is igaz: nem különálló ellenőrzési listát kell készíteni, hanem az AI-kockázatokhoz illeszkedő auditútvonalat. Ha egy használati esetnél az adatminőség a legnagyobb kockázat, az auditnak az adatforrásokat, tisztítási lépéseket, hozzáféréseket és megőrzési szabályokat kell mélyebben vizsgálnia. Ha a fő kockázat az emberi felügyelet hiánya, akkor a döntési pontokat, jóváhagyási bizonyítékokat és felhasználói kompetenciát kell előtérbe helyezni.
A kockázatalapú auditprogram gyakorlati kialakításához érdemes több tényezőt mérlegelni:
az AI-rendszer érint-e ügyfelet, munkavállalót vagy külső érintettet;
történik-e automatizált vagy részben automatizált döntéstámogatás;
használ-e személyes, érzékeny vagy üzletileg kritikus adatot;
van-e beszállítói vagy felhőszolgáltatói függőség;
történt-e incidens, panasz vagy jelentős változás;
milyen mértékben dokumentált a működés és a kontrollkörnyezet;
milyen gyakran változik a modell, az adatforrás vagy a felhasználási cél.
Ezek a szempontok segítenek elkerülni, hogy az auditprogram pusztán naptári logika szerint működjön. Évente egyszer minden területre ránézni nem feltétlenül elegendő, ha egyes AI-rendszerek gyorsan változnak vagy magasabb kockázatot hordoznak. Az auditgyakoriságot ezért a változási ütemhez és a kockázati szinthez kell igazítani. Ebben az értelemben az auditprogram nem statikus éves táblázat, hanem kockázati információkra reagáló tervezési eszköz.
A NIST AI Risk Management Framework a kockázatkezelési tevékenységeket többek között a „govern”, „map”, „measure” és „manage” funkciók köré rendezi (National Institute of Standards and Technology, 2023). Ez hasznos szemléleti háttér az auditprogram tervezéséhez is. Az auditnak vizsgálnia kell, hogy a szervezet képes-e feltérképezni az AI-környezetet, mérni a működést, kezelni a kockázatokat, és mindezt irányítási rendszerbe ágyazni. Ilyenkor az auditprogram a kockázatkezelés ellenőrző tükre, nem önálló compliance-naptár.
Az auditprogramban meg kell határozni az auditcélokat, az auditterjedelmet, az auditkritériumokat, az időzítést, az auditorokat, a módszertant és a jelentési rendet. Egy AIMS-ben különösen fontos az auditorok függetlensége és kompetenciája. Az auditor nem auditálhatja elfogulatlanul azt a folyamatot, amelynek kialakításáért közvetlenül felelős volt. Ugyanakkor az AI-specifikus témákhoz szükség lehet technikai, jogi, adatvédelmi vagy információbiztonsági szakértő bevonására.
A kockázatalapú auditprogram tervezésénél a mintavétel is kulcskérdés. Nem mindig lehetséges minden AI-használati esetet, minden döntést vagy minden naplóbejegyzést teljeskörűen vizsgálni. A mintának azonban értelmesen kell tükröznie a kockázatot. Magas kockázatú, gyakran változó vagy ügyfelet érintő rendszereknél mélyebb vizsgálat indokolt. Alacsonyabb kockázatú, belső és erősen korlátozott használatnál elegendő lehet célzott kontrollteszt. Így a mintavétel nem kényelmi döntés, hanem auditmódszertani választás.
A programnak figyelembe kell vennie az előző auditok eredményeit is. Ha egy korábbi vizsgálat gyenge dokumentációt, nem egyértelmű felelősséget vagy hiányos változáskezelést tárt fel, akkor a következő auditprogramban ezekre vissza kell térni. A belső audit értéke nemcsak az első feltárásban van, hanem abban is, hogy követi a javító intézkedések megvalósulását. Ha nincs utánkövetés, akkor a megállapítás elveszíti fejlesztő erejét, és az audit könnyen egyszeri jelentéssé válik.
Az auditprogramnak a tanúsítási felkészülésben is szerepe van. A tanúsítás előtt a szervezetnek látnia kell, hol vannak a legfontosabb hiányosságok, mely követelmények teljesülése bizonyítható, és mely területeken gyenge a működés. Egy jól felépített belső auditprogram nem a külső audit főpróbája csupán, hanem az AIMS saját tanulási folyamata. A cél az, hogy a szervezet ne a tanúsító auditon találkozzon először a kritikus hiányosságokkal.
Auditkritérium, auditbizonyíték és megállapítás
Az AIMS belső auditjának szakmai minőségét nagyrészt az határozza meg, mennyire pontosan kezeli az auditkritérium, az auditbizonyíték és az auditmegállapítás fogalmát. Az auditkritérium az a követelményrendszer, amelyhez képest az auditor értékel. Ez lehet ISO/IEC 42001 követelmény, belső AI-politika, eljárásrend, kockázatkezelési módszertan, szerződéses követelmény, jogszabályi elvárás vagy vezetői döntés. Az audit során a kritérium adja az értékelés mércéjét, ezért nem lehet homályos vagy utólag kitalált.
Az auditkritériumok kijelölésekor fontos elkerülni a túl általános megfogalmazásokat. Az olyan állítás, hogy „az AI-t felelősen kell használni”, önmagában nem elég auditkritérium. Ezt le kell fordítani ellenőrizhető elemekre: van-e jóváhagyott használati cél, történt-e kockázatértékelés, dokumentálták-e az adatforrásokat, biztosított-e az emberi felügyelet, naplózzák-e a működést, és kezelik-e az incidenseket. Ebben a formában az elv csak ellenőrizhető szabályként auditálható, különben az auditor vélemények között mozog.
Az auditbizonyíték olyan ellenőrizhető információ, amely alapján az auditor következtetést von le. Lehet dokumentum, rekord, napló, interjú, megfigyelés, rendszerképernyő, jóváhagyási nyom, incidensjegy, képzési lista, szerződéses melléklet, monitoringriport vagy változásnapló. Az auditbizonyítéknak relevánsnak és megbízhatónak kell lennie. Nem elég, ha valaki elmondja, hogy egy kontroll működik; az auditor azt is vizsgálja, hogy van-e erre tényszerű nyom.
Az AI-környezetben a bizonyíték gyakran több rendszerben keletkezik. Egy modellváltozás esetén például bizonyíték lehet a változáskérelem, a tesztjelentés, a jóváhagyás, a verziókezelési bejegyzés, a monitoringbeállítás és az élesítés utáni kontrollriport. Ha ezek nem kapcsolódnak össze, az auditor nehezen tudja visszakövetni a döntési láncot. Ezért az auditálhatóság nyomvonalat igényel, nem pusztán elszórt dokumentumokat.
Raji és munkatársai az internal algorithmic auditing keretében azt hangsúlyozzák, hogy az AI-rendszerek életciklusának különböző szakaszaiban keletkező dokumentumok együtt adnak érdemi auditképet (Raji et al., 2020). Ez a gondolat AIMS-környezetben különösen fontos: a belső audit nemcsak végállapotot vizsgál, hanem azt is, hogyan születtek a döntések a fejlesztés, bevezetés, használat és módosítás során. Ebből következik, hogy az AI-audit életciklus-bizonyítékokra épül, nem kizárólag éles működési riportokra.
Az auditmegállapítás a kritérium és a bizonyíték összevetéséből keletkezik. Ha a bizonyíték megfelel a kritériumnak, az auditor megfelelőséget vagy erősséget állapíthat meg. Ha eltérés van, nemmegfelelőséget, fejlesztési lehetőséget vagy észrevételt fogalmazhat meg. A megállapításnak világosnak kell lennie: mit vizsgáltak, mi volt a követelmény, milyen bizonyítékot találtak, mi hiányzik vagy mi tér el, és miért lényeges ez a szervezet számára.
A gyenge auditmegállapítás általános és nehezen kezelhető. Például: „a dokumentáció hiányos”. Ez nem elég pontos. Jobb megállapítás: „az ügyfélkockázati AI-modell 2025. márciusi újratanításához nem áll rendelkezésre jóváhagyott tesztjelentés és üzleti tulajdonosi elfogadás, miközben a belső modellváltozás-kezelési eljárás ezt élesítés előtt kötelezővé teszi”. Ilyenkor a jó megállapítás intézkedésre alkalmas, mert konkrét, bizonyított és kritériumhoz kötött.
Az auditbizonyíték értékelésekor az auditoroknak óvatosnak kell lenniük az interjúk túlértékelésével. Az interjú segít megérteni a működést, de önmagában ritkán elegendő bizonyíték. Ha a munkatárs azt mondja, hogy minden generatív AI-kimenetet ellenőriznek ügyfélküldés előtt, akkor az auditor mintát kérhet jóváhagyási nyomokra, munkafolyamat-bejegyzésekre vagy minőségellenőrzési rekordokra. Ez azért fontos, mert a szándék nem azonos a kontrollműködéssel, és az auditnak nem a szándékot, hanem a működést kell értékelnie.
A bizonyítékok vizsgálatánál a konzisztencia is fontos. Ha a szabályzat szerint minden magas kockázatú AI-használati esethez kockázatértékelés kell, de a nyilvántartásban három ilyen rendszer közül csak kettőnél található értékelés, akkor nem elég azt megállapítani, hogy „általában van kockázatértékelés”. A hiány konkrét kontrollrést jelez. Az AIMS auditja ezért nemcsak dokumentumok meglétét ellenőrzi, hanem azt is, hogy a követelmények következetesen teljesülnek-e.
A megállapítások megfogalmazásakor kerülni kell a túlzott technikai részletezést, ha az nem szükséges a kockázat megértéséhez. A vezetőknek és folyamatgazdáknak azt kell látniuk, miért számít az eltérés. Például egy hiányzó driftmonitoring-beállítás önmagában technikai részletnek tűnhet, de ha a modell ügyfélkockázati besorolást támogat, akkor a hiány azt jelenti, hogy a szervezet későn észlelheti a teljesítményromlást. Ilyenkor a megállapítás kockázati jelentését is ki kell mondani, nem csak a hiány tényét.
AI-specifikus auditkérdések felépítése
Az AI-specifikus auditkérdések akkor jók, ha nem pusztán igen-nem válaszokat keresnek, hanem bizonyítékot kérnek a működésre. Egy AI irányítási rendszer auditjában kevés értéke van annak a kérdésnek, hogy „van-e kockázatértékelés?”. Ennél pontosabb kérdés kell: mikor készült, ki hagyta jóvá, milyen adatokra és kockázatokra terjedt ki, frissítették-e változás után, és milyen kontrollok következtek belőle. Így a jó auditkérdés működési láncot tár fel, nem csak dokumentumot keres.
Az AI-specifikus auditkérdéseknek az AI-életciklus fő pontjait kell követniük. Ide tartozik a használati eset kezdeményezése, a kockázatértékelés, az adatkezelés, a fejlesztés vagy beszerzés, a tesztelés, az élesítés, a monitoring, a változáskezelés, az incidenskezelés és a kivonás. Minden ponton más bizonyíték szükséges. Az auditor feladata annak megállapítása, hogy a folyamat nem szakad-e meg valamelyik kritikus ponton.
Egy AI-alapú ügyfélkockázati modell auditjánál például az első kérdés nem a modell pontossága, hanem a használati cél tisztázottsága. Ki használja a modellt? Milyen döntést támogat? Automatizált döntésről vagy emberi döntéstámogatásról van szó? Milyen ügyféladatokat használ? Milyen kockázatértékelés készült? Milyen korlátokat kell figyelembe venni? Ebben a vizsgálatban a cél tisztázása a kontrollok alapja, mert a kontrollok csak ismert célhoz és kockázathoz rendelhetők.
Az EU AI Act magas kockázatú AI-rendszerekre vonatkozó követelményei többek között a kockázatkezelés, adatkormányzás, műszaki dokumentáció, naplózás, átláthatóság, emberi felügyelet, pontosság, robusztusság és kiberbiztonság témáit emelik ki (European Parliament & Council of the European Union, 2024). Nem minden szervezeti AI-használat tartozik magas kockázatú kategóriába, de ezek a témák auditkérdésként sok AIMS-ben relevánsak lehetnek. Ilyenkor a szabályozási logika auditkérdésekké fordítható, arányosan és a használati eset kockázatához igazítva.
Az auditkérdéseket érdemes témacsoportokban felépíteni:
Használati cél és felelősség
Ki az AI-rendszer üzleti tulajdonosa?
Milyen döntést vagy folyamatot támogat a rendszer?
Dokumentálták-e a megengedett és tiltott használati módokat?
Van-e kijelölt felelős a monitoringért és a változáskezelésért?
Ismerik-e a felhasználók a rendszer korlátait?
A felelősségi kérdések különösen fontosak, mert az AI-rendszerek gyakran több terület között helyezkednek el. Az üzlet használja, az IT integrálja, a beszállító biztosítja, a compliance ellenőrzi, az adatvédelmi terület véleményezi. Ha nincs kijelölt tulajdonos, az audit könnyen azt találja, hogy mindenki részt vesz, de senki nem felel a teljes működésért. Ilyenkor a megosztott részvétel nem pótolja a felelősséget, és ez önmagában irányítási kockázat.
Adatkezelés és adatminőség
Ismert és dokumentált az adatforrás?
Jogszerű és célhoz kötött az adathasználat?
Vannak-e adatminőségi követelmények és ellenőrzések?
Ki fér hozzá a tanítási, validálási és éles adatokhoz?
Van-e megőrzési és törlési szabály?
Az AI-adatkezelés auditja nem korlátozódhat arra, hogy van-e adatvédelmi tájékoztató. A modell teljesítménye, igazságossága és megfelelősége nagyban függ attól, hogy milyen adatokból dolgozik, milyen hibákkal, hiányokkal vagy torzításokkal. Az auditornak ezért azt is vizsgálnia kell, hogy a szervezet hogyan kezeli az adatminőségi és hozzáférési kontrollokat. Itt az adatkontroll AI-kontroll is, mert a gyenge adatkezelés közvetlenül befolyásolhatja a modellkimenetet.
Modell, tesztelés és elfogadás
Dokumentálták-e a modellválasztást és annak indokait?
Meghatározták-e az elfogadási kritériumokat?
Elvégezték-e a tesztelést az élesítés előtt?
Vizsgálták-e a hibahatásokat és a korlátokat?
Van-e jóváhagyott élesítési döntés?
A modelltesztelés auditja során az auditor nem feltétlenül validálja újra a modellt, de megvizsgálja, hogy a validálás megtörtént-e, megfelelő volt-e, és illeszkedett-e a kockázati szinthez. Egy ügyfélkockázati modellnél például fontos lehet a teljesítménycél, a hibaarány, az adatkörök elkülönítése, az elfogadási küszöb és a humán döntési kontroll. Ebben az összefüggésben a tesztelés bizonyítéka élesítési feltétel, nem fejlesztői kényelmi dokumentum.
Monitoring, incidensek és változások
Milyen mutatókkal figyelik a modell működését?
Van-e küszöbérték romlás vagy eltérés esetére?
Hogyan kezelik a felhasználói visszajelzéseket és panaszokat?
Változás után frissül-e a kockázatértékelés?
Visszakövethető-e a modellverzió és a jóváhagyási út?
A változáskezelés az AI-audit egyik legfontosabb területe, mert egy modellfrissítés, új adatforrás vagy beszállítói módosítás megváltoztathatja a kockázati képet. Az auditornak ezért nemcsak azt kell kérdeznie, mi volt az eredeti állapot, hanem azt is, mi történt a legutóbbi változáskor. Ha a szervezet nem tudja megmutatni a változás nyomvonalát, akkor a kontrollált működés időben megszakad, még akkor is, ha a rendszer jelenleg látszólag jól működik.
Példa: AI-alapú ügyfélkockázati modell auditvázlata
Egy belső audit tervben a cél lehet annak értékelése, hogy az ügyfélkockázati modell irányítása megfelel-e az AIMS követelményeinek, és a szervezet képes-e a modellhez kapcsolódó kockázatokat kontrolláltan kezelni. Az auditterjedelem kiterjedhet az adatforrásokra, modellfejlesztésre, tesztelésre, élesítésre, felhasználói használatra, monitoringra, incidenskezelésre és változáskezelésre. Az auditkritériumokat az ISO/IEC 42001 követelményei, a belső AI-politika, az adatkezelési szabályok, a modellváltozás-kezelési eljárás és az ügyfélkockázati folyamat belső előírásai adhatják.
Auditkérdés
Kért bizonyíték
Lehetséges kockázat
Jóváhagyott-e a használati cél?
AI-használati eset nyilvántartása, üzleti jóváhagyás
nem engedélyezett vagy célon túli használat
Dokumentált-e az adatforrás?
adatleltár, hozzáférési lista, adatminőségi riport
jogszerűtlen vagy pontatlan adathasználat
Megtörtént-e a kockázatértékelés?
kockázatértékelési rekord, kontrollterv
kontroll nélküli magas kockázat
Tesztelték-e az élesítés előtt?
validálási jelentés, elfogadási döntés
nem észlelt modellhiba
Működik-e a monitoring?
dashboard, riasztási szabály, felülvizsgálati jegyzőkönyv
későn észlelt modellromlás
Kezelték-e a változásokat?
változásnapló, verziótörténet, jóváhagyás
visszakövethetetlen modellmódosítás
Ez a vázlat nem minden szervezetben azonos, de jól mutatja az auditlogikát. Az auditor minden kérdésnél a kritériumot, a bizonyítékot és a kockázati jelentést kapcsolja össze. Így az audit nem listakitöltés, hanem kockázati érvelés, amely megmutatja, miért fontos egy-egy kontroll megléte vagy hiánya.
Nemmegfelelőségek értékelése és fejlesztés
A belső audit egyik legérzékenyebb pontja a nemmegfelelőségek súlyosságának értékelése. Nem minden eltérés azonos jelentőségű. Egy hiányzó formai elem, egy késedelmes felülvizsgálat és egy élesített, de nem tesztelt magas kockázatú AI-modell nem kezelhető ugyanazzal a súllyal. Az értékelésnek figyelembe kell vennie a kockázat mértékét, az érintetti hatást, az ismétlődést, a kontrollhiány mélységét és a szervezet reagálóképességét. Ilyenkor a súlyosságot a következmény lehetősége határozza meg, nem csupán a dokumentációs hiány ténye.
Az AIMS-ben a nemmegfelelőség lehet követelményhiány, működési eltérés, bizonyítékhiány vagy kontrollhatékonysági probléma. Követelményhiány például, ha nincs meghatározva az AI-használati esetek jóváhagyási folyamata. Működési eltérés, ha a folyamat létezik, de egy konkrét AI-rendszert jóváhagyás nélkül vezettek be. Bizonyítékhiány, ha a jóváhagyás megtörtént, de nem visszakövethető. Kontrollhatékonysági probléma, ha a kontroll papíron működik, de nem akadályozza meg a tiltott használatot. Ebben a bontásban a hiány típusa meghatározza a javítás módját, ezért az auditor nem állhat meg a felszíni megállapításnál.
A nemmegfelelőségek súlyosságát célszerű legalább három szinten értékelni. Kisebb eltérés lehet, ha a dokumentáció részben hiányos, de a kontroll működése bizonyítható, és az érintetti kockázat alacsony. Jelentős eltérés lehet, ha egy követelmény rendszeresen nem teljesül, vagy a kontrollhiány magasabb kockázatú AI-használatot érint. Kritikus eltérés lehet, ha a szervezet kontroll nélkül működtet olyan AI-rendszert, amely ügyfélre, munkavállalóra, jogi megfelelésre vagy jelentős üzleti döntésre hat. Ilyenkor a nemmegfelelőség nem büntetés, hanem kockázati jelzés.
A belső audit megállapításait nem szabad személyes hibáztatássá alakítani. Az AIMS fejlesztésének célja a rendszer javítása, nem az egyének okolása. Ha például egy munkatárs tiltott módon használt generatív AI-eszközt ügyféladatokkal, az auditnak nemcsak az egyedi esetet kell rögzítenie. Vizsgálni kell, hogy egyértelműek voltak-e a szabályok, kapott-e képzést a felhasználó, volt-e technikai megelőző kontroll, és működött-e az észlelési mechanizmus. Így az audit rendszerszintű okokat keres, nem egyszerű bűnbakot.
A javító intézkedésnek mindig a kiváltó okhoz kell illeszkednie. Ha a probléma oka hiányos képzés, akkor nem elegendő a szabályzat frissítése. Ha az ok technikai hozzáférési hiányosság, akkor kommunikáció önmagában kevés. Ha az ok felelősségi tisztázatlanság, akkor új dashboard vagy riport nem oldja meg a problémát. Az AIMS fejlesztése akkor működik, ha a javító intézkedés nem tünetet kezel, hanem a kontrollrendszer gyengeségét javítja.
A nemmegfelelőségek jelentőségét a vezetői felülvizsgálat számára is értelmezhetővé kell tenni. A vezetésnek nem pusztán listát kell kapnia a hiányosságokról, hanem kockázati képet: mely AI-területek gyengék, hol ismétlődnek eltérések, mely kontrollok nem működnek, milyen erőforrás kell a javításhoz, és milyen döntést igényel a helyzet. Ez kapcsolja össze a belső auditot az AIMS teljesítményértékelésével és folyamatos fejlesztésével. Ebben az értelemben az auditjelentés vezetői döntés-előkészítő eszköz, nem csak megfelelőségi dokumentum.
A Costanza-Chock és munkatársai által végzett algorithmic auditing ökoszisztéma-elemzés arra is rámutat, hogy az auditok minősége, függetlensége, módszertani egyértelműsége és érintetti szempontjai alapvetően befolyásolják az AI-auditok értékét (Costanza-Chock et al., 2023). Ez belső auditkörnyezetben is fontos tanulság. Az AIMS-audit nem válhat kipipálható rituálévá, mert akkor éppen azt a bizalmi és ellenőrzési funkcióját veszíti el, amely miatt szükség van rá.
A nemmegfelelőségek lezárása nem lehet pusztán adminisztratív. A javító intézkedés lezárásakor ellenőrizni kell, hogy az intézkedés valóban megtörtént-e, és szükség esetén azt is, hogy hatékony volt-e. Ha például bevezetnek egy új modellváltozás-kezelési sablont, attól még nem biztos, hogy a következő modellfrissítésnél ténylegesen használni fogják. Az utánkövetés ezért elengedhetetlen. Ilyenkor a lezárás nem dátum, hanem bizonyított javulás, amelyet auditálható rekord támaszt alá.
A belső audit fejlesztési szerepe akkor érvényesül igazán, ha a szervezet tanul a megállapításokból. A visszatérő dokumentációs hiány például azt jelezheti, hogy túl bonyolult az eljárás. A gyakori jóváhagyási késedelem erőforráshiányt vagy rossz felelősségi rendet mutathat. A tiltott AI-használat visszatérése kommunikációs, képzési vagy hozzáférés-kezelési problémára utalhat. Az audit tehát nemcsak megfelelőséget mér, hanem szervezeti működési mintázatokat is feltár.
Az AIMS belső auditjának végső értéke abban áll, hogy a szervezet képes lesz bizonyítékok alapján fejleszteni saját AI-irányítását. Egy jól megtervezett belső audit feltárja, hol működik az irányítási rendszer, hol gyenge, hol túl adminisztratív, és hol nem elég szigorú. A belső audit akkor tölti be szerepét, ha a szervezet nem fenyegetésként, hanem tanulási mechanizmusként kezeli. Az AI-kockázatok gyorsan változnak, ezért az auditnak is élő, kockázatalapú és fejlesztésorientált gyakorlatnak kell maradnia.
Az ISO/IEC 42001 alapú AIMS-ben a belső audit nem a folyamat végén megjelenő ellenőrzés, hanem a felelős működés folyamatos visszacsatolása. Megmutatja, hogy az AI-politikák, célok, kontrollok és felelősségek valóban beépültek-e a napi működésbe. A legerősebb belső audit nem az, amelyik a legtöbb hibát találja, hanem az, amelyik a legpontosabban mutatja meg, hogyan válhat az AI-irányítás bizonyíthatóbbá, biztonságosabbá és érettebbé.
Felhasznált szakirodalom
Costanza-Chock, S., Harvey, E., Raji, I. D., Czernuszenko, M., & Buolamwini, J. (2023). Who audits the auditors? Recommendations from a field scan of the algorithmic auditing ecosystem. arXiv. https://arxiv.org/abs/2310.02521
European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng
International Organization for Standardization. (2018). ISO 19011:2018: Guidelines for auditing management systems. ISO. https://www.iso.org/standard/70017.html
International Organization for Standardization. (2023a). ISO/IEC 42001:2023: Information technology — Artificial intelligence — Management system. ISO. https://www.iso.org/standard/42001
International Organization for Standardization. (2023b). ISO/IEC 23894:2023: Information technology — Artificial intelligence — Guidance on risk management. ISO. https://www.iso.org/standard/77304.html
National Institute of Standards and Technology. (2023). Artificial intelligence risk management framework (AI RMF 1.0). U.S. Department of Commerce. https://doi.org/10.6028/NIST.AI.100-1
Raji, I. D., Smart, A., White, R. N., Mitchell, M., Gebru, T., Hutchinson, B., Smith-Loud, J., Theron, D., & Barnes, P. (2020). Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, 33–44. https://doi.org/10.1145/3351095.3372873