Egy AI ir\u00e1ny\u00edt\u00e1si rendszer akkor v\u00e1lik val\u00f3ban m\u0171k\u00f6d\u0151 ir\u00e1ny\u00edt\u00e1si rendszerr\u00e9, amikor m\u00e1r nemcsak szab\u00e1lyok, felel\u0151ss\u00e9gek \u00e9s dokumentumok l\u00e9teznek, hanem ezek t\u00e9nyleges m\u0171k\u00f6d\u00e9se is ellen\u0151rizhet\u0151. A bels\u0151 audit ebben a helyzetben nem adminisztrat\u00edv formas\u00e1g, hanem annak vizsg\u00e1lata, hogy a szervezet k\u00e9pes-e az AI-kock\u00e1zatokat felismerni, kezelni, nyomon k\u00f6vetni \u00e9s fejleszteni.<\/p>\n\n\n\n
Az ISO\/IEC 42001 alap\u00fa AIMS bels\u0151 auditja a szervezet AI-haszn\u00e1lat\u00e1nak egyik legfontosabb visszacsatol\u00e1si mechanizmusa. Az audit c\u00e9lja nem az, hogy hib\u00e1t keressen minden\u00e1ron, hanem hogy bizony\u00edt\u00e9kok alapj\u00e1n meg\u00e1llap\u00edtsa: az AI-ir\u00e1ny\u00edt\u00e1si rendszer megfelel-e a k\u00f6vetelm\u00e9nyeknek, illeszkedik-e a kock\u00e1zatokhoz, \u00e9s t\u00e9nylegesen t\u00e1mogatja-e a felel\u0151s AI-m\u0171k\u00f6d\u00e9st. Az ISO\/IEC 42001 az AI ir\u00e1ny\u00edt\u00e1si rendszer l\u00e9trehoz\u00e1s\u00e1ra, m\u0171k\u00f6dtet\u00e9s\u00e9re, fenntart\u00e1s\u00e1ra \u00e9s folyamatos fejleszt\u00e9s\u00e9re ad k\u00f6vetelm\u00e9nyrendszert, ez\u00e9rt a bels\u0151 auditnak is ezt a m\u0171k\u00f6d\u0151 rendszerlogik\u00e1t kell vizsg\u00e1lnia (International Organization for Standardization, 2023a).<\/p>\n\n\n\n
A bels\u0151 audit els\u0151dleges c\u00e9lja annak \u00e9rt\u00e9kel\u00e9se, hogy az AI ir\u00e1ny\u00edt\u00e1si rendszer nemcsak pap\u00edron l\u00e9tezik-e, hanem a gyakorlatban is m\u0171k\u00f6dik-e. Egy szervezet rendelkezhet AI-politik\u00e1val, kock\u00e1zat\u00e9rt\u00e9kel\u00e9si sablonnal, besz\u00e1ll\u00edt\u00f3i k\u00e9rd\u0151\u00edvvel \u00e9s incidensfolyamattal, de ezek \u00f6nmagukban m\u00e9g nem bizony\u00edtj\u00e1k a rendszer hat\u00e9konys\u00e1g\u00e1t. Az auditnak ez\u00e9rt azt kell megvizsg\u00e1lnia, hogy a szab\u00e1ly csak akkor \u00e9rt\u00e9kes, ha m\u0171k\u00f6d\u00e9sben is l\u00e1tszik<\/strong>, \u00e9s a munkat\u00e1rsak t\u00e9nyleges d\u00f6nt\u00e9si helyzetekben is alkalmazz\u00e1k.<\/p>\n\n\n\n Az AIMS bels\u0151 auditja nem egyenl\u0151 az AI-rendszer technikai tesztel\u00e9s\u00e9vel. A technikai tesztel\u00e9s azt vizsg\u00e1lhatja, hogy egy modell megfelel\u0151 pontoss\u00e1ggal, stabilit\u00e1ssal vagy biztons\u00e1ggal m\u0171k\u00f6dik-e. A bels\u0151 audit enn\u00e9l sz\u00e9lesebb k\u00e9rd\u00e9st tesz fel: van-e szab\u00e1lyozott \u00e9letciklus, kijel\u00f6lt felel\u0151ss\u00e9g, j\u00f3v\u00e1hagy\u00e1si rend, kock\u00e1zat\u00e9rt\u00e9kel\u00e9s, dokument\u00e1ci\u00f3, monitoring, incidenskezel\u00e9s \u00e9s vezet\u0151i visszacsatol\u00e1s. Ilyenkor az auditor nem a modellt ellen\u0151rzi \u00f6nmag\u00e1ban<\/strong>, hanem a modell k\u00f6r\u00e9 \u00e9p\u00edtett szervezeti ir\u00e1ny\u00edt\u00e1st.<\/p>\n\n\n\n Ez a k\u00fcl\u00f6nbs\u00e9g gyakorlati szempontb\u00f3l d\u00f6nt\u0151. Egy AI-alap\u00fa \u00fcgyf\u00e9lkock\u00e1zati modell p\u00e9ld\u00e1ul lehet statisztikailag megfelel\u0151, de audit szempontb\u00f3l m\u00e9gis gyenge, ha nincs dokument\u00e1lva az adatforr\u00e1s, nem vil\u00e1gos a modell c\u00e9lja, hi\u00e1nyzik a fel\u00fclvizsg\u00e1lati gyakoris\u00e1g, nem ellen\u0151rizhet\u0151 az emberi beavatkoz\u00e1s, vagy a v\u00e1ltoz\u00e1skezel\u00e9s nem k\u00f6veti a modellfriss\u00edt\u00e9seket. Az audit teh\u00e1t azt t\u00e1rja fel, hogy a technikai teljes\u00edtm\u00e9ny nem helyettes\u00edti az ir\u00e1ny\u00edt\u00e1si bizony\u00edt\u00e9kot<\/strong>, k\u00fcl\u00f6n\u00f6sen akkor, ha az AI kock\u00e1zatos d\u00f6nt\u00e9si helyzetben jelenik meg.<\/p>\n\n\n\n Az ISO 19011 a menedzsmentrendszerek audit\u00e1l\u00e1s\u00e1ra ad \u00fatmutat\u00e1st, bele\u00e9rtve az auditprogram ir\u00e1ny\u00edt\u00e1s\u00e1t, az audit lefolytat\u00e1s\u00e1t \u00e9s az auditorok kompetenci\u00e1j\u00e1nak \u00e9rt\u00e9kel\u00e9s\u00e9t (International Organization for Standardization, 2018). A szabv\u00e1ny szeml\u00e9lete az AIMS-ben is alkalmazhat\u00f3: az auditot c\u00e9l, terjedelem, krit\u00e9rium, bizony\u00edt\u00e9k \u00e9s meg\u00e1llap\u00edt\u00e1s ment\u00e9n kell fel\u00e9p\u00edteni. Ebben a keretben a bels\u0151 audit bizony\u00edt\u00e9kalap\u00fa \u00e9rt\u00e9kel\u00e9s<\/strong>, nem v\u00e9lem\u00e9ny, benyom\u00e1s vagy \u00e1ltal\u00e1nos megfelel\u0151s\u00e9gi besz\u00e9lget\u00e9s.<\/p>\n\n\n\n Az AIMS audit t\u00e1rgya lehet egy teljes ir\u00e1ny\u00edt\u00e1si rendszer, egy szervezeti egys\u00e9g, egy AI-\u00e9letciklus-folyamat, egy besz\u00e1ll\u00edt\u00f3i kapcsolat, egy konkr\u00e9t AI-haszn\u00e1lati eset vagy egy kontrollcsomag. Nem minden auditnak kell mindent lefednie. A bels\u0151 auditprogramnak ar\u00e1nyosan kell kijel\u00f6lnie, hogy adott id\u0151szakban mely ter\u00fcletek ker\u00fclnek vizsg\u00e1latra, \u00e9s mi\u00e9rt. Ez az\u00e9rt fontos, mert a j\u00f3 audit f\u00f3kusz\u00e1lt, nem mindent egyszerre vizsg\u00e1l<\/strong>, k\u00fcl\u00f6n\u00f6sen gyorsan v\u00e1ltoz\u00f3 AI-k\u00f6rnyezetben.<\/p>\n\n\n\n Az audit c\u00e9lja lehet megfelel\u0151s\u00e9g\u00e9rt\u00e9kel\u00e9s, hat\u00e9konys\u00e1gvizsg\u00e1lat, kock\u00e1zati kontrollok ellen\u0151rz\u00e9se, tan\u00fas\u00edt\u00e1si felk\u00e9sz\u00fcl\u00e9s vagy vezet\u0151i d\u00f6nt\u00e9st\u00e1mogat\u00e1s. Ezek a c\u00e9lok nem z\u00e1rj\u00e1k ki egym\u00e1st, de m\u00e1s hangs\u00falyt adnak az auditnak. Egy tan\u00fas\u00edt\u00e1si felk\u00e9sz\u00fcl\u00e9st t\u00e1mogat\u00f3 audit p\u00e9ld\u00e1ul nagyobb figyelmet ford\u00edt a szabv\u00e1nyk\u00f6vetelm\u00e9nyek lefedetts\u00e9g\u00e9re \u00e9s a dokument\u00e1lt inform\u00e1ci\u00f3kra. Egy m\u0171k\u00f6d\u00e9si kock\u00e1zatra f\u00f3kusz\u00e1l\u00f3 audit viszont m\u00e9lyebben vizsg\u00e1lhatja a haszn\u00e1lati esetek j\u00f3v\u00e1hagy\u00e1s\u00e1t, a modellmonitoringot vagy az incidensek kezel\u00e9s\u00e9t.<\/p>\n\n\n\n A bels\u0151 audit t\u00e1rgy\u00e1nak meghat\u00e1roz\u00e1sakor az auditor nem indulhat ki kiz\u00e1r\u00f3lag abb\u00f3l, hogy milyen dokumentumok \u00e1llnak rendelkez\u00e9sre. A k\u00e9rd\u00e9s ink\u00e1bb az, hogy a szervezet AI-kock\u00e1zatai hol jelennek meg a gyakorlatban. Ilyen pont lehet az \u00faj AI-eszk\u00f6z beszerz\u00e9se, a modellfejleszt\u00e9s, az adatkezel\u00e9s, az \u00fcgyf\u00e9lkommunik\u00e1ci\u00f3, a d\u00f6nt\u00e9st\u00e1mogat\u00e1s, az emberi fel\u00fcgyelet, a besz\u00e1ll\u00edt\u00f3i f\u00fcgg\u0151s\u00e9g vagy a generat\u00edv AI napi haszn\u00e1lata. Az audit akkor ad val\u00f3di \u00e9rt\u00e9ket, ha a vizsg\u00e1lat a kock\u00e1zat hely\u00e9re megy<\/strong>, nem csup\u00e1n a dokumentumt\u00e1rba.<\/p>\n\n\n\n Az AI-audit saj\u00e1toss\u00e1ga, hogy gyakran t\u00f6bb szakter\u00fcletet \u00e9rint egyszerre. A jogi megfelel\u00e9s, az adatv\u00e9delem, az inform\u00e1ci\u00f3biztons\u00e1g, a modellm\u0171k\u00f6d\u00e9s, az \u00fczleti c\u00e9l, az etikai szempont \u00e9s a felhaszn\u00e1l\u00f3i gyakorlat egyetlen haszn\u00e1lati esetben is \u00f6sszekapcsol\u00f3dhat. Ez\u00e9rt az auditor kompetenci\u00e1ja nem mer\u00fclhet ki abban, hogy ismeri a menedzsmentrendszer-audit alaptechnik\u00e1it. \u00c9rtenie kell, hogyan jelennek meg az AI-kock\u00e1zatok szervezeti folyamatokban, dokument\u00e1ci\u00f3ban \u00e9s felel\u0151ss\u00e9gi rendben.<\/p>\n\n\n\n Az auditnak v\u00e9gs\u0151 soron arra kell v\u00e1laszt adnia, hogy a szervezet k\u00e9pes-e felel\u0151sen m\u0171k\u00f6dtetni az AI-t. Ez mag\u00e1ban foglalja az azonos\u00edt\u00e1st, \u00e9rt\u00e9kel\u00e9st, kontroll\u00e1l\u00e1st, monitoringot, incidenskezel\u00e9st \u00e9s fejleszt\u00e9st. Ha az audit csak azt ellen\u0151rzi, hogy van-e szab\u00e1lyzat, akkor nem m\u00e9ri az AIMS t\u00e9nyleges \u00e9retts\u00e9g\u00e9t. Egy er\u0151s bels\u0151 audit ezzel szemben megmutatja, hogy az AIMS teljes\u00edtm\u00e9nye a d\u00f6nt\u00e9sek min\u0151s\u00e9g\u00e9ben l\u00e1tszik<\/strong>, nem a dokumentumok sz\u00e1m\u00e1ban.<\/p>\n\n\n\n Az AIMS bels\u0151 auditprogramj\u00e1nak kock\u00e1zatalapon kell eld\u00f6ntenie, mit, mikor \u00e9s milyen m\u00e9lys\u00e9gben vizsg\u00e1l. Ez azt jelenti, hogy az audit nem minden AI-haszn\u00e1lati esetet azonos s\u00fallyal kezel. M\u00e1s auditfigyelmet ig\u00e9nyel egy bels\u0151 sz\u00f6veg\u00f6sszefoglal\u00f3 eszk\u00f6z, mint egy \u00fcgyf\u00e9lkock\u00e1zati modell, egy HR-d\u00f6nt\u00e9st\u00e1mogat\u00f3 rendszer vagy egy \u00fcgyf\u00e9lkommunik\u00e1ci\u00f3t automatiz\u00e1l\u00f3 megold\u00e1s. A programtervez\u00e9sben ez\u00e9rt a kock\u00e1zat adja az audit s\u00falypontj\u00e1t<\/strong>, nem a technol\u00f3giai \u00fajdons\u00e1g \u00f6nmag\u00e1ban.<\/p>\n\n\n\n A kock\u00e1zatalap\u00fa auditprogram kiindul\u00f3pontja az AI-haszn\u00e1lati esetek nyilv\u00e1ntart\u00e1sa. Ha a szervezet nem tudja pontosan, hol \u00e9s milyen c\u00e9lra haszn\u00e1l AI-t, akkor nem tud \u00e9rdemi auditprogramot k\u00e9sz\u00edteni. A nyilv\u00e1ntart\u00e1snak tartalmaznia kell legal\u00e1bb a haszn\u00e1lati c\u00e9lt, a rendszer tulajdonos\u00e1t, az \u00e9rintett adatokat, a felhaszn\u00e1l\u00f3i k\u00f6rt, a kock\u00e1zati besorol\u00e1st, a besz\u00e1ll\u00edt\u00f3i kapcsolatokat \u00e9s a kapcsol\u00f3d\u00f3 kontrollokat. Ebben a helyzetben az AI-lelt\u00e1r az auditprogram t\u00e9rk\u00e9pe<\/strong>, mert n\u00e9lk\u00fcle a vizsg\u00e1lat k\u00f6nnyen esetlegess\u00e9 v\u00e1lik.<\/p>\n\n\n\n Az ISO\/IEC 23894 az AI-kock\u00e1zatkezel\u00e9s szervezeti tev\u00e9kenys\u00e9gekbe \u00e9s funkci\u00f3kba val\u00f3 integr\u00e1l\u00e1s\u00e1t hangs\u00falyozza (International Organization for Standardization, 2023b). Ez az auditprogramra is igaz: nem k\u00fcl\u00f6n\u00e1ll\u00f3 ellen\u0151rz\u00e9si list\u00e1t kell k\u00e9sz\u00edteni, hanem az AI-kock\u00e1zatokhoz illeszked\u0151 audit\u00fatvonalat. Ha egy haszn\u00e1lati esetn\u00e9l az adatmin\u0151s\u00e9g a legnagyobb kock\u00e1zat, az auditnak az adatforr\u00e1sokat, tiszt\u00edt\u00e1si l\u00e9p\u00e9seket, hozz\u00e1f\u00e9r\u00e9seket \u00e9s meg\u0151rz\u00e9si szab\u00e1lyokat kell m\u00e9lyebben vizsg\u00e1lnia. Ha a f\u0151 kock\u00e1zat az emberi fel\u00fcgyelet hi\u00e1nya, akkor a d\u00f6nt\u00e9si pontokat, j\u00f3v\u00e1hagy\u00e1si bizony\u00edt\u00e9kokat \u00e9s felhaszn\u00e1l\u00f3i kompetenci\u00e1t kell el\u0151t\u00e9rbe helyezni.<\/p>\n\n\n\n A kock\u00e1zatalap\u00fa auditprogram gyakorlati kialak\u00edt\u00e1s\u00e1hoz \u00e9rdemes t\u00f6bb t\u00e9nyez\u0151t m\u00e9rlegelni:<\/p>\n\n\n\n az AI-rendszer \u00e9rint-e \u00fcgyfelet, munkav\u00e1llal\u00f3t vagy k\u00fcls\u0151 \u00e9rintettet;<\/p>\n\n\n\n t\u00f6rt\u00e9nik-e automatiz\u00e1lt vagy r\u00e9szben automatiz\u00e1lt d\u00f6nt\u00e9st\u00e1mogat\u00e1s;<\/p>\n\n\n\n haszn\u00e1l-e szem\u00e9lyes, \u00e9rz\u00e9keny vagy \u00fczletileg kritikus adatot;<\/p>\n\n\n\n van-e besz\u00e1ll\u00edt\u00f3i vagy felh\u0151szolg\u00e1ltat\u00f3i f\u00fcgg\u0151s\u00e9g;<\/p>\n\n\n\n t\u00f6rt\u00e9nt-e incidens, panasz vagy jelent\u0151s v\u00e1ltoz\u00e1s;<\/p>\n\n\n\n milyen m\u00e9rt\u00e9kben dokument\u00e1lt a m\u0171k\u00f6d\u00e9s \u00e9s a kontrollk\u00f6rnyezet;<\/p>\n\n\n\n milyen gyakran v\u00e1ltozik a modell, az adatforr\u00e1s vagy a felhaszn\u00e1l\u00e1si c\u00e9l.<\/p>\n\n\n\n Ezek a szempontok seg\u00edtenek elker\u00fclni, hogy az auditprogram puszt\u00e1n napt\u00e1ri logika szerint m\u0171k\u00f6dj\u00f6n. \u00c9vente egyszer minden ter\u00fcletre r\u00e1n\u00e9zni nem felt\u00e9tlen\u00fcl elegend\u0151, ha egyes AI-rendszerek gyorsan v\u00e1ltoznak vagy magasabb kock\u00e1zatot hordoznak. Az auditgyakoris\u00e1got ez\u00e9rt a v\u00e1ltoz\u00e1si \u00fctemhez \u00e9s a kock\u00e1zati szinthez kell igaz\u00edtani. Ebben az \u00e9rtelemben az auditprogram nem statikus \u00e9ves t\u00e1bl\u00e1zat<\/strong>, hanem kock\u00e1zati inform\u00e1ci\u00f3kra reag\u00e1l\u00f3 tervez\u00e9si eszk\u00f6z.<\/p>\n\n\n\n A NIST AI Risk Management Framework a kock\u00e1zatkezel\u00e9si tev\u00e9kenys\u00e9geket t\u00f6bbek k\u00f6z\u00f6tt a \u201egovern\u201d, \u201emap\u201d, \u201emeasure\u201d \u00e9s \u201emanage\u201d funkci\u00f3k k\u00f6r\u00e9 rendezi (National Institute of Standards and Technology, 2023). Ez hasznos szeml\u00e9leti h\u00e1tt\u00e9r az auditprogram tervez\u00e9s\u00e9hez is. Az auditnak vizsg\u00e1lnia kell, hogy a szervezet k\u00e9pes-e felt\u00e9rk\u00e9pezni az AI-k\u00f6rnyezetet, m\u00e9rni a m\u0171k\u00f6d\u00e9st, kezelni a kock\u00e1zatokat, \u00e9s mindezt ir\u00e1ny\u00edt\u00e1si rendszerbe \u00e1gyazni. Ilyenkor az auditprogram a kock\u00e1zatkezel\u00e9s ellen\u0151rz\u0151 t\u00fckre<\/strong>, nem \u00f6n\u00e1ll\u00f3 compliance-napt\u00e1r.<\/p>\n\n\n\n Az auditprogramban meg kell hat\u00e1rozni az auditc\u00e9lokat, az auditterjedelmet, az auditkrit\u00e9riumokat, az id\u0151z\u00edt\u00e9st, az auditorokat, a m\u00f3dszertant \u00e9s a jelent\u00e9si rendet. Egy AIMS-ben k\u00fcl\u00f6n\u00f6sen fontos az auditorok f\u00fcggetlens\u00e9ge \u00e9s kompetenci\u00e1ja. Az auditor nem audit\u00e1lhatja elfogulatlanul azt a folyamatot, amelynek kialak\u00edt\u00e1s\u00e1\u00e9rt k\u00f6zvetlen\u00fcl felel\u0151s volt. Ugyanakkor az AI-specifikus t\u00e9m\u00e1khoz sz\u00fcks\u00e9g lehet technikai, jogi, adatv\u00e9delmi vagy inform\u00e1ci\u00f3biztons\u00e1gi szak\u00e9rt\u0151 bevon\u00e1s\u00e1ra.<\/p>\n\n\n\n A kock\u00e1zatalap\u00fa auditprogram tervez\u00e9s\u00e9n\u00e9l a mintav\u00e9tel is kulcsk\u00e9rd\u00e9s. Nem mindig lehets\u00e9ges minden AI-haszn\u00e1lati esetet, minden d\u00f6nt\u00e9st vagy minden napl\u00f3bejegyz\u00e9st teljesk\u00f6r\u0171en vizsg\u00e1lni. A mint\u00e1nak azonban \u00e9rtelmesen kell t\u00fckr\u00f6znie a kock\u00e1zatot. Magas kock\u00e1zat\u00fa, gyakran v\u00e1ltoz\u00f3 vagy \u00fcgyfelet \u00e9rint\u0151 rendszerekn\u00e9l m\u00e9lyebb vizsg\u00e1lat indokolt. Alacsonyabb kock\u00e1zat\u00fa, bels\u0151 \u00e9s er\u0151sen korl\u00e1tozott haszn\u00e1latn\u00e1l elegend\u0151 lehet c\u00e9lzott kontrollteszt. \u00cdgy a mintav\u00e9tel nem k\u00e9nyelmi d\u00f6nt\u00e9s<\/strong>, hanem auditm\u00f3dszertani v\u00e1laszt\u00e1s.<\/p>\n\n\n\n A programnak figyelembe kell vennie az el\u0151z\u0151 auditok eredm\u00e9nyeit is. Ha egy kor\u00e1bbi vizsg\u00e1lat gyenge dokument\u00e1ci\u00f3t, nem egy\u00e9rtelm\u0171 felel\u0151ss\u00e9get vagy hi\u00e1nyos v\u00e1ltoz\u00e1skezel\u00e9st t\u00e1rt fel, akkor a k\u00f6vetkez\u0151 auditprogramban ezekre vissza kell t\u00e9rni. A bels\u0151 audit \u00e9rt\u00e9ke nemcsak az els\u0151 felt\u00e1r\u00e1sban van, hanem abban is, hogy k\u00f6veti a jav\u00edt\u00f3 int\u00e9zked\u00e9sek megval\u00f3sul\u00e1s\u00e1t. Ha nincs ut\u00e1nk\u00f6vet\u00e9s, akkor a meg\u00e1llap\u00edt\u00e1s elvesz\u00edti fejleszt\u0151 erej\u00e9t<\/strong>, \u00e9s az audit k\u00f6nnyen egyszeri jelent\u00e9ss\u00e9 v\u00e1lik.<\/p>\n\n\n\n Az auditprogramnak a tan\u00fas\u00edt\u00e1si felk\u00e9sz\u00fcl\u00e9sben is szerepe van. A tan\u00fas\u00edt\u00e1s el\u0151tt a szervezetnek l\u00e1tnia kell, hol vannak a legfontosabb hi\u00e1nyoss\u00e1gok, mely k\u00f6vetelm\u00e9nyek teljes\u00fcl\u00e9se bizony\u00edthat\u00f3, \u00e9s mely ter\u00fcleteken gyenge a m\u0171k\u00f6d\u00e9s. Egy j\u00f3l fel\u00e9p\u00edtett bels\u0151 auditprogram nem a k\u00fcls\u0151 audit f\u0151pr\u00f3b\u00e1ja csup\u00e1n, hanem az AIMS saj\u00e1t tanul\u00e1si folyamata. A c\u00e9l az, hogy a szervezet ne a tan\u00fas\u00edt\u00f3 auditon tal\u00e1lkozzon el\u0151sz\u00f6r a kritikus hi\u00e1nyoss\u00e1gokkal.<\/p>\n\n\n\n Az AIMS bels\u0151 auditj\u00e1nak szakmai min\u0151s\u00e9g\u00e9t nagyr\u00e9szt az hat\u00e1rozza meg, mennyire pontosan kezeli az auditkrit\u00e9rium, az auditbizony\u00edt\u00e9k \u00e9s az auditmeg\u00e1llap\u00edt\u00e1s fogalm\u00e1t. Az auditkrit\u00e9rium az a k\u00f6vetelm\u00e9nyrendszer, amelyhez k\u00e9pest az auditor \u00e9rt\u00e9kel. Ez lehet ISO\/IEC 42001 k\u00f6vetelm\u00e9ny, bels\u0151 AI-politika, elj\u00e1r\u00e1srend, kock\u00e1zatkezel\u00e9si m\u00f3dszertan, szerz\u0151d\u00e9ses k\u00f6vetelm\u00e9ny, jogszab\u00e1lyi elv\u00e1r\u00e1s vagy vezet\u0151i d\u00f6nt\u00e9s. Az audit sor\u00e1n a krit\u00e9rium adja az \u00e9rt\u00e9kel\u00e9s m\u00e9rc\u00e9j\u00e9t<\/strong>, ez\u00e9rt nem lehet hom\u00e1lyos vagy ut\u00f3lag kital\u00e1lt.<\/p>\n\n\n\n Az auditkrit\u00e9riumok kijel\u00f6l\u00e9sekor fontos elker\u00fclni a t\u00fal \u00e1ltal\u00e1nos megfogalmaz\u00e1sokat. Az olyan \u00e1ll\u00edt\u00e1s, hogy \u201eaz AI-t felel\u0151sen kell haszn\u00e1lni\u201d, \u00f6nmag\u00e1ban nem el\u00e9g auditkrit\u00e9rium. Ezt le kell ford\u00edtani ellen\u0151rizhet\u0151 elemekre: van-e j\u00f3v\u00e1hagyott haszn\u00e1lati c\u00e9l, t\u00f6rt\u00e9nt-e kock\u00e1zat\u00e9rt\u00e9kel\u00e9s, dokument\u00e1lt\u00e1k-e az adatforr\u00e1sokat, biztos\u00edtott-e az emberi fel\u00fcgyelet, napl\u00f3zz\u00e1k-e a m\u0171k\u00f6d\u00e9st, \u00e9s kezelik-e az incidenseket. Ebben a form\u00e1ban az elv csak ellen\u0151rizhet\u0151 szab\u00e1lyk\u00e9nt audit\u00e1lhat\u00f3<\/strong>, k\u00fcl\u00f6nben az auditor v\u00e9lem\u00e9nyek k\u00f6z\u00f6tt mozog.<\/p>\n\n\n\n Az auditbizony\u00edt\u00e9k olyan ellen\u0151rizhet\u0151 inform\u00e1ci\u00f3, amely alapj\u00e1n az auditor k\u00f6vetkeztet\u00e9st von le. Lehet dokumentum, rekord, napl\u00f3, interj\u00fa, megfigyel\u00e9s, rendszerk\u00e9perny\u0151, j\u00f3v\u00e1hagy\u00e1si nyom, incidensjegy, k\u00e9pz\u00e9si lista, szerz\u0151d\u00e9ses mell\u00e9klet, monitoringriport vagy v\u00e1ltoz\u00e1snapl\u00f3. Az auditbizony\u00edt\u00e9knak relev\u00e1nsnak \u00e9s megb\u00edzhat\u00f3nak kell lennie. Nem el\u00e9g, ha valaki elmondja, hogy egy kontroll m\u0171k\u00f6dik; az auditor azt is vizsg\u00e1lja, hogy van-e erre t\u00e9nyszer\u0171 nyom.<\/p>\n\n\n\n Az AI-k\u00f6rnyezetben a bizony\u00edt\u00e9k gyakran t\u00f6bb rendszerben keletkezik. Egy modellv\u00e1ltoz\u00e1s eset\u00e9n p\u00e9ld\u00e1ul bizony\u00edt\u00e9k lehet a v\u00e1ltoz\u00e1sk\u00e9relem, a tesztjelent\u00e9s, a j\u00f3v\u00e1hagy\u00e1s, a verzi\u00f3kezel\u00e9si bejegyz\u00e9s, a monitoringbe\u00e1ll\u00edt\u00e1s \u00e9s az \u00e9les\u00edt\u00e9s ut\u00e1ni kontrollriport. Ha ezek nem kapcsol\u00f3dnak \u00f6ssze, az auditor nehezen tudja visszak\u00f6vetni a d\u00f6nt\u00e9si l\u00e1ncot. Ez\u00e9rt az audit\u00e1lhat\u00f3s\u00e1g nyomvonalat ig\u00e9nyel<\/strong>, nem puszt\u00e1n elsz\u00f3rt dokumentumokat.<\/p>\n\n\n\n Raji \u00e9s munkat\u00e1rsai az internal algorithmic auditing keret\u00e9ben azt hangs\u00falyozz\u00e1k, hogy az AI-rendszerek \u00e9letciklus\u00e1nak k\u00fcl\u00f6nb\u00f6z\u0151 szakaszaiban keletkez\u0151 dokumentumok egy\u00fctt adnak \u00e9rdemi auditk\u00e9pet (Raji et al., 2020). Ez a gondolat AIMS-k\u00f6rnyezetben k\u00fcl\u00f6n\u00f6sen fontos: a bels\u0151 audit nemcsak v\u00e9g\u00e1llapotot vizsg\u00e1l, hanem azt is, hogyan sz\u00fclettek a d\u00f6nt\u00e9sek a fejleszt\u00e9s, bevezet\u00e9s, haszn\u00e1lat \u00e9s m\u00f3dos\u00edt\u00e1s sor\u00e1n. Ebb\u0151l k\u00f6vetkezik, hogy az AI-audit \u00e9letciklus-bizony\u00edt\u00e9kokra \u00e9p\u00fcl<\/strong>, nem kiz\u00e1r\u00f3lag \u00e9les m\u0171k\u00f6d\u00e9si riportokra.<\/p>\n\n\n\n Az auditmeg\u00e1llap\u00edt\u00e1s a krit\u00e9rium \u00e9s a bizony\u00edt\u00e9k \u00f6sszevet\u00e9s\u00e9b\u0151l keletkezik. Ha a bizony\u00edt\u00e9k megfelel a krit\u00e9riumnak, az auditor megfelel\u0151s\u00e9get vagy er\u0151ss\u00e9get \u00e1llap\u00edthat meg. Ha elt\u00e9r\u00e9s van, nemmegfelel\u0151s\u00e9get, fejleszt\u00e9si lehet\u0151s\u00e9get vagy \u00e9szrev\u00e9telt fogalmazhat meg. A meg\u00e1llap\u00edt\u00e1snak vil\u00e1gosnak kell lennie: mit vizsg\u00e1ltak, mi volt a k\u00f6vetelm\u00e9ny, milyen bizony\u00edt\u00e9kot tal\u00e1ltak, mi hi\u00e1nyzik vagy mi t\u00e9r el, \u00e9s mi\u00e9rt l\u00e9nyeges ez a szervezet sz\u00e1m\u00e1ra.<\/p>\n\n\n\n A gyenge auditmeg\u00e1llap\u00edt\u00e1s \u00e1ltal\u00e1nos \u00e9s nehezen kezelhet\u0151. P\u00e9ld\u00e1ul: \u201ea dokument\u00e1ci\u00f3 hi\u00e1nyos\u201d. Ez nem el\u00e9g pontos. Jobb meg\u00e1llap\u00edt\u00e1s: \u201eaz \u00fcgyf\u00e9lkock\u00e1zati AI-modell 2025. m\u00e1rciusi \u00fajratan\u00edt\u00e1s\u00e1hoz nem \u00e1ll rendelkez\u00e9sre j\u00f3v\u00e1hagyott tesztjelent\u00e9s \u00e9s \u00fczleti tulajdonosi elfogad\u00e1s, mik\u00f6zben a bels\u0151 modellv\u00e1ltoz\u00e1s-kezel\u00e9si elj\u00e1r\u00e1s ezt \u00e9les\u00edt\u00e9s el\u0151tt k\u00f6telez\u0151v\u00e9 teszi\u201d. Ilyenkor a j\u00f3 meg\u00e1llap\u00edt\u00e1s int\u00e9zked\u00e9sre alkalmas<\/strong>, mert konkr\u00e9t, bizony\u00edtott \u00e9s krit\u00e9riumhoz k\u00f6t\u00f6tt.<\/p>\n\n\n\n Az auditbizony\u00edt\u00e9k \u00e9rt\u00e9kel\u00e9sekor az auditoroknak \u00f3vatosnak kell lenni\u00fck az interj\u00fak t\u00fal\u00e9rt\u00e9kel\u00e9s\u00e9vel. Az interj\u00fa seg\u00edt meg\u00e9rteni a m\u0171k\u00f6d\u00e9st, de \u00f6nmag\u00e1ban ritk\u00e1n elegend\u0151 bizony\u00edt\u00e9k. Ha a munkat\u00e1rs azt mondja, hogy minden generat\u00edv AI-kimenetet ellen\u0151riznek \u00fcgyf\u00e9lk\u00fcld\u00e9s el\u0151tt, akkor az auditor mint\u00e1t k\u00e9rhet j\u00f3v\u00e1hagy\u00e1si nyomokra, munkafolyamat-bejegyz\u00e9sekre vagy min\u0151s\u00e9gellen\u0151rz\u00e9si rekordokra. Ez az\u00e9rt fontos, mert a sz\u00e1nd\u00e9k nem azonos a kontrollm\u0171k\u00f6d\u00e9ssel<\/strong>, \u00e9s az auditnak nem a sz\u00e1nd\u00e9kot, hanem a m\u0171k\u00f6d\u00e9st kell \u00e9rt\u00e9kelnie.<\/p>\n\n\n\n A bizony\u00edt\u00e9kok vizsg\u00e1lat\u00e1n\u00e1l a konzisztencia is fontos. Ha a szab\u00e1lyzat szerint minden magas kock\u00e1zat\u00fa AI-haszn\u00e1lati esethez kock\u00e1zat\u00e9rt\u00e9kel\u00e9s kell, de a nyilv\u00e1ntart\u00e1sban h\u00e1rom ilyen rendszer k\u00f6z\u00fcl csak kett\u0151n\u00e9l tal\u00e1lhat\u00f3 \u00e9rt\u00e9kel\u00e9s, akkor nem el\u00e9g azt meg\u00e1llap\u00edtani, hogy \u201e\u00e1ltal\u00e1ban van kock\u00e1zat\u00e9rt\u00e9kel\u00e9s\u201d. A hi\u00e1ny konkr\u00e9t kontrollr\u00e9st jelez. Az AIMS auditja ez\u00e9rt nemcsak dokumentumok megl\u00e9t\u00e9t ellen\u0151rzi, hanem azt is, hogy a k\u00f6vetelm\u00e9nyek k\u00f6vetkezetesen teljes\u00fclnek-e.<\/p>\n\n\n\n A meg\u00e1llap\u00edt\u00e1sok megfogalmaz\u00e1sakor ker\u00fclni kell a t\u00falzott technikai r\u00e9szletez\u00e9st, ha az nem sz\u00fcks\u00e9ges a kock\u00e1zat meg\u00e9rt\u00e9s\u00e9hez. A vezet\u0151knek \u00e9s folyamatgazd\u00e1knak azt kell l\u00e1tniuk, mi\u00e9rt sz\u00e1m\u00edt az elt\u00e9r\u00e9s. P\u00e9ld\u00e1ul egy hi\u00e1nyz\u00f3 driftmonitoring-be\u00e1ll\u00edt\u00e1s \u00f6nmag\u00e1ban technikai r\u00e9szletnek t\u0171nhet, de ha a modell \u00fcgyf\u00e9lkock\u00e1zati besorol\u00e1st t\u00e1mogat, akkor a hi\u00e1ny azt jelenti, hogy a szervezet k\u00e9s\u0151n \u00e9szlelheti a teljes\u00edtm\u00e9nyroml\u00e1st. Ilyenkor a meg\u00e1llap\u00edt\u00e1s kock\u00e1zati jelent\u00e9s\u00e9t is ki kell mondani<\/strong>, nem csak a hi\u00e1ny t\u00e9ny\u00e9t.<\/p>\n\n\n\n Az AI-specifikus auditk\u00e9rd\u00e9sek akkor j\u00f3k, ha nem puszt\u00e1n igen-nem v\u00e1laszokat keresnek, hanem bizony\u00edt\u00e9kot k\u00e9rnek a m\u0171k\u00f6d\u00e9sre. Egy AI ir\u00e1ny\u00edt\u00e1si rendszer auditj\u00e1ban kev\u00e9s \u00e9rt\u00e9ke van annak a k\u00e9rd\u00e9snek, hogy \u201evan-e kock\u00e1zat\u00e9rt\u00e9kel\u00e9s?\u201d. Enn\u00e9l pontosabb k\u00e9rd\u00e9s kell: mikor k\u00e9sz\u00fclt, ki hagyta j\u00f3v\u00e1, milyen adatokra \u00e9s kock\u00e1zatokra terjedt ki, friss\u00edtett\u00e9k-e v\u00e1ltoz\u00e1s ut\u00e1n, \u00e9s milyen kontrollok k\u00f6vetkeztek bel\u0151le. \u00cdgy a j\u00f3 auditk\u00e9rd\u00e9s m\u0171k\u00f6d\u00e9si l\u00e1ncot t\u00e1r fel<\/strong>, nem csak dokumentumot keres.<\/p>\n\n\n\n Az AI-specifikus auditk\u00e9rd\u00e9seknek az AI-\u00e9letciklus f\u0151 pontjait kell k\u00f6vetni\u00fck. Ide tartozik a haszn\u00e1lati eset kezdem\u00e9nyez\u00e9se, a kock\u00e1zat\u00e9rt\u00e9kel\u00e9s, az adatkezel\u00e9s, a fejleszt\u00e9s vagy beszerz\u00e9s, a tesztel\u00e9s, az \u00e9les\u00edt\u00e9s, a monitoring, a v\u00e1ltoz\u00e1skezel\u00e9s, az incidenskezel\u00e9s \u00e9s a kivon\u00e1s. Minden ponton m\u00e1s bizony\u00edt\u00e9k sz\u00fcks\u00e9ges. Az auditor feladata annak meg\u00e1llap\u00edt\u00e1sa, hogy a folyamat nem szakad-e meg valamelyik kritikus ponton.<\/p>\n\n\n\n Egy AI-alap\u00fa \u00fcgyf\u00e9lkock\u00e1zati modell auditj\u00e1n\u00e1l p\u00e9ld\u00e1ul az els\u0151 k\u00e9rd\u00e9s nem a modell pontoss\u00e1ga, hanem a haszn\u00e1lati c\u00e9l tiszt\u00e1zotts\u00e1ga. Ki haszn\u00e1lja a modellt? Milyen d\u00f6nt\u00e9st t\u00e1mogat? Automatiz\u00e1lt d\u00f6nt\u00e9sr\u0151l vagy emberi d\u00f6nt\u00e9st\u00e1mogat\u00e1sr\u00f3l van sz\u00f3? Milyen \u00fcgyf\u00e9ladatokat haszn\u00e1l? Milyen kock\u00e1zat\u00e9rt\u00e9kel\u00e9s k\u00e9sz\u00fclt? Milyen korl\u00e1tokat kell figyelembe venni? Ebben a vizsg\u00e1latban a c\u00e9l tiszt\u00e1z\u00e1sa a kontrollok alapja<\/strong>, mert a kontrollok csak ismert c\u00e9lhoz \u00e9s kock\u00e1zathoz rendelhet\u0151k.<\/p>\n\n\n\n Az EU AI Act magas kock\u00e1zat\u00fa AI-rendszerekre vonatkoz\u00f3 k\u00f6vetelm\u00e9nyei t\u00f6bbek k\u00f6z\u00f6tt a kock\u00e1zatkezel\u00e9s, adatkorm\u00e1nyz\u00e1s, m\u0171szaki dokument\u00e1ci\u00f3, napl\u00f3z\u00e1s, \u00e1tl\u00e1that\u00f3s\u00e1g, emberi fel\u00fcgyelet, pontoss\u00e1g, robusztuss\u00e1g \u00e9s kiberbiztons\u00e1g t\u00e9m\u00e1it emelik ki (European Parliament & Council of the European Union, 2024). Nem minden szervezeti AI-haszn\u00e1lat tartozik magas kock\u00e1zat\u00fa kateg\u00f3ri\u00e1ba, de ezek a t\u00e9m\u00e1k auditk\u00e9rd\u00e9sk\u00e9nt sok AIMS-ben relev\u00e1nsak lehetnek. Ilyenkor a szab\u00e1lyoz\u00e1si logika auditk\u00e9rd\u00e9sekk\u00e9 ford\u00edthat\u00f3<\/strong>, ar\u00e1nyosan \u00e9s a haszn\u00e1lati eset kock\u00e1zat\u00e1hoz igaz\u00edtva.<\/p>\n\n\n\n Az auditk\u00e9rd\u00e9seket \u00e9rdemes t\u00e9macsoportokban fel\u00e9p\u00edteni:<\/p>\n\n\n\n Ki az AI-rendszer \u00fczleti tulajdonosa?<\/p>\n\n\n\n Milyen d\u00f6nt\u00e9st vagy folyamatot t\u00e1mogat a rendszer?<\/p>\n\n\n\n Dokument\u00e1lt\u00e1k-e a megengedett \u00e9s tiltott haszn\u00e1lati m\u00f3dokat?<\/p>\n\n\n\n Van-e kijel\u00f6lt felel\u0151s a monitoring\u00e9rt \u00e9s a v\u00e1ltoz\u00e1skezel\u00e9s\u00e9rt?<\/p>\n\n\n\n Ismerik-e a felhaszn\u00e1l\u00f3k a rendszer korl\u00e1tait?<\/p>\n\n\n\n A felel\u0151ss\u00e9gi k\u00e9rd\u00e9sek k\u00fcl\u00f6n\u00f6sen fontosak, mert az AI-rendszerek gyakran t\u00f6bb ter\u00fclet k\u00f6z\u00f6tt helyezkednek el. Az \u00fczlet haszn\u00e1lja, az IT integr\u00e1lja, a besz\u00e1ll\u00edt\u00f3 biztos\u00edtja, a compliance ellen\u0151rzi, az adatv\u00e9delmi ter\u00fclet v\u00e9lem\u00e9nyezi. Ha nincs kijel\u00f6lt tulajdonos, az audit k\u00f6nnyen azt tal\u00e1lja, hogy mindenki r\u00e9szt vesz, de senki nem felel a teljes m\u0171k\u00f6d\u00e9s\u00e9rt. Ilyenkor a megosztott r\u00e9szv\u00e9tel nem p\u00f3tolja a felel\u0151ss\u00e9get<\/strong>, \u00e9s ez \u00f6nmag\u00e1ban ir\u00e1ny\u00edt\u00e1si kock\u00e1zat.<\/p>\n\n\n\n Ismert \u00e9s dokument\u00e1lt az adatforr\u00e1s?<\/p>\n\n\n\n Jogszer\u0171 \u00e9s c\u00e9lhoz k\u00f6t\u00f6tt az adathaszn\u00e1lat?<\/p>\n\n\n\n Vannak-e adatmin\u0151s\u00e9gi k\u00f6vetelm\u00e9nyek \u00e9s ellen\u0151rz\u00e9sek?<\/p>\n\n\n\n Ki f\u00e9r hozz\u00e1 a tan\u00edt\u00e1si, valid\u00e1l\u00e1si \u00e9s \u00e9les adatokhoz?<\/p>\n\n\n\n Van-e meg\u0151rz\u00e9si \u00e9s t\u00f6rl\u00e9si szab\u00e1ly?<\/p>\n\n\n\n Az AI-adatkezel\u00e9s auditja nem korl\u00e1toz\u00f3dhat arra, hogy van-e adatv\u00e9delmi t\u00e1j\u00e9koztat\u00f3. A modell teljes\u00edtm\u00e9nye, igazs\u00e1goss\u00e1ga \u00e9s megfelel\u0151s\u00e9ge nagyban f\u00fcgg att\u00f3l, hogy milyen adatokb\u00f3l dolgozik, milyen hib\u00e1kkal, hi\u00e1nyokkal vagy torz\u00edt\u00e1sokkal. Az auditornak ez\u00e9rt azt is vizsg\u00e1lnia kell, hogy a szervezet hogyan kezeli az adatmin\u0151s\u00e9gi \u00e9s hozz\u00e1f\u00e9r\u00e9si kontrollokat. Itt az adatkontroll AI-kontroll is<\/strong>, mert a gyenge adatkezel\u00e9s k\u00f6zvetlen\u00fcl befoly\u00e1solhatja a modellkimenetet.<\/p>\n\n\n\n Dokument\u00e1lt\u00e1k-e a modellv\u00e1laszt\u00e1st \u00e9s annak indokait?<\/p>\n\n\n\n Meghat\u00e1rozt\u00e1k-e az elfogad\u00e1si krit\u00e9riumokat?<\/p>\n\n\n\n Elv\u00e9gezt\u00e9k-e a tesztel\u00e9st az \u00e9les\u00edt\u00e9s el\u0151tt?<\/p>\n\n\n\n Vizsg\u00e1lt\u00e1k-e a hibahat\u00e1sokat \u00e9s a korl\u00e1tokat?<\/p>\n\n\n\n Van-e j\u00f3v\u00e1hagyott \u00e9les\u00edt\u00e9si d\u00f6nt\u00e9s?<\/p>\n\n\n\n A modelltesztel\u00e9s auditja sor\u00e1n az auditor nem felt\u00e9tlen\u00fcl valid\u00e1lja \u00fajra a modellt, de megvizsg\u00e1lja, hogy a valid\u00e1l\u00e1s megt\u00f6rt\u00e9nt-e, megfelel\u0151 volt-e, \u00e9s illeszkedett-e a kock\u00e1zati szinthez. Egy \u00fcgyf\u00e9lkock\u00e1zati modelln\u00e9l p\u00e9ld\u00e1ul fontos lehet a teljes\u00edtm\u00e9nyc\u00e9l, a hibaar\u00e1ny, az adatk\u00f6r\u00f6k elk\u00fcl\u00f6n\u00edt\u00e9se, az elfogad\u00e1si k\u00fcsz\u00f6b \u00e9s a hum\u00e1n d\u00f6nt\u00e9si kontroll. Ebben az \u00f6sszef\u00fcgg\u00e9sben a tesztel\u00e9s bizony\u00edt\u00e9ka \u00e9les\u00edt\u00e9si felt\u00e9tel<\/strong>, nem fejleszt\u0151i k\u00e9nyelmi dokumentum.<\/p>\n\n\n\n Milyen mutat\u00f3kkal figyelik a modell m\u0171k\u00f6d\u00e9s\u00e9t?<\/p>\n\n\n\n Van-e k\u00fcsz\u00f6b\u00e9rt\u00e9k roml\u00e1s vagy elt\u00e9r\u00e9s eset\u00e9re?<\/p>\n\n\n\n Hogyan kezelik a felhaszn\u00e1l\u00f3i visszajelz\u00e9seket \u00e9s panaszokat?<\/p>\n\n\n\n V\u00e1ltoz\u00e1s ut\u00e1n friss\u00fcl-e a kock\u00e1zat\u00e9rt\u00e9kel\u00e9s?<\/p>\n\n\n\n Visszak\u00f6vethet\u0151-e a modellverzi\u00f3 \u00e9s a j\u00f3v\u00e1hagy\u00e1si \u00fat?<\/p>\n\n\n\n A v\u00e1ltoz\u00e1skezel\u00e9s az AI-audit egyik legfontosabb ter\u00fclete, mert egy modellfriss\u00edt\u00e9s, \u00faj adatforr\u00e1s vagy besz\u00e1ll\u00edt\u00f3i m\u00f3dos\u00edt\u00e1s megv\u00e1ltoztathatja a kock\u00e1zati k\u00e9pet. Az auditornak ez\u00e9rt nemcsak azt kell k\u00e9rdeznie, mi volt az eredeti \u00e1llapot, hanem azt is, mi t\u00f6rt\u00e9nt a legut\u00f3bbi v\u00e1ltoz\u00e1skor. Ha a szervezet nem tudja megmutatni a v\u00e1ltoz\u00e1s nyomvonal\u00e1t, akkor a kontroll\u00e1lt m\u0171k\u00f6d\u00e9s id\u0151ben megszakad<\/strong>, m\u00e9g akkor is, ha a rendszer jelenleg l\u00e1tsz\u00f3lag j\u00f3l m\u0171k\u00f6dik.<\/p>\n\n\n\n Egy bels\u0151 audit tervben a c\u00e9l lehet annak \u00e9rt\u00e9kel\u00e9se, hogy az \u00fcgyf\u00e9lkock\u00e1zati modell ir\u00e1ny\u00edt\u00e1sa megfelel-e az AIMS k\u00f6vetelm\u00e9nyeinek, \u00e9s a szervezet k\u00e9pes-e a modellhez kapcsol\u00f3d\u00f3 kock\u00e1zatokat kontroll\u00e1ltan kezelni. Az auditterjedelem kiterjedhet az adatforr\u00e1sokra, modellfejleszt\u00e9sre, tesztel\u00e9sre, \u00e9les\u00edt\u00e9sre, felhaszn\u00e1l\u00f3i haszn\u00e1latra, monitoringra, incidenskezel\u00e9sre \u00e9s v\u00e1ltoz\u00e1skezel\u00e9sre. Az auditkrit\u00e9riumokat az ISO\/IEC 42001 k\u00f6vetelm\u00e9nyei, a bels\u0151 AI-politika, az adatkezel\u00e9si szab\u00e1lyok, a modellv\u00e1ltoz\u00e1s-kezel\u00e9si elj\u00e1r\u00e1s \u00e9s az \u00fcgyf\u00e9lkock\u00e1zati folyamat bels\u0151 el\u0151\u00edr\u00e1sai adhatj\u00e1k.<\/p>\n\n\n\n Auditk\u00e9rd\u00e9s<\/p>\n\n\n\n K\u00e9rt bizony\u00edt\u00e9k<\/p>\n\n\n\n Lehets\u00e9ges kock\u00e1zat<\/p>\n\n\n\n J\u00f3v\u00e1hagyott-e a haszn\u00e1lati c\u00e9l?<\/p>\n\n\n\n AI-haszn\u00e1lati eset nyilv\u00e1ntart\u00e1sa, \u00fczleti j\u00f3v\u00e1hagy\u00e1s<\/p>\n\n\n\n nem enged\u00e9lyezett vagy c\u00e9lon t\u00fali haszn\u00e1lat<\/p>\n\n\n\n Dokument\u00e1lt-e az adatforr\u00e1s?<\/p>\n\n\n\n adatlelt\u00e1r, hozz\u00e1f\u00e9r\u00e9si lista, adatmin\u0151s\u00e9gi riport<\/p>\n\n\n\n jogszer\u0171tlen vagy pontatlan adathaszn\u00e1lat<\/p>\n\n\n\n Megt\u00f6rt\u00e9nt-e a kock\u00e1zat\u00e9rt\u00e9kel\u00e9s?<\/p>\n\n\n\n kock\u00e1zat\u00e9rt\u00e9kel\u00e9si rekord, kontrollterv<\/p>\n\n\n\n kontroll n\u00e9lk\u00fcli magas kock\u00e1zat<\/p>\n\n\n\n Tesztelt\u00e9k-e az \u00e9les\u00edt\u00e9s el\u0151tt?<\/p>\n\n\n\n valid\u00e1l\u00e1si jelent\u00e9s, elfogad\u00e1si d\u00f6nt\u00e9s<\/p>\n\n\n\n nem \u00e9szlelt modellhiba<\/p>\n\n\n\n M\u0171k\u00f6dik-e a monitoring?<\/p>\n\n\n\n dashboard, riaszt\u00e1si szab\u00e1ly, fel\u00fclvizsg\u00e1lati jegyz\u0151k\u00f6nyv<\/p>\n\n\n\n k\u00e9s\u0151n \u00e9szlelt modellroml\u00e1s<\/p>\n\n\n\n Kezelt\u00e9k-e a v\u00e1ltoz\u00e1sokat?<\/p>\n\n\n\n v\u00e1ltoz\u00e1snapl\u00f3, verzi\u00f3t\u00f6rt\u00e9net, j\u00f3v\u00e1hagy\u00e1s<\/p>\n\n\n\n visszak\u00f6vethetetlen modellm\u00f3dos\u00edt\u00e1s<\/p>\n\n\n\n Ez a v\u00e1zlat nem minden szervezetben azonos, de j\u00f3l mutatja az auditlogik\u00e1t. Az auditor minden k\u00e9rd\u00e9sn\u00e9l a krit\u00e9riumot, a bizony\u00edt\u00e9kot \u00e9s a kock\u00e1zati jelent\u00e9st kapcsolja \u00f6ssze. \u00cdgy az audit nem listakit\u00f6lt\u00e9s, hanem kock\u00e1zati \u00e9rvel\u00e9s<\/strong>, amely megmutatja, mi\u00e9rt fontos egy-egy kontroll megl\u00e9te vagy hi\u00e1nya.<\/p>\n\n\n\n A bels\u0151 audit egyik leg\u00e9rz\u00e9kenyebb pontja a nemmegfelel\u0151s\u00e9gek s\u00falyoss\u00e1g\u00e1nak \u00e9rt\u00e9kel\u00e9se. Nem minden elt\u00e9r\u00e9s azonos jelent\u0151s\u00e9g\u0171. Egy hi\u00e1nyz\u00f3 formai elem, egy k\u00e9sedelmes fel\u00fclvizsg\u00e1lat \u00e9s egy \u00e9les\u00edtett, de nem tesztelt magas kock\u00e1zat\u00fa AI-modell nem kezelhet\u0151 ugyanazzal a s\u00fallyal. Az \u00e9rt\u00e9kel\u00e9snek figyelembe kell vennie a kock\u00e1zat m\u00e9rt\u00e9k\u00e9t, az \u00e9rintetti hat\u00e1st, az ism\u00e9tl\u0151d\u00e9st, a kontrollhi\u00e1ny m\u00e9lys\u00e9g\u00e9t \u00e9s a szervezet reag\u00e1l\u00f3k\u00e9pess\u00e9g\u00e9t. Ilyenkor a s\u00falyoss\u00e1got a k\u00f6vetkezm\u00e9ny lehet\u0151s\u00e9ge hat\u00e1rozza meg<\/strong>, nem csup\u00e1n a dokument\u00e1ci\u00f3s hi\u00e1ny t\u00e9nye.<\/p>\n\n\n\n Az AIMS-ben a nemmegfelel\u0151s\u00e9g lehet k\u00f6vetelm\u00e9nyhi\u00e1ny, m\u0171k\u00f6d\u00e9si elt\u00e9r\u00e9s, bizony\u00edt\u00e9khi\u00e1ny vagy kontrollhat\u00e9konys\u00e1gi probl\u00e9ma. K\u00f6vetelm\u00e9nyhi\u00e1ny p\u00e9ld\u00e1ul, ha nincs meghat\u00e1rozva az AI-haszn\u00e1lati esetek j\u00f3v\u00e1hagy\u00e1si folyamata. M\u0171k\u00f6d\u00e9si elt\u00e9r\u00e9s, ha a folyamat l\u00e9tezik, de egy konkr\u00e9t AI-rendszert j\u00f3v\u00e1hagy\u00e1s n\u00e9lk\u00fcl vezettek be. Bizony\u00edt\u00e9khi\u00e1ny, ha a j\u00f3v\u00e1hagy\u00e1s megt\u00f6rt\u00e9nt, de nem visszak\u00f6vethet\u0151. Kontrollhat\u00e9konys\u00e1gi probl\u00e9ma, ha a kontroll pap\u00edron m\u0171k\u00f6dik, de nem akad\u00e1lyozza meg a tiltott haszn\u00e1latot. Ebben a bont\u00e1sban a hi\u00e1ny t\u00edpusa meghat\u00e1rozza a jav\u00edt\u00e1s m\u00f3dj\u00e1t<\/strong>, ez\u00e9rt az auditor nem \u00e1llhat meg a felsz\u00edni meg\u00e1llap\u00edt\u00e1sn\u00e1l.<\/p>\n\n\n\n A nemmegfelel\u0151s\u00e9gek s\u00falyoss\u00e1g\u00e1t c\u00e9lszer\u0171 legal\u00e1bb h\u00e1rom szinten \u00e9rt\u00e9kelni. Kisebb elt\u00e9r\u00e9s lehet, ha a dokument\u00e1ci\u00f3 r\u00e9szben hi\u00e1nyos, de a kontroll m\u0171k\u00f6d\u00e9se bizony\u00edthat\u00f3, \u00e9s az \u00e9rintetti kock\u00e1zat alacsony. Jelent\u0151s elt\u00e9r\u00e9s lehet, ha egy k\u00f6vetelm\u00e9ny rendszeresen nem teljes\u00fcl, vagy a kontrollhi\u00e1ny magasabb kock\u00e1zat\u00fa AI-haszn\u00e1latot \u00e9rint. Kritikus elt\u00e9r\u00e9s lehet, ha a szervezet kontroll n\u00e9lk\u00fcl m\u0171k\u00f6dtet olyan AI-rendszert, amely \u00fcgyf\u00e9lre, munkav\u00e1llal\u00f3ra, jogi megfelel\u00e9sre vagy jelent\u0151s \u00fczleti d\u00f6nt\u00e9sre hat. Ilyenkor a nemmegfelel\u0151s\u00e9g nem b\u00fcntet\u00e9s<\/strong>, hanem kock\u00e1zati jelz\u00e9s.<\/p>\n\n\n\n A bels\u0151 audit meg\u00e1llap\u00edt\u00e1sait nem szabad szem\u00e9lyes hib\u00e1ztat\u00e1ss\u00e1 alak\u00edtani. Az AIMS fejleszt\u00e9s\u00e9nek c\u00e9lja a rendszer jav\u00edt\u00e1sa, nem az egy\u00e9nek okol\u00e1sa. Ha p\u00e9ld\u00e1ul egy munkat\u00e1rs tiltott m\u00f3don haszn\u00e1lt generat\u00edv AI-eszk\u00f6zt \u00fcgyf\u00e9ladatokkal, az auditnak nemcsak az egyedi esetet kell r\u00f6gz\u00edtenie. Vizsg\u00e1lni kell, hogy egy\u00e9rtelm\u0171ek voltak-e a szab\u00e1lyok, kapott-e k\u00e9pz\u00e9st a felhaszn\u00e1l\u00f3, volt-e technikai megel\u0151z\u0151 kontroll, \u00e9s m\u0171k\u00f6d\u00f6tt-e az \u00e9szlel\u00e9si mechanizmus. \u00cdgy az audit rendszerszint\u0171 okokat keres<\/strong>, nem egyszer\u0171 b\u0171nbakot.<\/p>\n\n\n\n A jav\u00edt\u00f3 int\u00e9zked\u00e9snek mindig a kiv\u00e1lt\u00f3 okhoz kell illeszkednie. Ha a probl\u00e9ma oka hi\u00e1nyos k\u00e9pz\u00e9s, akkor nem elegend\u0151 a szab\u00e1lyzat friss\u00edt\u00e9se. Ha az ok technikai hozz\u00e1f\u00e9r\u00e9si hi\u00e1nyoss\u00e1g, akkor kommunik\u00e1ci\u00f3 \u00f6nmag\u00e1ban kev\u00e9s. Ha az ok felel\u0151ss\u00e9gi tiszt\u00e1zatlans\u00e1g, akkor \u00faj dashboard vagy riport nem oldja meg a probl\u00e9m\u00e1t. Az AIMS fejleszt\u00e9se akkor m\u0171k\u00f6dik, ha a jav\u00edt\u00f3 int\u00e9zked\u00e9s nem t\u00fcnetet kezel<\/strong>, hanem a kontrollrendszer gyenges\u00e9g\u00e9t jav\u00edtja.<\/p>\n\n\n\n A nemmegfelel\u0151s\u00e9gek jelent\u0151s\u00e9g\u00e9t a vezet\u0151i fel\u00fclvizsg\u00e1lat sz\u00e1m\u00e1ra is \u00e9rtelmezhet\u0151v\u00e9 kell tenni. A vezet\u00e9snek nem puszt\u00e1n list\u00e1t kell kapnia a hi\u00e1nyoss\u00e1gokr\u00f3l, hanem kock\u00e1zati k\u00e9pet: mely AI-ter\u00fcletek gyeng\u00e9k, hol ism\u00e9tl\u0151dnek elt\u00e9r\u00e9sek, mely kontrollok nem m\u0171k\u00f6dnek, milyen er\u0151forr\u00e1s kell a jav\u00edt\u00e1shoz, \u00e9s milyen d\u00f6nt\u00e9st ig\u00e9nyel a helyzet. Ez kapcsolja \u00f6ssze a bels\u0151 auditot az AIMS teljes\u00edtm\u00e9ny\u00e9rt\u00e9kel\u00e9s\u00e9vel \u00e9s folyamatos fejleszt\u00e9s\u00e9vel. Ebben az \u00e9rtelemben az auditjelent\u00e9s vezet\u0151i d\u00f6nt\u00e9s-el\u0151k\u00e9sz\u00edt\u0151 eszk\u00f6z<\/strong>, nem csak megfelel\u0151s\u00e9gi dokumentum.<\/p>\n\n\n\n A Costanza-Chock \u00e9s munkat\u00e1rsai \u00e1ltal v\u00e9gzett algorithmic auditing \u00f6kosziszt\u00e9ma-elemz\u00e9s arra is r\u00e1mutat, hogy az auditok min\u0151s\u00e9ge, f\u00fcggetlens\u00e9ge, m\u00f3dszertani egy\u00e9rtelm\u0171s\u00e9ge \u00e9s \u00e9rintetti szempontjai alapvet\u0151en befoly\u00e1solj\u00e1k az AI-auditok \u00e9rt\u00e9k\u00e9t (Costanza-Chock et al., 2023). Ez bels\u0151 auditk\u00f6rnyezetben is fontos tanuls\u00e1g. Az AIMS-audit nem v\u00e1lhat kipip\u00e1lhat\u00f3 ritu\u00e1l\u00e9v\u00e1, mert akkor \u00e9ppen azt a bizalmi \u00e9s ellen\u0151rz\u00e9si funkci\u00f3j\u00e1t vesz\u00edti el, amely miatt sz\u00fcks\u00e9g van r\u00e1.<\/p>\n\n\n\n A nemmegfelel\u0151s\u00e9gek lez\u00e1r\u00e1sa nem lehet puszt\u00e1n adminisztrat\u00edv. A jav\u00edt\u00f3 int\u00e9zked\u00e9s lez\u00e1r\u00e1sakor ellen\u0151rizni kell, hogy az int\u00e9zked\u00e9s val\u00f3ban megt\u00f6rt\u00e9nt-e, \u00e9s sz\u00fcks\u00e9g eset\u00e9n azt is, hogy hat\u00e9kony volt-e. Ha p\u00e9ld\u00e1ul bevezetnek egy \u00faj modellv\u00e1ltoz\u00e1s-kezel\u00e9si sablont, att\u00f3l m\u00e9g nem biztos, hogy a k\u00f6vetkez\u0151 modellfriss\u00edt\u00e9sn\u00e9l t\u00e9nylegesen haszn\u00e1lni fogj\u00e1k. Az ut\u00e1nk\u00f6vet\u00e9s ez\u00e9rt elengedhetetlen. Ilyenkor a lez\u00e1r\u00e1s nem d\u00e1tum, hanem bizony\u00edtott javul\u00e1s<\/strong>, amelyet audit\u00e1lhat\u00f3 rekord t\u00e1maszt al\u00e1.<\/p>\n\n\n\n A bels\u0151 audit fejleszt\u00e9si szerepe akkor \u00e9rv\u00e9nyes\u00fcl igaz\u00e1n, ha a szervezet tanul a meg\u00e1llap\u00edt\u00e1sokb\u00f3l. A visszat\u00e9r\u0151 dokument\u00e1ci\u00f3s hi\u00e1ny p\u00e9ld\u00e1ul azt jelezheti, hogy t\u00fal bonyolult az elj\u00e1r\u00e1s. A gyakori j\u00f3v\u00e1hagy\u00e1si k\u00e9sedelem er\u0151forr\u00e1shi\u00e1nyt vagy rossz felel\u0151ss\u00e9gi rendet mutathat. A tiltott AI-haszn\u00e1lat visszat\u00e9r\u00e9se kommunik\u00e1ci\u00f3s, k\u00e9pz\u00e9si vagy hozz\u00e1f\u00e9r\u00e9s-kezel\u00e9si probl\u00e9m\u00e1ra utalhat. Az audit teh\u00e1t nemcsak megfelel\u0151s\u00e9get m\u00e9r, hanem szervezeti m\u0171k\u00f6d\u00e9si mint\u00e1zatokat is felt\u00e1r.<\/p>\n\n\n\n Az AIMS bels\u0151 auditj\u00e1nak v\u00e9gs\u0151 \u00e9rt\u00e9ke abban \u00e1ll, hogy a szervezet k\u00e9pes lesz bizony\u00edt\u00e9kok alapj\u00e1n fejleszteni saj\u00e1t AI-ir\u00e1ny\u00edt\u00e1s\u00e1t. Egy j\u00f3l megtervezett bels\u0151 audit felt\u00e1rja, hol m\u0171k\u00f6dik az ir\u00e1ny\u00edt\u00e1si rendszer, hol gyenge, hol t\u00fal adminisztrat\u00edv, \u00e9s hol nem el\u00e9g szigor\u00fa. A bels\u0151 audit akkor t\u00f6lti be szerep\u00e9t, ha a szervezet nem fenyeget\u00e9sk\u00e9nt, hanem tanul\u00e1si mechanizmusk\u00e9nt kezeli. Az AI-kock\u00e1zatok gyorsan v\u00e1ltoznak, ez\u00e9rt az auditnak is \u00e9l\u0151, kock\u00e1zatalap\u00fa \u00e9s fejleszt\u00e9sorient\u00e1lt gyakorlatnak kell maradnia.<\/p>\n\n\n\n Az ISO\/IEC 42001 alap\u00fa AIMS-ben a bels\u0151 audit nem a folyamat v\u00e9g\u00e9n megjelen\u0151 ellen\u0151rz\u00e9s, hanem a felel\u0151s m\u0171k\u00f6d\u00e9s folyamatos visszacsatol\u00e1sa. Megmutatja, hogy az AI-politik\u00e1k, c\u00e9lok, kontrollok \u00e9s felel\u0151ss\u00e9gek val\u00f3ban be\u00e9p\u00fcltek-e a napi m\u0171k\u00f6d\u00e9sbe. A leger\u0151sebb bels\u0151 audit nem az, amelyik a legt\u00f6bb hib\u00e1t tal\u00e1lja, hanem az, amelyik a legpontosabban mutatja meg, hogyan v\u00e1lhat az AI-ir\u00e1ny\u00edt\u00e1s bizony\u00edthat\u00f3bb\u00e1, biztons\u00e1gosabb\u00e1 \u00e9s \u00e9rettebb\u00e9.<\/p>\n\n\n\n Costanza-Chock, S., Harvey, E., Raji, I. D., Czernuszenko, M., & Buolamwini, J. (2023). Who audits the auditors? Recommendations from a field scan of the algorithmic auditing ecosystem<\/em>. arXiv. https:\/\/arxiv.org\/abs\/2310.02521<\/p>\n\n\n\n European Parliament & Council of the European Union. (2024). Regulation (EU) 2024\/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence<\/em>. Official Journal of the European Union. https:\/\/eur-lex.europa.eu\/eli\/reg\/2024\/1689\/oj\/eng<\/p>\n\n\n\n International Organization for Standardization. (2018). ISO 19011:2018: Guidelines for auditing management systems<\/em>. ISO. https:\/\/www.iso.org\/standard\/70017.html<\/p>\n\n\n\n International Organization for Standardization. (2023a). ISO\/IEC 42001:2023: Information technology \u2014 Artificial intelligence \u2014 Management system<\/em>. ISO. https:\/\/www.iso.org\/standard\/42001<\/p>\n\n\n\n International Organization for Standardization. (2023b). ISO\/IEC 23894:2023: Information technology \u2014 Artificial intelligence \u2014 Guidance on risk management<\/em>. ISO. https:\/\/www.iso.org\/standard\/77304.html<\/p>\n\n\n\n National Institute of Standards and Technology. (2023). Artificial intelligence risk management framework (AI RMF 1.0)<\/em>. U.S. Department of Commerce. https:\/\/doi.org\/10.6028\/NIST.AI.100-1<\/p>\n\n\n\nKock\u00e1zatalap\u00fa auditprogram kialak\u00edt\u00e1sa<\/h2>\n\n\n\n
Auditkrit\u00e9rium, auditbizony\u00edt\u00e9k \u00e9s meg\u00e1llap\u00edt\u00e1s<\/h2>\n\n\n\n
AI-specifikus auditk\u00e9rd\u00e9sek fel\u00e9p\u00edt\u00e9se<\/h2>\n\n\n\n
Haszn\u00e1lati c\u00e9l \u00e9s felel\u0151ss\u00e9g<\/h3>\n\n\n\n
Adatkezel\u00e9s \u00e9s adatmin\u0151s\u00e9g<\/h3>\n\n\n\n
Modell, tesztel\u00e9s \u00e9s elfogad\u00e1s<\/h3>\n\n\n\n
Monitoring, incidensek \u00e9s v\u00e1ltoz\u00e1sok<\/h3>\n\n\n\n
P\u00e9lda: AI-alap\u00fa \u00fcgyf\u00e9lkock\u00e1zati modell auditv\u00e1zlata<\/h3>\n\n\n\n
Nemmegfelel\u0151s\u00e9gek \u00e9rt\u00e9kel\u00e9se \u00e9s fejleszt\u00e9s<\/h2>\n\n\n\n
Felhaszn\u00e1lt szakirodalom<\/h2>\n\n\n\n