Egy bels\u0151 audit akkor v\u00e1lik igaz\u00e1n pr\u00f3b\u00e1ra tett szakmai helyzett\u00e9, amikor nem el\u00e9g megk\u00e9rdezni, hogy \u201evan-e szab\u00e1lyzat\u201d. AI-rendszerekn\u00e9l azt is l\u00e1tni kell, hogy a szab\u00e1lyok hogyan jelennek meg a t\u00e9nyleges haszn\u00e1latban, a d\u00f6nt\u00e9si gyakorlatban, a napl\u00f3kban, a tesztekben, az incidensekben \u00e9s a felel\u0151ss\u00e9gi nyomvonalban.<\/p>\n\n\n\n
Az ISO\/IEC 42001 alap\u00fa AI ir\u00e1ny\u00edt\u00e1si rendszerben a bizony\u00edt\u00e9kgy\u0171jt\u00e9s nem puszta dokumentumellen\u0151rz\u00e9s. Az auditor feladata annak meg\u00e1llap\u00edt\u00e1sa, hogy a szervezet k\u00e9pes-e bizony\u00edtani az AI-kock\u00e1zatok azonos\u00edt\u00e1s\u00e1t, kezel\u00e9s\u00e9t, kontroll\u00e1l\u00e1s\u00e1t \u00e9s fejleszt\u00e9s\u00e9t. Az ISO\/IEC 42001 az AI ir\u00e1ny\u00edt\u00e1si rendszer l\u00e9trehoz\u00e1s\u00e1ra, m\u0171k\u00f6dtet\u00e9s\u00e9re, fenntart\u00e1s\u00e1ra \u00e9s folyamatos fejleszt\u00e9s\u00e9re ad k\u00f6vetelm\u00e9nyrendszert, ez\u00e9rt az auditbizony\u00edt\u00e9koknak is ezt a m\u0171k\u00f6d\u0151 rendszerlogik\u00e1t kell l\u00e1that\u00f3v\u00e1 tenni\u00fck (International Organization for Standardization, 2023a).<\/p>\n\n\n\n
Az AI-rendszerek audit\u00e1l\u00e1sakor a bizony\u00edt\u00e9kok t\u00f6bb r\u00e9tegb\u0151l \u00e1llnak. Vannak form\u00e1lis dokumentumok, p\u00e9ld\u00e1ul szab\u00e1lyzatok, kock\u00e1zat\u00e9rt\u00e9kel\u00e9sek, hat\u00e1selemz\u00e9sek \u00e9s modellle\u00edr\u00e1sok. Vannak m\u0171k\u00f6d\u00e9si rekordok, p\u00e9ld\u00e1ul tesztjegyz\u0151k\u00f6nyvek, j\u00f3v\u00e1hagy\u00e1sok, napl\u00f3k, incidensjegyek \u00e9s v\u00e1ltoz\u00e1snapl\u00f3k. Emellett vannak interj\u00fak, megfigyel\u00e9sek \u00e9s m\u0171k\u00f6d\u00e9si mint\u00e1k is, amelyek azt mutatj\u00e1k meg, hogy a dokument\u00e1lt folyamat t\u00e9nylegesen hogyan m\u0171k\u00f6dik.<\/p>\n\n\n\n
Egy AIMS bels\u0151 auditja nem t\u00e1maszkodhat kiz\u00e1r\u00f3lag egyetlen bizony\u00edt\u00e9kt\u00edpusra. A szab\u00e1lyzat megmutatja, mit kellene tenni, de nem bizony\u00edtja, hogy a gyakorlatban meg is t\u00f6rt\u00e9nik. A napl\u00f3 megmutathat egy esem\u00e9nyt, de \u00f6nmag\u00e1ban nem magyar\u00e1zza meg a d\u00f6nt\u00e9si kontextust. Egy interj\u00fa seg\u00edthet meg\u00e9rteni a folyamatot, de \u00f6nmag\u00e1ban ritk\u00e1n elegend\u0151. Ilyenkor a bizony\u00edt\u00e9k ereje az \u00f6sszevethet\u0151s\u00e9gb\u0151l sz\u00e1rmazik<\/strong>, mert t\u00f6bb forr\u00e1s egy\u00fctt ad megb\u00edzhat\u00f3 k\u00e9pet.<\/p>\n\n\n\n Az auditbizony\u00edt\u00e9kok egyik els\u0151 csoportj\u00e1t a dokument\u00e1lt ir\u00e1ny\u00edt\u00e1si elemek adj\u00e1k. Ide tartozik az AI-politika, az AI-haszn\u00e1lati esetek nyilv\u00e1ntart\u00e1sa, a kock\u00e1zat\u00e9rt\u00e9kel\u00e9si m\u00f3dszertan, a hat\u00e1selemz\u00e9si sablon, a besz\u00e1ll\u00edt\u00f3i \u00e9rt\u00e9kel\u00e9s, az adatkezel\u00e9si szab\u00e1ly, a modellv\u00e1ltoz\u00e1s-kezel\u00e9si elj\u00e1r\u00e1s \u00e9s az incidenskezel\u00e9si rend. Ezek azt mutatj\u00e1k meg, hogy a szervezet milyen keretet hozott l\u00e9tre az AI ir\u00e1ny\u00edt\u00e1s\u00e1ra.<\/p>\n\n\n\n A m\u00e1sodik bizony\u00edt\u00e9kt\u00edpus a konkr\u00e9t haszn\u00e1lati esethez kapcsol\u00f3d\u00f3 dokument\u00e1ci\u00f3. Egy AI-alap\u00fa panaszkezel\u0151 rendszer auditj\u00e1n\u00e1l p\u00e9ld\u00e1ul nem el\u00e9g az \u00e1ltal\u00e1nos AI-szab\u00e1lyzatot elk\u00e9rni. Sz\u00fcks\u00e9ges lehet a rendszer c\u00e9lle\u00edr\u00e1sa, az adatforr\u00e1s-dokument\u00e1ci\u00f3, a modell- vagy szolg\u00e1ltat\u00e1sle\u00edr\u00e1s, a valid\u00e1l\u00e1si eredm\u00e9ny, az \u00e9les\u00edt\u00e9si j\u00f3v\u00e1hagy\u00e1s, a felhaszn\u00e1l\u00f3i \u00fatmutat\u00f3 \u00e9s a monitoringriport. Itt az \u00e1ltal\u00e1nos szab\u00e1ly csak h\u00e1tt\u00e9r<\/strong>, a konkr\u00e9t rendszer bizony\u00edt\u00e9ka mutatja meg a t\u00e9nyleges megfelel\u00e9st.<\/p>\n\n\n\n A harmadik bizony\u00edt\u00e9kt\u00edpus a rendszeradat \u00e9s a napl\u00f3. AI-k\u00f6rnyezetben a napl\u00f3z\u00e1s k\u00fcl\u00f6n\u00f6sen fontos, mert a d\u00f6nt\u00e9si \u00e9s m\u0171k\u00f6d\u00e9si esem\u00e9nyek gyakran nem rekonstru\u00e1lhat\u00f3k puszt\u00e1n ut\u00f3lagos elmond\u00e1sb\u00f3l. Napl\u00f3 lehet p\u00e9ld\u00e1ul a hozz\u00e1f\u00e9r\u00e9si log, a modellverzi\u00f3, a kimeneti esem\u00e9ny, a felhaszn\u00e1l\u00f3i beavatkoz\u00e1s, a riaszt\u00e1s, a hibajegy vagy a szolg\u00e1ltat\u00f3i v\u00e1ltoz\u00e1s\u00e9rtes\u00edt\u00e9s. Az EU AI Act magas kock\u00e1zat\u00fa AI-rendszerek eset\u00e9ben k\u00fcl\u00f6n is hangs\u00falyozza a napl\u00f3z\u00e1s, m\u0171szaki dokument\u00e1ci\u00f3 \u00e9s \u00e1tl\u00e1that\u00f3s\u00e1g jelent\u0151s\u00e9g\u00e9t, ami audit\u00e1l\u00e1si szempontb\u00f3l is fontos hivatkoz\u00e1si keretet ad (European Parliament & Council of the European Union, 2024).<\/p>\n\n\n\n A negyedik bizony\u00edt\u00e9kt\u00edpus az interj\u00fa. Az auditor interj\u00fat k\u00e9sz\u00edthet az AI-rendszer \u00fczleti tulajdonos\u00e1val, fejleszt\u0151j\u00e9vel, felhaszn\u00e1l\u00f3j\u00e1val, adatv\u00e9delmi felel\u0151s\u00e9vel, inform\u00e1ci\u00f3biztons\u00e1gi szak\u00e9rt\u0151j\u00e9vel, besz\u00e1ll\u00edt\u00f3i kapcsolattart\u00f3j\u00e1val vagy incidenskezel\u00e9si felel\u0151s\u00e9vel. Az interj\u00fa c\u00e9lja nem az, hogy a besz\u00e9lget\u0151partner \u201ebizony\u00edtsa\u201d a megfelel\u00e9st, hanem hogy az auditor meg\u00e9rtse a folyamatot, az elt\u00e9r\u00e9seket \u00e9s a t\u00e9nyleges d\u00f6nt\u00e9si helyzeteket. Ebben a szerepben az interj\u00fa \u00fatvonalat nyit a bizony\u00edt\u00e9khoz<\/strong>, de nem helyettes\u00edti a visszak\u00f6vethet\u0151 rekordot.<\/p>\n\n\n\n Az \u00f6t\u00f6dik bizony\u00edt\u00e9kt\u00edpus a m\u0171k\u00f6d\u00e9si minta. Ez lehet egy lez\u00e1rt panaszkezel\u00e9si \u00fcgy, egy modellv\u00e1ltoz\u00e1s, egy besz\u00e1ll\u00edt\u00f3i \u00e9rt\u00e9kel\u00e9s, egy incidens, egy hozz\u00e1f\u00e9r\u00e9sig\u00e9nyl\u00e9s vagy egy felhaszn\u00e1l\u00f3i j\u00f3v\u00e1hagy\u00e1si folyamat mint\u00e1ja. A mintav\u00e9tel megmutatja, hogy a folyamat nemcsak elvileg l\u00e9tezik, hanem konkr\u00e9t esetekben is k\u00f6vetkezetesen m\u0171k\u00f6dik-e. Az ISO 19011 menedzsmentrendszer-auditokra vonatkoz\u00f3 \u00fatmutat\u00e1sa is bizony\u00edt\u00e9kalap\u00fa megk\u00f6zel\u00edt\u00e9st alkalmaz, amelyben az audit meg\u00e1llap\u00edt\u00e1sai ellen\u0151rizhet\u0151 inform\u00e1ci\u00f3kra \u00e9p\u00fclnek (International Organization for Standardization, 2018).<\/p>\n\n\n\n A bizony\u00edt\u00e9kok csoportos\u00edt\u00e1sa akkor hasznos, ha seg\u00edt az auditornak teljes k\u00e9pet alkotni. Egy AI-kontroll m\u0171k\u00f6d\u00e9s\u00e9t p\u00e9ld\u00e1ul t\u00f6bbf\u00e9le bizony\u00edt\u00e9k t\u00e1maszthatja al\u00e1:<\/p>\n\n\n\n szab\u00e1lyzat vagy elj\u00e1r\u00e1srend: mi az elv\u00e1rt m\u0171k\u00f6d\u00e9s;<\/p>\n\n\n\n j\u00f3v\u00e1hagy\u00e1si rekord: ki d\u00f6nt\u00f6tt \u00e9s mikor;<\/p>\n\n\n\n napl\u00f3 vagy rendszeradat: mi t\u00f6rt\u00e9nt t\u00e9nylegesen;<\/p>\n\n\n\n interj\u00fa: hogyan \u00e9rtelmezik a szerepl\u0151k a folyamatot;<\/p>\n\n\n\n m\u0171k\u00f6d\u00e9si minta: k\u00f6vetkezetesen alkalmazz\u00e1k-e a kontrollt;<\/p>\n\n\n\n incidens- vagy panaszadat: mi t\u00f6rt\u00e9nik elt\u00e9r\u00e9s eset\u00e9n.<\/p>\n\n\n\n Ez a feloszt\u00e1s k\u00fcl\u00f6n\u00f6sen fontos AI-rendszerekn\u00e9l, mert a kock\u00e1zat gyakran nem egyetlen dokumentumban jelenik meg. Az adatforr\u00e1s, a modellm\u0171k\u00f6d\u00e9s, az emberi fel\u00fcgyelet, a besz\u00e1ll\u00edt\u00f3i f\u00fcgg\u0151s\u00e9g \u00e9s a felhaszn\u00e1l\u00f3i d\u00f6nt\u00e9s egy\u00fctt alkotja a kontrollk\u00f6rnyezetet. Emiatt az AI-audit t\u00f6bb bizony\u00edt\u00e9k nyelv\u00e9n besz\u00e9l<\/strong>, \u00e9s az auditor feladata ezek \u00f6sszekapcsol\u00e1sa.<\/p>\n\n\n\n A bizony\u00edt\u00e9kok min\u0151s\u00e9ge ugyanakkor nem azonos a mennyis\u00e9g\u00fckkel. Sok dokumentum is lehet gyenge bizony\u00edt\u00e9k, ha elavult, nem kapcsol\u00f3dik a vizsg\u00e1lt rendszerhez, vagy nem mutat t\u00e9nyleges m\u0171k\u00f6d\u00e9st. Kev\u00e9s, de pontos \u00e9s visszak\u00f6vethet\u0151 bizony\u00edt\u00e9k t\u00f6bbet \u00e9rhet, mint egy nagy dokumentumcsomag. Az auditor ez\u00e9rt nem dokumentumt\u00f6meget keres, hanem relev\u00e1ns, aktu\u00e1lis \u00e9s elegend\u0151 bizony\u00edt\u00e9kot.<\/p>\n\n\n\n Az AIMS bels\u0151 auditj\u00e1nak egyik legfontosabb feladata annak vizsg\u00e1lata, hogy a dokument\u00e1lt m\u0171k\u00f6d\u00e9s \u00e9s a t\u00e9nyleges m\u0171k\u00f6d\u00e9s megegyezik-e. Egy szab\u00e1lyzat el\u0151\u00edrhatja, hogy minden \u00faj AI-haszn\u00e1lati eset el\u0151tt kock\u00e1zat\u00e9rt\u00e9kel\u00e9st kell k\u00e9sz\u00edteni, de az auditor sz\u00e1m\u00e1ra az a k\u00e9rd\u00e9s, hogy ez megt\u00f6rt\u00e9nt-e a konkr\u00e9t rendszerekn\u00e9l is. Ebben az \u00f6sszevet\u00e9sben a pap\u00edron megl\u00e9v\u0151 kontroll m\u00e9g nem m\u0171k\u00f6d\u0151 kontroll<\/strong>, csak ellen\u0151rz\u00e9si kiindul\u00f3pont.<\/p>\n\n\n\n A dokument\u00e1lt m\u0171k\u00f6d\u00e9s azt mutatja meg, hogyan kellene m\u0171k\u00f6dnie a rendszernek. Ide tartoznak az elj\u00e1r\u00e1sok, felel\u0151ss\u00e9gi m\u00e1trixok, k\u00e9pz\u00e9si anyagok, kontrollle\u00edr\u00e1sok, tesztel\u00e9si k\u00f6vetelm\u00e9nyek \u00e9s j\u00f3v\u00e1hagy\u00e1si szab\u00e1lyok. Ezek n\u00e9lk\u00fcl az audit nehezen tudn\u00e1 meghat\u00e1rozni a vizsg\u00e1lat m\u00e9rc\u00e9j\u00e9t. A t\u00e9nyleges m\u0171k\u00f6d\u00e9s azonban azt mutatja meg, hogy a szervezet a val\u00f3s d\u00f6nt\u00e9si helyzetekben k\u00f6veti-e ezeket a szab\u00e1lyokat.<\/p>\n\n\n\n A k\u00e9t szint k\u00f6z\u00f6tti elt\u00e9r\u00e9s t\u00f6bbf\u00e9le lehet. El\u0151fordulhat, hogy a dokumentum t\u00fal \u00e1ltal\u00e1nos, ez\u00e9rt a gyakorlatban nem ad el\u00e9g \u00fatmutat\u00e1st. El\u0151fordulhat, hogy a szab\u00e1ly j\u00f3, de a felhaszn\u00e1l\u00f3k nem ismerik. Az is gyakori, hogy a folyamat m\u0171k\u00f6dik, de nincs r\u00f3la megfelel\u0151 bizony\u00edt\u00e9k. AI-k\u00f6rnyezetben mindh\u00e1rom eset auditkock\u00e1zatot jelent, mert a bizony\u00edtatlan m\u0171k\u00f6d\u00e9s audit\u00e1l\u00e1si szempontb\u00f3l gyenge m\u0171k\u00f6d\u00e9s<\/strong>, m\u00e9g akkor is, ha a munkat\u00e1rsak j\u00f3hiszem\u0171en j\u00e1rnak el.<\/p>\n\n\n\n Egy AI-alap\u00fa panaszkezel\u0151 rendszer p\u00e9ld\u00e1ja j\u00f3l mutatja ezt. A dokument\u00e1ci\u00f3 szerint a rendszer csak javaslatot tehet panaszok kategoriz\u00e1l\u00e1s\u00e1ra, v\u00e9gs\u0151 d\u00f6nt\u00e9st ember hoz. Az auditor azonban mint\u00e1t k\u00e9rhet lez\u00e1rt \u00fcgyekb\u0151l, hogy l\u00e1that\u00f3-e az emberi fel\u00fclvizsg\u00e1lat nyoma. Ha a rendszerjavaslat automatikusan ker\u00fcl elfogad\u00e1sra, vagy a felhaszn\u00e1l\u00f3k nem r\u00f6gz\u00edtik az elt\u00e9r\u00e9seket, akkor a dokument\u00e1lt emberi fel\u00fcgyelet nem bizony\u00edthat\u00f3 t\u00e9nyleges kontrollk\u00e9nt.<\/p>\n\n\n\n A dokument\u00e1lt \u00e9s t\u00e9nyleges m\u0171k\u00f6d\u00e9s \u00f6sszevet\u00e9se az adatkezel\u00e9sn\u00e9l is alapvet\u0151. Egy szervezet r\u00f6gz\u00edtheti, hogy az AI-rendszer csak meghat\u00e1rozott panaszadatokat haszn\u00e1l, de az audit sor\u00e1n ellen\u0151rizni kell, hogy a t\u00e9nyleges adatfolyam is ezt t\u00fckr\u00f6zi-e. Sz\u00fcks\u00e9ges lehet adatmez\u0151-lista, hozz\u00e1f\u00e9r\u00e9si lista, adatmeg\u0151rz\u00e9si szab\u00e1ly, t\u00f6rl\u00e9si rekord \u00e9s rendszerkapcsolati t\u00e9rk\u00e9p. A \u201eDatasheets for Datasets\u201d megk\u00f6zel\u00edt\u00e9s \u00e9ppen az adat\u00e1llom\u00e1nyok motiv\u00e1ci\u00f3j\u00e1nak, \u00f6sszet\u00e9tel\u00e9nek, gy\u0171jt\u00e9si folyamat\u00e1nak \u00e9s javasolt haszn\u00e1lat\u00e1nak dokument\u00e1l\u00e1s\u00e1t emeli ki, ami AI-auditban is \u00e9rt\u00e9kes adatbizony\u00edt\u00e9ki szeml\u00e9letet ad (Gebru et al., 2021).<\/p>\n\n\n\n A t\u00e9nyleges m\u0171k\u00f6d\u00e9s vizsg\u00e1lata nem jelenti azt, hogy az auditor minden m\u0171veletet \u00fajra v\u00e9grehajt. Ehelyett mint\u00e1t vesz, rekonstru\u00e1l, \u00f6sszevet \u00e9s k\u00f6vetkeztet. Megn\u00e9zi, hogy egy konkr\u00e9t \u00fcgy hogyan indult, milyen adatokat haszn\u00e1lt, milyen AI-kimenet sz\u00fcletett, ki ellen\u0151rizte, volt-e elt\u00e9r\u00e9s, \u00e9s hogyan z\u00e1rult a folyamat. Ilyenkor a m\u0171k\u00f6d\u00e9si minta a folyamat val\u00f3s\u00e1gtesztje<\/strong>, mert megmutatja, hogy a szab\u00e1lyok hogyan \u00e9lnek a napi munk\u00e1ban.<\/p>\n\n\n\n Az interj\u00fak k\u00fcl\u00f6n\u00f6sen hasznosak az elt\u00e9r\u00e9sek \u00e9rtelmez\u00e9s\u00e9re. Ha a dokument\u00e1ci\u00f3 szerint minden panaszkezel\u0151 munkat\u00e1rs k\u00e9pz\u00e9st kapott az AI-eszk\u00f6z korl\u00e1tair\u00f3l, az auditor megk\u00e9rdezheti, hogyan ismerik fel a t\u00e9ves javaslatot, mikor kell fel\u00fcl\u00edrni a kimenetet, \u00e9s hova kell fordulni rendelleness\u00e9g eset\u00e9n. Ha a v\u00e1laszok bizonytalanok vagy elt\u00e9r\u0151ek, akkor a k\u00e9pz\u00e9si rekord \u00f6nmag\u00e1ban nem elegend\u0151. Ebben az esetben a tudatoss\u00e1g nem azonos a k\u00e9pz\u00e9si jelenl\u00e9ttel<\/strong>, \u00e9s az auditnak ezt a k\u00fcl\u00f6nbs\u00e9get is l\u00e1tnia kell.<\/p>\n\n\n\n A dokument\u00e1lt \u00e9s t\u00e9nyleges m\u0171k\u00f6d\u00e9s \u00f6sszevet\u00e9se a besz\u00e1ll\u00edt\u00f3i AI-szolg\u00e1ltat\u00e1sokn\u00e1l k\u00fcl\u00f6n\u00f6sen neh\u00e9z lehet. A szervezet sokszor nem l\u00e1t bele teljesen a modell m\u0171k\u00f6d\u00e9s\u00e9be, m\u00e9gis felel\u0151s a szolg\u00e1ltat\u00e1s haszn\u00e1lat\u00e1nak ir\u00e1ny\u00edt\u00e1s\u00e1\u00e9rt. Ilyenkor a bizony\u00edt\u00e9k lehet szolg\u00e1ltat\u00f3i dokument\u00e1ci\u00f3, adatfeldolgoz\u00e1si meg\u00e1llapod\u00e1s, biztons\u00e1gi tan\u00fas\u00edtv\u00e1ny, modellv\u00e1ltoz\u00e1s-\u00e9rtes\u00edt\u00e9s, szolg\u00e1ltat\u00e1si napl\u00f3, auditriport vagy szerz\u0151d\u00e9ses garancia. Az auditor feladata annak meg\u00e1llap\u00edt\u00e1sa, hogy a k\u00fcls\u0151 bizony\u00edt\u00e9k el\u00e9gs\u00e9ges-e a bels\u0151 kock\u00e1zat kezel\u00e9s\u00e9hez.<\/p>\n\n\n\n A dokument\u00e1lt \u00e9s t\u00e9nyleges m\u0171k\u00f6d\u00e9s k\u00f6z\u00f6tti elt\u00e9r\u00e9s nem mindig nemmegfelel\u0151s\u00e9g. Lehet fejleszt\u00e9si lehet\u0151s\u00e9g is, ha a gyakorlat \u00e9rettebb, mint a dokument\u00e1ci\u00f3, de nincs megfelel\u0151en r\u00f6gz\u00edtve. P\u00e9ld\u00e1ul a csapat t\u00e9nylegesen ellen\u0151rzi az AI-kimeneteket, de a folyamatban nincs le\u00edrva, milyen esetben kell fel\u00fclvizsg\u00e1latot dokument\u00e1lni. Ilyenkor a j\u00f3 gyakorlatot is dokument\u00e1lhat\u00f3v\u00e1 kell tenni<\/strong>, k\u00fcl\u00f6nben k\u00e9s\u0151bb szem\u00e9lyf\u00fcgg\u0151 \u00e9s nehezen fenntarthat\u00f3 marad.<\/p>\n\n\n\n Az audit c\u00e9lja teh\u00e1t nem az, hogy minden elt\u00e9r\u00e9st form\u00e1lis hib\u00e1nak min\u0151s\u00edtsen. A c\u00e9l annak meg\u00e9rt\u00e9se, hogy az AIMS mennyire bizony\u00edthat\u00f3, mennyire k\u00f6vetkezetes \u00e9s mennyire fejleszthet\u0151. A dokument\u00e1lt m\u0171k\u00f6d\u00e9s adja a keretet, a t\u00e9nyleges m\u0171k\u00f6d\u00e9s adja a val\u00f3s\u00e1got, az audit pedig a kett\u0151 k\u00f6z\u00f6tti kapcsolatot \u00e9rt\u00e9keli.<\/p>\n\n\n\n Az AI-rendszerek bels\u0151 auditja h\u00e1rom k\u00fcl\u00f6n\u00f6sen fontos bizony\u00edt\u00e9kgy\u0171jt\u00e9si technik\u00e1ra t\u00e1maszkodik: interj\u00fara, mintav\u00e9telre \u00e9s napl\u00f3vizsg\u00e1latra. Ezek nem egym\u00e1s helyettes\u00edt\u0151i, hanem egym\u00e1st er\u0151s\u00edt\u0151 m\u00f3dszerek. Az interj\u00fa megmutatja az \u00e9rtelmez\u00e9st \u00e9s a felel\u0151ss\u00e9gi gyakorlatot, a mintav\u00e9tel konkr\u00e9t eseteken teszteli a folyamatot, a napl\u00f3vizsg\u00e1lat pedig id\u0151rendi \u00e9s rendszertechnikai nyomot ad. Egy\u00fctt a h\u00e1rom m\u00f3dszer a m\u0171k\u00f6d\u00e9s h\u00e1rom n\u00e9zet\u00e9t adja<\/strong>, ez\u00e9rt AI-auditban k\u00fcl\u00f6n\u00f6sen hasznos a kombin\u00e1ci\u00f3juk.<\/p>\n\n\n\n Az interj\u00fa akkor j\u00f3, ha c\u00e9lzott, szerepk\u00f6ralap\u00fa \u00e9s bizony\u00edt\u00e9khoz k\u00f6t\u00f6tt. M\u00e1s k\u00e9rd\u00e9seket kell feltenni az \u00fczleti tulajdonosnak, a napi felhaszn\u00e1l\u00f3nak, a fejleszt\u0151nek, az adatv\u00e9delmi szak\u00e9rt\u0151nek \u00e9s az inform\u00e1ci\u00f3biztons\u00e1gi felel\u0151snek. Az \u00fczleti tulajdonosn\u00e1l a c\u00e9l, kock\u00e1zat \u00e9s j\u00f3v\u00e1hagy\u00e1s a f\u0151 t\u00e9ma. A felhaszn\u00e1l\u00f3n\u00e1l a kimenetek \u00e9rtelmez\u00e9se, fel\u00fcl\u00edr\u00e1sa \u00e9s visszajelz\u00e9se. A fejleszt\u0151n\u00e9l vagy szolg\u00e1ltat\u00f3i kapcsolattart\u00f3n\u00e1l a modellv\u00e1ltoz\u00e1s, tesztel\u00e9s \u00e9s technikai kontroll.<\/p>\n\n\n\n Az interj\u00fak sor\u00e1n ker\u00fclni kell az olyan k\u00e9rd\u00e9seket, amelyekre csak form\u00e1lis igen-nem v\u00e1lasz adhat\u00f3. A \u201etudja-e, hogy kell haszn\u00e1lni a rendszert?\u201d k\u00e9rd\u00e9s helyett jobb azt k\u00e9rni: mutassa be, mit tesz, ha az AI javaslata ellentmond a saj\u00e1t szakmai meg\u00edt\u00e9l\u00e9s\u00e9nek. A \u201evan-e incidensfolyamat?\u201d k\u00e9rd\u00e9s helyett hasznosabb egy konkr\u00e9t kor\u00e1bbi rendelleness\u00e9get v\u00e9gigk\u00f6vetni. Ilyenkor az interj\u00fa nem nyilatkozatot gy\u0171jt<\/strong>, hanem m\u0171k\u00f6d\u00e9si meg\u00e9rt\u00e9st \u00e9p\u00edt.<\/p>\n\n\n\n A mintav\u00e9tel az audit egyik leger\u0151sebb eszk\u00f6ze. AI-rendszerekn\u00e9l mint\u00e1t lehet venni haszn\u00e1lati esetekb\u0151l, d\u00f6nt\u00e9si esem\u00e9nyekb\u0151l, panaszkezel\u00e9si \u00fcgyekb\u0151l, hozz\u00e1f\u00e9r\u00e9s-enged\u00e9lyez\u00e9sekb\u0151l, modellv\u00e1ltoz\u00e1sokb\u00f3l, hibajegyekb\u0151l, incidensekb\u0151l vagy besz\u00e1ll\u00edt\u00f3i \u00e9rt\u00e9kel\u00e9sekb\u0151l. A minta kiv\u00e1laszt\u00e1s\u00e1nak kock\u00e1zatalap\u00fanak kell lennie. Nem mindegy, hogy az auditor v\u00e9letlenszer\u0171en v\u00e1laszt h\u00e1rom alacsony jelent\u0151s\u00e9g\u0171 \u00fcgyet, vagy c\u00e9lzottan vizsg\u00e1l magasabb kock\u00e1zat\u00fa, hat\u00e1r\u00e9rt\u00e9khez k\u00f6zeli, panasszal \u00e9rintett vagy v\u00e1ltoz\u00e1s ut\u00e1ni eseteket.<\/p>\n\n\n\n A mintav\u00e9tel m\u00e9lys\u00e9g\u00e9t a kock\u00e1zathoz \u00e9s az auditc\u00e9lhoz kell igaz\u00edtani. Egy alacsony kock\u00e1zat\u00fa, bels\u0151 tud\u00e1skeres\u0151 eszk\u00f6zn\u00e9l elegend\u0151 lehet n\u00e9h\u00e1ny hozz\u00e1f\u00e9r\u00e9si \u00e9s felhaszn\u00e1l\u00f3i minta. Egy \u00fcgyf\u00e9lre hat\u00f3 panaszkezel\u0151 rendszerben viszont indokolt lehet t\u00f6bb lez\u00e1rt \u00fcgy, elt\u00e9r\u0151 panaszt\u00edpusok, fel\u00fcl\u00edrt AI-javaslatok \u00e9s hib\u00e1s kimenetek vizsg\u00e1lata. Ebben az \u00e9rtelemben a minta nem k\u00e9nyelmi v\u00e1laszt\u00e1s<\/strong>, hanem a kock\u00e1zati f\u00f3kusz gyakorlati megval\u00f3s\u00edt\u00e1sa.<\/p>\n\n\n\n A napl\u00f3vizsg\u00e1lat az AI-auditban az\u00e9rt k\u00fcl\u00f6n\u00f6sen fontos, mert sok esem\u00e9ny csak rendszeradatb\u00f3l rekonstru\u00e1lhat\u00f3. A napl\u00f3 megmutathatja, ki haszn\u00e1lta a rendszert, mikor t\u00f6rt\u00e9nt kimenetgener\u00e1l\u00e1s, milyen verzi\u00f3 futott, volt-e fel\u00fcl\u00edr\u00e1s, keletkezett-e riaszt\u00e1s, t\u00f6rt\u00e9nt-e jogosulatlan hozz\u00e1f\u00e9r\u00e9s, vagy mikor friss\u00fclt a modell. A napl\u00f3k n\u00e9lk\u00fcl az auditor sokszor csak interj\u00fakra \u00e9s ut\u00f3lagos dokumentumokra t\u00e1maszkodna, ami gyeng\u00edti a bizony\u00edt\u00e9k megb\u00edzhat\u00f3s\u00e1g\u00e1t.<\/p>\n\n\n\n A napl\u00f3 azonban \u00f6nmag\u00e1ban sem mindig el\u00e9g. Ha egy AI-alap\u00fa panaszkezel\u0151 rendszer napl\u00f3ja csak azt mutatja, hogy egy \u00fcgyet feldolgoztak, de nem mutatja az AI-javaslatot, az emberi fel\u00fclvizsg\u00e1latot vagy a fel\u00fcl\u00edr\u00e1s ok\u00e1t, akkor a napl\u00f3 bizony\u00edt\u00e9ki \u00e9rt\u00e9ke korl\u00e1tozott. Az auditor ilyenkor meg\u00e1llap\u00edthatja, hogy a napl\u00f3z\u00e1s nem t\u00e1mogatja megfelel\u0151en az audit\u00e1lhat\u00f3s\u00e1got. Ilyenkor a napl\u00f3 \u00e9rt\u00e9ke a visszak\u00f6vethet\u0151s\u00e9gben m\u00e9rhet\u0151<\/strong>, nem puszt\u00e1n abban, hogy technikailag l\u00e9tezik.<\/p>\n\n\n\n A NIST AI Risk Management Framework a kock\u00e1zatok felt\u00e9rk\u00e9pez\u00e9s\u00e9t, m\u00e9r\u00e9s\u00e9t, kezel\u00e9s\u00e9t \u00e9s ir\u00e1ny\u00edt\u00e1s\u00e1t egym\u00e1shoz kapcsol\u00f3d\u00f3 funkci\u00f3kk\u00e9nt \u00edrja le (National Institute of Standards and Technology, 2023). Az auditbizony\u00edt\u00e9kok gy\u0171jt\u00e9s\u00e9n\u00e9l ez a szeml\u00e9let azt jelenti, hogy az auditor nemcsak azt n\u00e9zi, t\u00f6rt\u00e9nt-e m\u00e9r\u00e9s, hanem azt is, hogyan lett a m\u00e9r\u00e9si eredm\u00e9nyb\u0151l d\u00f6nt\u00e9s, int\u00e9zked\u00e9s vagy kontrollm\u00f3dos\u00edt\u00e1s. Ilyenkor a m\u00e9r\u00e9s csak akkor audit\u00e9rt\u00e9k\u0171<\/strong>, ha van k\u00f6vetkezm\u00e9nye a m\u0171k\u00f6d\u00e9sben.<\/p>\n\n\n\n Az interj\u00fa, mintav\u00e9tel \u00e9s napl\u00f3vizsg\u00e1lat \u00f6sszekapcsol\u00e1sa egy konkr\u00e9t ellen\u0151rz\u00e9si \u00fatvonalat ad. Az auditor p\u00e9ld\u00e1ul kiv\u00e1laszt egy panaszkezel\u00e9si \u00fcgyet, megn\u00e9zi a kapcsol\u00f3d\u00f3 AI-kimenetet, ellen\u0151rzi a felhaszn\u00e1l\u00f3i d\u00f6nt\u00e9st, \u00f6sszeveti a napl\u00f3val, majd interj\u00faban megk\u00e9rdezi, hogyan \u00e9rtelmezt\u00e9k a javaslatot. Ha mindh\u00e1rom forr\u00e1s \u00f6sszhangban van, a bizony\u00edt\u00e9k er\u0151s. Ha elt\u00e9r\u00e9s van, az auditor c\u00e9lzottan vizsg\u00e1lhatja, hogy szab\u00e1lyhi\u00e1nyr\u00f3l, k\u00e9pz\u00e9si probl\u00e9m\u00e1r\u00f3l, rendszerkorl\u00e1tr\u00f3l vagy dokument\u00e1ci\u00f3s hi\u00e1nyr\u00f3l van-e sz\u00f3.<\/p>\n\n\n\n A bizony\u00edt\u00e9kgy\u0171jt\u00e9s sor\u00e1n az auditor nem t\u00e9vesztheti \u00f6ssze a hib\u00e1t az auditnyom hi\u00e1ny\u00e1val. Lehet, hogy a munkat\u00e1rs helyesen j\u00e1rt el, de nem r\u00f6gz\u00edtette a d\u00f6nt\u00e9s ok\u00e1t. Ez m\u0171k\u00f6d\u00e9si szempontb\u00f3l m\u00e9g nem felt\u00e9tlen\u00fcl k\u00e1resem\u00e9ny, audit szempontb\u00f3l azonban bizony\u00edt\u00e9khi\u00e1ny. AI-rendszerekn\u00e9l ez k\u00fcl\u00f6n\u00f6sen fontos, mert k\u00e9s\u0151bbi panasz, jogvita vagy incidens eset\u00e9n a d\u00f6nt\u00e9s rekonstru\u00e1lhat\u00f3s\u00e1ga alapvet\u0151 lehet.<\/p>\n\n\n\n A napl\u00f3vizsg\u00e1latn\u00e1l az adatv\u00e9delmi \u00e9s hozz\u00e1f\u00e9r\u00e9si szempontokat is kezelni kell. Az auditor ne k\u00e9rjen indokolatlanul teljes hozz\u00e1f\u00e9r\u00e9st szem\u00e9lyes vagy \u00e9rz\u00e9keny adatokhoz, ha mintav\u00e9tel, anonimiz\u00e1lt riport vagy c\u00e9lzott kivonat is elegend\u0151. A bizony\u00edt\u00e9kgy\u0171jt\u00e9snek ar\u00e1nyosnak kell lennie. Ebben a helyzetben az audit sem lehet kontroll\u00e1latlan adatgy\u0171jt\u00e9s<\/strong>, mert maga az auditfolyamat is r\u00e9sze a felel\u0151s m\u0171k\u00f6d\u00e9snek.<\/p>\n\n\n\n Egy auditbizony\u00edt\u00e9k akkor haszn\u00e1lhat\u00f3 j\u00f3l, ha relev\u00e1ns, aktu\u00e1lis, megb\u00edzhat\u00f3 \u00e9s elegend\u0151. A relevancia azt jelenti, hogy a bizony\u00edt\u00e9k val\u00f3ban a vizsg\u00e1lt k\u00f6vetelm\u00e9nyhez kapcsol\u00f3dik. Az aktualit\u00e1s azt jelenti, hogy a bizony\u00edt\u00e9k a vizsg\u00e1lt id\u0151szakra vagy jelenlegi m\u0171k\u00f6d\u00e9sre vonatkozik. A megb\u00edzhat\u00f3s\u00e1g azt jelenti, hogy a bizony\u00edt\u00e9k ellen\u0151rizhet\u0151 forr\u00e1sb\u00f3l sz\u00e1rmazik. Az elegend\u0151s\u00e9g pedig azt jelenti, hogy a bizony\u00edt\u00e9k mennyis\u00e9ge \u00e9s min\u0151s\u00e9ge alapj\u00e1n megalapozott auditmeg\u00e1llap\u00edt\u00e1s tehet\u0151. R\u00f6viden: a j\u00f3 bizony\u00edt\u00e9k d\u00f6nt\u00e9sk\u00e9pes bizony\u00edt\u00e9k<\/strong>, nem puszt\u00e1n inform\u00e1ci\u00f3.<\/p>\n\n\n\n A relevancia hi\u00e1nya gyakori probl\u00e9ma. Egy \u00e1ltal\u00e1nos AI-etikai ir\u00e1nyelv p\u00e9ld\u00e1ul fontos lehet, de nem bizony\u00edtja, hogy egy panaszkezel\u0151 rendszerben m\u0171k\u00f6dik az emberi fel\u00fclvizsg\u00e1lat. Egy szolg\u00e1ltat\u00f3i biztons\u00e1gi tan\u00fas\u00edtv\u00e1ny hasznos lehet, de nem felt\u00e9tlen\u00fcl bizony\u00edtja az adatfelhaszn\u00e1l\u00e1s c\u00e9lhoz k\u00f6t\u00f6tts\u00e9g\u00e9t vagy a modellkimenetek ellen\u0151rz\u00e9s\u00e9t. Az auditor feladata annak meg\u00e1llap\u00edt\u00e1sa, hogy a bizony\u00edt\u00e9k pontosan mely auditk\u00e9rd\u00e9sre ad v\u00e1laszt.<\/p>\n\n\n\n Az aktualit\u00e1s AI-rendszerekn\u00e9l k\u00fcl\u00f6n\u00f6sen \u00e9rz\u00e9keny k\u00e9rd\u00e9s. Egy f\u00e9l \u00e9vvel kor\u00e1bbi modellle\u00edr\u00e1s vagy tesztjelent\u00e9s lehet, hogy m\u00e1r nem t\u00fckr\u00f6zi a jelenlegi \u00e1llapotot, ha az\u00f3ta adatforr\u00e1s, modellverzi\u00f3, felhaszn\u00e1l\u00e1si c\u00e9l vagy besz\u00e1ll\u00edt\u00f3i szolg\u00e1ltat\u00e1s v\u00e1ltozott. Emiatt az auditornak ellen\u0151riznie kell a dokumentum verzi\u00f3j\u00e1t, d\u00e1tum\u00e1t, j\u00f3v\u00e1hagy\u00e1s\u00e1t \u00e9s kapcsolat\u00e1t az \u00e9les rendszerrel. Ilyenkor az elavult bizony\u00edt\u00e9k hamis biztons\u00e1g\u00e9rzetet adhat<\/strong>, mert l\u00e1tsz\u00f3lag van dokument\u00e1ci\u00f3, de nem a jelenlegi m\u0171k\u00f6d\u00e9sr\u0151l.<\/p>\n\n\n\n A megb\u00edzhat\u00f3s\u00e1g szint\u00e9n t\u00f6bb t\u00e9nyez\u0151t\u0151l f\u00fcgg. Egy rendszerb\u0151l export\u00e1lt napl\u00f3 \u00e1ltal\u00e1ban er\u0151sebb bizony\u00edt\u00e9k, mint egy k\u00e9zzel \u00f6ssze\u00e1ll\u00edtott ut\u00f3lagos t\u00e1bl\u00e1zat. Egy j\u00f3v\u00e1hagyott, verzi\u00f3kezelt elj\u00e1r\u00e1s er\u0151sebb, mint egy e-mailben k\u00fcld\u00f6tt inform\u00e1lis le\u00edr\u00e1s. Egy szolg\u00e1ltat\u00f3i auditriport \u00e9rt\u00e9kes lehet, de az auditor vizsg\u00e1lhatja, milyen k\u00f6rre, id\u0151szakra \u00e9s kontrollokra terjed ki. Ebben az \u00e9rtelemben a bizony\u00edt\u00e9k forr\u00e1sa is auditk\u00e9rd\u00e9s<\/strong>, nem csak a tartalma.<\/p>\n\n\n\n Az elegend\u0151s\u00e9g nem azt jelenti, hogy minden lehets\u00e9ges bizony\u00edt\u00e9kot be kell gy\u0171jteni. Az auditnak ar\u00e1nyosnak kell maradnia. Egy kisebb kock\u00e1zat\u00fa AI-eszk\u00f6zn\u00e9l n\u00e9h\u00e1ny j\u00f3l kiv\u00e1lasztott bizony\u00edt\u00e9k elegend\u0151 lehet. Magasabb kock\u00e1zat\u00fa vagy \u00fcgyfelet \u00e9rint\u0151 rendszerben viszont t\u00f6bbf\u00e9le bizony\u00edt\u00e9k kombin\u00e1ci\u00f3j\u00e1ra lehet sz\u00fcks\u00e9g. Az auditor szakmai \u00edt\u00e9lete abban \u00e1ll, hogy meg tudja hat\u00e1rozni: mennyi bizony\u00edt\u00e9k el\u00e9g a megb\u00edzhat\u00f3 k\u00f6vetkeztet\u00e9shez.<\/p>\n\n\n\n Az AI-rendszerek \u00e1tl\u00e1that\u00f3s\u00e1gi dokument\u00e1ci\u00f3j\u00e1ra j\u00f3 p\u00e9lda a model card megk\u00f6zel\u00edt\u00e9s. Mitchell \u00e9s munkat\u00e1rsai a modellekr\u0151l olyan dokument\u00e1ci\u00f3s form\u00e1t javasoltak, amely tartalmazza t\u00f6bbek k\u00f6z\u00f6tt a tervezett felhaszn\u00e1l\u00e1st, a teljes\u00edtm\u00e9nyjellemz\u0151ket, az \u00e9rt\u00e9kel\u00e9si k\u00f6rnyezetet \u00e9s a korl\u00e1tokat (Mitchell et al., 2019). Auditk\u00f6rnyezetben ez nem helyettes\u00edti a szervezeti kontrollokat, de seg\u00edthet abban, hogy a modell m\u0171k\u00f6d\u00e9s\u00e9r\u0151l \u00e9s korl\u00e1tair\u00f3l ellen\u0151rizhet\u0151 bizony\u00edt\u00e9k \u00e1lljon rendelkez\u00e9sre.<\/p>\n\n\n\n A relevancia \u00e9s elegend\u0151s\u00e9g \u00e9rt\u00e9kel\u00e9sekor az auditor a bizony\u00edt\u00e9kok k\u00f6z\u00f6tti \u00f6sszhangot is vizsg\u00e1lja. Ha a modellle\u00edr\u00e1s szerint a rendszer csak javaslatot ad, de a napl\u00f3 \u00e9s a felhaszn\u00e1l\u00f3i interj\u00fak alapj\u00e1n a javaslatot rendszeresen automatikusan elfogadj\u00e1k, akkor a dokument\u00e1ci\u00f3 \u00e9s a m\u0171k\u00f6d\u00e9s ellentmond egym\u00e1snak. Ha a kock\u00e1zat\u00e9rt\u00e9kel\u00e9s magas kock\u00e1zatot jelez, de nincs hozz\u00e1 kapcsol\u00f3d\u00f3 monitoring vagy fel\u00fclvizsg\u00e1lati rekord, akkor a kock\u00e1zatkezel\u00e9si l\u00e1nc megszakadt. Ilyenkor az ellentmond\u00f3 bizony\u00edt\u00e9k \u00f6nmag\u00e1ban meg\u00e1llap\u00edt\u00e1st alapozhat meg<\/strong>, mert a kontrollrendszer k\u00f6vetkezetlens\u00e9g\u00e9t jelzi.<\/p>\n\n\n\n Az auditbizony\u00edt\u00e9k \u00e9rt\u00e9kel\u00e9s\u00e9n\u00e9l az auditoroknak \u00f3vatosan kell b\u00e1nniuk a \u201el\u00e1ttuk, hogy m\u0171k\u00f6dik\u201d t\u00edpus\u00fa benyom\u00e1sokkal. Egy bemutat\u00f3 vagy dem\u00f3 hasznos lehet, de nem felt\u00e9tlen\u00fcl bizony\u00edtja a mindennapi m\u0171k\u00f6d\u00e9st. A dem\u00f3 gyakran kontroll\u00e1lt k\u00f6rnyezetben t\u00f6rt\u00e9nik, el\u0151re kiv\u00e1lasztott p\u00e9ld\u00e1val. Az auditor ez\u00e9rt k\u00e9rhet \u00e9les m\u0171k\u00f6d\u00e9si mint\u00e1t, napl\u00f3t vagy lez\u00e1rt \u00fcgyet is. Ilyenkor a demonstr\u00e1ci\u00f3 nem azonos az \u00fczemszer\u0171 bizony\u00edt\u00e9kkal<\/strong>, legfeljebb kieg\u00e9sz\u00edti azt.<\/p>\n\n\n\n A szolg\u00e1ltat\u00f3i bizony\u00edt\u00e9kokn\u00e1l az elegend\u0151s\u00e9g k\u00fcl\u00f6n\u00f6sen fontos. Egy k\u00fcls\u0151 AI-szolg\u00e1ltat\u00f3 adhat \u00e1ltal\u00e1nos biztons\u00e1gi dokument\u00e1ci\u00f3t, de a szervezetnek azt kell meg\u00edt\u00e9lnie, hogy ez el\u00e9g-e a saj\u00e1t felhaszn\u00e1l\u00e1si kock\u00e1zat\u00e1hoz. A FactSheets megk\u00f6zel\u00edt\u00e9s az AI-szolg\u00e1ltat\u00e1sokkal kapcsolatos c\u00e9l, teljes\u00edtm\u00e9ny, biztons\u00e1g, v\u00e9delem \u00e9s eredet inform\u00e1ci\u00f3inak dokument\u00e1l\u00e1s\u00e1t javasolja, ami j\u00f3l illeszkedik a besz\u00e1ll\u00edt\u00f3i bizony\u00edt\u00e9kok audit\u00e1l\u00e1si ig\u00e9ny\u00e9hez (Arnold et al., 2019).<\/p>\n\n\n\n A bizony\u00edt\u00e9k elegend\u0151s\u00e9g\u00e9t befoly\u00e1solja az is, hogy milyen k\u00f6vetkezm\u00e9nye lehet az AI-rendszer hib\u00e1j\u00e1nak. Egy bels\u0151 dokumentumkeres\u0151 eszk\u00f6zn\u00e9l egy t\u00e9ves tal\u00e1lat kellemetlen lehet, de korl\u00e1tozott hat\u00e1s\u00fa. Egy panaszkezel\u0151 rendszerben azonban a hib\u00e1s kategoriz\u00e1l\u00e1s, k\u00e9sedelmes kezel\u00e9s vagy nem megfelel\u0151 \u00fcgyf\u00e9lv\u00e1lasz k\u00f6zvetlen \u00fcgyf\u00e9lhat\u00e1st \u00e9s megfelel\u0151s\u00e9gi probl\u00e9m\u00e1t okozhat. Ez\u00e9rt a bizony\u00edt\u00e9kig\u00e9ny a hat\u00e1s s\u00faly\u00e1val n\u0151<\/strong>, \u00e9s az auditor nem alkalmazhat minden rendszerre azonos m\u00e9lys\u00e9g\u0171 vizsg\u00e1latot.<\/p>\n\n\n\n Az auditor akkor j\u00e1r el megalapozottan, ha a bizony\u00edt\u00e9kokat nem elszigetelten, hanem auditkrit\u00e9riumhoz k\u00f6tve \u00e9rt\u00e9keli. A k\u00e9rd\u00e9s mindig az: mit kellett volna teljes\u00edteni, mit mutat a bizony\u00edt\u00e9k, elegend\u0151-e a k\u00f6vetkeztet\u00e9shez, \u00e9s milyen kock\u00e1zati jelent\u0151s\u00e9ge van az elt\u00e9r\u00e9snek. Ez a gondolkod\u00e1sm\u00f3d v\u00e9di az auditot att\u00f3l, hogy puszta dokumentumgy\u0171jt\u00e9ss\u00e9 v\u00e1ljon.<\/p>\n\n\n\n A hi\u00e1nyos bizony\u00edt\u00e9k nem mindig jelenti azt, hogy a kontroll nem m\u0171k\u00f6dik, de azt igen, hogy az auditor nem tudja megfelel\u0151en igazolni a m\u0171k\u00f6d\u00e9st. Ez k\u00fcl\u00f6n\u00f6sen fontos AIMS-k\u00f6rnyezetben, mert az AI-rendszerek felel\u0151s ir\u00e1ny\u00edt\u00e1sa nemcsak helyes d\u00f6nt\u00e9seket, hanem visszak\u00f6vethet\u0151 d\u00f6nt\u00e9seket is ig\u00e9nyel. Ha nincs bizony\u00edt\u00e9k, az auditmeg\u00e1llap\u00edt\u00e1snak vil\u00e1gosan k\u00fcl\u00f6nbs\u00e9get kell tennie a kontrollhi\u00e1ny, a dokument\u00e1ci\u00f3hi\u00e1ny \u00e9s a bizony\u00edt\u00e9khi\u00e1ny k\u00f6z\u00f6tt. Ilyenkor a hi\u00e1ny t\u00edpusa hat\u00e1rozza meg a jav\u00edt\u00e1st<\/strong>, ez\u00e9rt nem mindegy, hogyan fogalmaz az auditor.<\/p>\n\n\n\n Kontrollhi\u00e1nyr\u00f3l akkor besz\u00e9lhet\u00fcnk, ha a szervezet nem alak\u00edtott ki sz\u00fcks\u00e9ges ellen\u0151rz\u00e9si pontot. P\u00e9ld\u00e1ul nincs el\u0151\u00edr\u00e1s arra, hogy egy AI-alap\u00fa panaszkezel\u0151 rendszer kimeneteit embernek kell fel\u00fclvizsg\u00e1lnia. Dokument\u00e1ci\u00f3hi\u00e1nyr\u00f3l akkor van sz\u00f3, ha a kontroll l\u00e9tezik, de nincs megfelel\u0151en le\u00edrva vagy j\u00f3v\u00e1hagyva. Bizony\u00edt\u00e9khi\u00e1ny pedig akkor \u00e1ll fenn, ha a kontroll \u00e1ll\u00edt\u00f3lag m\u0171k\u00f6dik, de a konkr\u00e9t esetekben nem tal\u00e1lhat\u00f3 visszak\u00f6vethet\u0151 nyom. Ez a h\u00e1rmas k\u00fcl\u00f6nbs\u00e9g seg\u00edt elker\u00fclni a t\u00fal \u00e1ltal\u00e1nos meg\u00e1llap\u00edt\u00e1sokat.<\/p>\n\n\n\n Egy gyenge auditmeg\u00e1llap\u00edt\u00e1s \u00edgy hangozhat: \u201eaz AI-rendszer dokument\u00e1ci\u00f3ja hi\u00e1nyos\u201d. Ez t\u00fal \u00e1ltal\u00e1nos, \u00e9s nem seg\u00edt a jav\u00edt\u00e1sban. Egy er\u0151sebb meg\u00e1llap\u00edt\u00e1s p\u00e9ld\u00e1ul \u00edgy fogalmazhat\u00f3 meg: \u201ea panaszkezel\u0151 AI-rendszer 2025. m\u00e1rciusi \u00e9s \u00e1prilisi mint\u00e1iban nem volt visszak\u00f6vethet\u0151 az emberi fel\u00fclvizsg\u00e1lat eredm\u00e9nye, mik\u00f6zben a bels\u0151 elj\u00e1r\u00e1s minden \u00fcgyf\u00e9lv\u00e1lasz el\u0151tt k\u00f6telez\u0151 ellen\u0151rz\u00e9st \u00edr el\u0151\u201d. Ebben a form\u00e1ban a meg\u00e1llap\u00edt\u00e1s bizony\u00edt\u00e9kra \u00e9s krit\u00e9riumra \u00e9p\u00fcl<\/strong>, ez\u00e9rt int\u00e9zked\u00e9sre alkalmas.<\/p>\n\n\n\n A hi\u00e1nyos bizony\u00edt\u00e9k \u00e9rt\u00e9kel\u00e9s\u00e9n\u00e9l az auditor nem felt\u00e9telezhet automatikusan rossz m\u0171k\u00f6d\u00e9st. Lehet, hogy a kontrollt t\u00e9nylegesen elv\u00e9gezt\u00e9k, de nem r\u00f6gz\u00edtett\u00e9k. Ugyanakkor az sem elfogadhat\u00f3, hogy a szervezet puszt\u00e1n sz\u00f3beli meger\u0151s\u00edt\u00e9ssel p\u00f3tolja a hi\u00e1nyz\u00f3 auditnyomot. Az audit feladata nem az, hogy j\u00f3hiszem\u0171s\u00e9get felt\u00e9telezzen, hanem hogy bizony\u00edthat\u00f3s\u00e1got \u00e9rt\u00e9keljen. AI-rendszerekn\u00e9l a visszak\u00f6vethet\u0151s\u00e9g a felel\u0151ss\u00e9g r\u00e9sze<\/strong>, k\u00fcl\u00f6n\u00f6sen \u00fcgyf\u00e9lhat\u00e1ssal j\u00e1r\u00f3 folyamatokban.<\/p>\n\n\n\n Raji \u00e9s munkat\u00e1rsai az internal algorithmic auditing kapcs\u00e1n arra mutattak r\u00e1, hogy az AI-rendszerek audit\u00e1l\u00e1sa \u00e9letcikluson \u00e1t\u00edvel\u0151 dokument\u00e1ci\u00f3t \u00e9s szervezeti elsz\u00e1moltathat\u00f3s\u00e1got ig\u00e9nyel (Raji et al., 2020). Ez a megk\u00f6zel\u00edt\u00e9s k\u00fcl\u00f6n\u00f6sen hasznos a hi\u00e1nyos bizony\u00edt\u00e9kok \u00e9rt\u00e9kel\u00e9sekor. Ha a fejleszt\u00e9s, bevezet\u00e9s, m\u0171k\u00f6dtet\u00e9s \u00e9s v\u00e1ltoz\u00e1skezel\u00e9s bizony\u00edt\u00e9kai nem kapcsol\u00f3dnak \u00f6ssze, akkor az auditor nem tudja rekonstru\u00e1lni, hogyan jutott a szervezet egy adott AI-m\u0171k\u00f6d\u00e9si \u00e1llapotig.<\/p>\n\n\n\n A hi\u00e1nyos bizony\u00edt\u00e9kb\u00f3l fakad\u00f3 meg\u00e1llap\u00edt\u00e1sok s\u00falyoss\u00e1g\u00e1t kock\u00e1zatalapon kell meghat\u00e1rozni. Ha egy alacsony kock\u00e1zat\u00fa bels\u0151 AI-seg\u00e9deszk\u00f6zn\u00e9l hi\u00e1nyzik egy k\u00e9pz\u00e9si jelenl\u00e9ti \u00edv, az lehet kisebb elt\u00e9r\u00e9s. Ha egy \u00fcgyf\u00e9lpanaszok kezel\u00e9s\u00e9t t\u00e1mogat\u00f3 rendszerben nem bizony\u00edthat\u00f3 az emberi fel\u00fclvizsg\u00e1lat, az m\u00e1r jelent\u0151sebb elt\u00e9r\u00e9s lehet. Ha egy magas hat\u00e1s\u00fa d\u00f6nt\u00e9st\u00e1mogat\u00f3 AI-rendszert tesztel\u00e9si bizony\u00edt\u00e9k n\u00e9lk\u00fcl \u00e9les\u00edtettek, az kritikus nemmegfelel\u0151s\u00e9ghez is vezethet.<\/p>\n\n\n\n A jav\u00edt\u00f3 int\u00e9zked\u00e9snek a bizony\u00edt\u00e9khi\u00e1ny ok\u00e1t kell kezelnie. Ha a felhaszn\u00e1l\u00f3k nem tudj\u00e1k, mit kell r\u00f6gz\u00edteni\u00fck, k\u00e9pz\u00e9si \u00e9s elj\u00e1r\u00e1si pontos\u00edt\u00e1s kell. Ha a rendszer nem teszi lehet\u0151v\u00e9 a fel\u00fclvizsg\u00e1lat nyom\u00e1nak r\u00f6gz\u00edt\u00e9s\u00e9t, technikai m\u00f3dos\u00edt\u00e1s sz\u00fcks\u00e9ges. Ha a vezet\u0151k nem k\u00e9rik sz\u00e1mon a dokument\u00e1ci\u00f3t, ir\u00e1ny\u00edt\u00e1si kontrollt kell er\u0151s\u00edteni. Ilyenkor a jav\u00edt\u00e1s nem lehet puszta ut\u00f3lagos iratgy\u00e1rt\u00e1s<\/strong>, mert az nem oldja meg a m\u0171k\u00f6d\u00e9si bizony\u00edthat\u00f3s\u00e1g probl\u00e9m\u00e1j\u00e1t.<\/p>\n\n\n\n A hi\u00e1nyos bizony\u00edt\u00e9k kezel\u00e9s\u00e9hez \u00e9rdemes az auditoroknak k\u00fcl\u00f6n bizony\u00edt\u00e9ki \u00e9rt\u00e9kel\u00e9si t\u00e1bl\u00e1t haszn\u00e1lni. Ebben minden vizsg\u00e1lt kontrollhoz r\u00f6gz\u00edthet\u0151 a krit\u00e9rium, a k\u00e9rt bizony\u00edt\u00e9k, a kapott bizony\u00edt\u00e9k, a bizony\u00edt\u00e9k t\u00edpusa, az aktualit\u00e1s, az elt\u00e9r\u00e9s \u00e9s a k\u00f6vetkeztet\u00e9s. Ez k\u00fcl\u00f6n\u00f6sen hasznos \u00f6sszetett AI-rendszerekn\u00e9l, ahol sok dokumentum, napl\u00f3, interj\u00fa \u00e9s szolg\u00e1ltat\u00f3i adat kapcsol\u00f3dik \u00f6ssze. Az ilyen rendszerez\u00e9s seg\u00edti, hogy az auditmeg\u00e1llap\u00edt\u00e1sok k\u00f6vetkezetesek \u00e9s v\u00e9dhet\u0151k legyenek.<\/p>\n\n\n\n Egy AI-alap\u00fa panaszkezel\u0151 rendszerhez p\u00e9ld\u00e1ul az auditbizony\u00edt\u00e9k-lista \u00edgy \u00e9p\u00fclhet fel:<\/p>\n\n\n\n Vizsg\u00e1lt ter\u00fclet<\/p>\n\n\n\n Bizony\u00edt\u00e9k t\u00edpusa<\/p>\n\n\n\n P\u00e9lda bizony\u00edt\u00e9k<\/p>\n\n\n\n Auditc\u00e9l<\/p>\n\n\n\n Haszn\u00e1lati c\u00e9l<\/p>\n\n\n\n dokumentum<\/p>\n\n\n\n j\u00f3v\u00e1hagyott haszn\u00e1lati eset le\u00edr\u00e1sa<\/p>\n\n\n\n a rendszer rendeltet\u00e9s\u00e9nek ellen\u0151rz\u00e9se<\/p>\n\n\n\n Kock\u00e1zat\u00e9rt\u00e9kel\u00e9s<\/p>\n\n\n\n dokumentum<\/p>\n\n\n\n AI-kock\u00e1zat\u00e9rt\u00e9kel\u00e9si rekord<\/p>\n\n\n\n f\u0151 kock\u00e1zatok \u00e9s kontrollok azonos\u00edt\u00e1sa<\/p>\n\n\n\n Adatforr\u00e1s<\/p>\n\n\n\n dokumentum \u00e9s rendszeradat<\/p>\n\n\n\n adatmez\u0151-lista, hozz\u00e1f\u00e9r\u00e9si riport<\/p>\n\n\n\n adatjogszer\u0171s\u00e9g \u00e9s adatminimaliz\u00e1l\u00e1s vizsg\u00e1lata<\/p>\n\n\n\n Emberi fel\u00fcgyelet<\/p>\n\n\n\n m\u0171k\u00f6d\u00e9si minta<\/p>\n\n\n\n lez\u00e1rt panaszok fel\u00fclvizsg\u00e1lati nyoma<\/p>\n\n\n\n d\u00f6nt\u00e9si kontroll m\u0171k\u00f6d\u00e9s\u00e9nek ellen\u0151rz\u00e9se<\/p>\n\n\n\n AI-kimenetek kezel\u00e9se<\/p>\n\n\n\n napl\u00f3<\/p>\n\n\n\n javaslat, fel\u00fcl\u00edr\u00e1s, felhaszn\u00e1l\u00f3i d\u00f6nt\u00e9s<\/p>\n\n\n\n kimenetek visszak\u00f6vethet\u0151s\u00e9g\u00e9nek vizsg\u00e1lata<\/p>\n\n\n\n Felhaszn\u00e1l\u00f3i tudatoss\u00e1g<\/p>\n\n\n\n interj\u00fa \u00e9s dokumentum<\/p>\n\n\n\n k\u00e9pz\u00e9si rekord, interj\u00fajegyzet<\/p>\n\n\n\n gyakorlati ismeretek ellen\u0151rz\u00e9se<\/p>\n\n\n\n Incidenskezel\u00e9s<\/p>\n\n\n\n dokumentum \u00e9s m\u0171k\u00f6d\u00e9si minta<\/p>\n\n\n\n hibajegy, panasz, jav\u00edt\u00f3 int\u00e9zked\u00e9s<\/p>\n\n\n\n rendelleness\u00e9gek kezel\u00e9s\u00e9nek vizsg\u00e1lata<\/p>\n\n\n\n Besz\u00e1ll\u00edt\u00f3i kontroll<\/p>\n\n\n\n dokumentum<\/p>\n\n\n\n szolg\u00e1ltat\u00f3i dokument\u00e1ci\u00f3, szerz\u0151d\u00e9ses mell\u00e9klet<\/p>\n\n\n\n k\u00fcls\u0151 AI-kock\u00e1zatok \u00e9rt\u00e9kel\u00e9se<\/p>\n\n\n\n Ez a t\u00e1bl\u00e1zat nem \u00f6nmag\u00e1ban bizony\u00edt\u00e9k, hanem auditm\u00f3dszertani eszk\u00f6z. Seg\u00edt abban, hogy az auditor ne csak dokumentumokat k\u00e9rjen be, hanem minden kontrollhoz megfelel\u0151 bizony\u00edt\u00e9kt\u00edpust rendeljen. A c\u00e9l az, hogy egy AI-kontrollt t\u00f6bb oldalr\u00f3l kell l\u00e1tni<\/strong>, mert a dokumentum, a rendszeradat \u00e9s a felhaszn\u00e1l\u00f3i gyakorlat egy\u00fctt mutatja a m\u0171k\u00f6d\u00e9st.<\/p>\n\n\n\n A hi\u00e1nyos bizony\u00edt\u00e9k kezel\u00e9s\u00e9n\u00e9l fontos az ar\u00e1nyoss\u00e1g. Nem minden bizony\u00edt\u00e9khi\u00e1ny ig\u00e9nyel azonnali nagy projektet. N\u00e9ha elegend\u0151 a sablon pontos\u00edt\u00e1sa, a napl\u00f3mez\u0151 b\u0151v\u00edt\u00e9se, egy j\u00f3v\u00e1hagy\u00e1si l\u00e9p\u00e9s k\u00f6telez\u0151v\u00e9 t\u00e9tele vagy a felhaszn\u00e1l\u00f3i \u00fatmutat\u00f3 friss\u00edt\u00e9se. M\u00e1s esetben viszont a hi\u00e1ny m\u00e9lyebb ir\u00e1ny\u00edt\u00e1si probl\u00e9m\u00e1t jelez, p\u00e9ld\u00e1ul nincs kijel\u00f6lt rendszerfelel\u0151s, nincs modellv\u00e1ltoz\u00e1s-kezel\u00e9s, vagy nincs rendszeres monitoring. Az auditnak ezt a k\u00fcl\u00f6nbs\u00e9get vil\u00e1gosan kell kimondania.<\/p>\n\n\n\n A hi\u00e1nyos bizony\u00edt\u00e9kok lez\u00e1r\u00e1sa ut\u00e1nk\u00f6vet\u00e9st ig\u00e9nyel. Ha a szervezet azt v\u00e1llalja, hogy a panaszkezel\u0151 AI-rendszerben bevezeti a fel\u00fclvizsg\u00e1lati nyom k\u00f6telez\u0151 r\u00f6gz\u00edt\u00e9s\u00e9t, az auditor k\u00e9s\u0151bb mint\u00e1t k\u00e9rhet az \u00faj m\u0171k\u00f6d\u00e9sb\u0151l. Nem elegend\u0151 azt l\u00e1tni, hogy elk\u00e9sz\u00fclt egy \u00faj elj\u00e1r\u00e1s. Meg kell vizsg\u00e1lni, hogy a v\u00e1ltoz\u00e1s t\u00e9nylegesen megjelent-e a napi munk\u00e1ban. \u00cdgy a jav\u00edt\u00f3 int\u00e9zked\u00e9s \u00e9rt\u00e9ke a m\u0171k\u00f6d\u00e9sben d\u0151l el<\/strong>, nem a lez\u00e1r\u00e1si d\u00e1tumban.<\/p>\n\n\n\n Az AIMS bels\u0151 auditj\u00e1ban a bizony\u00edt\u00e9kgy\u0171jt\u00e9s v\u00e9gs\u0151 c\u00e9lja nem az, hogy min\u00e9l t\u00f6bb dokumentumot archiv\u00e1ljon a szervezet. A c\u00e9l az, hogy az AI-rendszerek felel\u0151s m\u0171k\u00f6d\u00e9se rekonstru\u00e1lhat\u00f3, \u00e9rt\u00e9kelhet\u0151 \u00e9s fejleszthet\u0151 legyen. A j\u00f3 auditbizony\u00edt\u00e9k megmutatja, ki d\u00f6nt\u00f6tt, mi alapj\u00e1n d\u00f6nt\u00f6tt, milyen kontroll m\u0171k\u00f6d\u00f6tt, milyen elt\u00e9r\u00e9s t\u00f6rt\u00e9nt, \u00e9s hogyan reag\u00e1lt a szervezet.<\/p>\n\n\n\n A bels\u0151 auditor akkor ad val\u00f3di \u00e9rt\u00e9ket, ha nem el\u00e9gszik meg a form\u00e1lis megfelel\u00e9ssel, de nem is cs\u00faszik \u00e1t technikai t\u00falvizsg\u00e1latba. Az AI-rendszerek audit\u00e1l\u00e1sa szervezeti, m\u0171k\u00f6d\u00e9si \u00e9s bizony\u00edt\u00e9ki fegyelmet ig\u00e9nyel. A felel\u0151s AI-ir\u00e1ny\u00edt\u00e1s egyik legfontosabb jele, hogy a szervezet nemcsak \u00e1ll\u00edtja, hanem ellen\u0151rizhet\u0151en bizony\u00edtja is a kontroll\u00e1lt m\u0171k\u00f6d\u00e9st.<\/p>\n\n\n\n Arnold, M., Bellamy, R. K. E., Hind, M., Houde, S., Mehta, S., Mojsilovi\u0107, A., Nair, R., Natesan Ramamurthy, K., Reimer, D., Olteanu, A., Piorkowski, D., Tsay, J., & Varshney, K. R. (2019). FactSheets: Increasing trust in AI services through supplier\u2019s declarations of conformity. IBM Journal of Research and Development, 63<\/em>(4\/5), 6:1\u20136:13. https:\/\/doi.org\/10.1147\/JRD.2019.2942288<\/p>\n\n\n\n European Parliament & Council of the European Union. (2024). Regulation (EU) 2024\/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence<\/em>. Official Journal of the European Union. https:\/\/eur-lex.europa.eu\/eli\/reg\/2024\/1689\/oj\/eng<\/p>\n\n\n\n Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daum\u00e9 III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64<\/em>(12), 86\u201392. https:\/\/doi.org\/10.1145\/3458723<\/p>\n\n\n\n International Organization for Standardization. (2018). ISO 19011:2018: Guidelines for auditing management systems<\/em>. ISO. https:\/\/www.iso.org\/standard\/70017.html<\/p>\n\n\n\n International Organization for Standardization. (2023a). ISO\/IEC 42001:2023: Information technology \u2014 Artificial intelligence \u2014 Management system<\/em>. ISO. https:\/\/www.iso.org\/standard\/42001<\/p>\n\n\n\n Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency<\/em>, 220\u2013229. https:\/\/doi.org\/10.1145\/3287560.3287596<\/p>\n\n\n\n National Institute of Standards and Technology. (2023). Artificial intelligence risk management framework (AI RMF 1.0)<\/em>. U.S. Department of Commerce. https:\/\/doi.org\/10.6028\/NIST.AI.100-1<\/p>\n\n\n\nA dokument\u00e1lt \u00e9s t\u00e9nyleges m\u0171k\u00f6d\u00e9s \u00f6sszevet\u00e9se<\/h2>\n\n\n\n
Interj\u00fa, mintav\u00e9tel \u00e9s napl\u00f3vizsg\u00e1lat szerepe<\/h2>\n\n\n\n
A bizony\u00edt\u00e9k relevanci\u00e1ja, aktualit\u00e1sa \u00e9s elegend\u0151s\u00e9ge<\/h2>\n\n\n\n
Hi\u00e1nyos bizony\u00edt\u00e9kb\u00f3l fakad\u00f3 meg\u00e1llap\u00edt\u00e1sok kezel\u00e9se<\/h2>\n\n\n\n
Felhaszn\u00e1lt szakirodalom<\/h2>\n\n\n\n