Egy AI-rendszer akkor is kelthet bizalmat, ha val\u00f3j\u00e1ban kev\u00e9s bizony\u00edt\u00e9k \u00e1ll m\u00f6g\u00f6tte. A kimenet gyors, a fel\u00fclet professzion\u00e1lis, az eredm\u00e9ny sz\u00e1mszer\u0171nek t\u0171nik, \u00e9s emiatt k\u00f6nnyen kialakulhat az a benyom\u00e1s, hogy a rendszer megb\u00edzhat\u00f3. V\u00e1llalati k\u00f6rnyezetben azonban a bizalom nem benyom\u00e1s, hanem igazolhat\u00f3 m\u0171k\u00f6d\u00e9s k\u00e9rd\u00e9se.<\/p>\n\n\n\n
A megb\u00edzhat\u00f3s\u00e1g nem azt jelenti, hogy az AI soha nem hib\u00e1zik. Sokkal ink\u00e1bb azt jelenti, hogy a szervezet ismeri a rendszer c\u00e9lj\u00e1t, adatforr\u00e1sait, teljes\u00edtm\u00e9nymutat\u00f3it, korl\u00e1tait, v\u00e1ltoz\u00e1sait \u00e9s hibakezel\u00e9si rendj\u00e9t. Az audit\u00e1lhat\u00f3s\u00e1g ehhez kapcsol\u00f3dik: nem minden technikai r\u00e9szlet \u00fajrasz\u00e1mol\u00e1s\u00e1t v\u00e1rja el, hanem azt, hogy a szervezet bizony\u00edt\u00e9kokkal tudja al\u00e1t\u00e1masztani a felel\u0151s m\u0171k\u00f6d\u00e9st.<\/p>\n\n\n\n
Az AI-rendszerek megb\u00edzhat\u00f3s\u00e1g\u00e1t gyakran technikai teljes\u00edtm\u00e9nymutat\u00f3kkal \u00edrj\u00e1k le: pontoss\u00e1g, hibaar\u00e1ny, tal\u00e1lati ar\u00e1ny, stabilit\u00e1s vagy v\u00e1laszid\u0151. Ezek fontosak, de \u00f6nmagukban nem elegend\u0151k. Egy rendszer lehet technikailag er\u0151s egy tesztk\u00f6rnyezetben, mik\u00f6zben szervezeti szempontb\u00f3l m\u00e9gsem haszn\u00e1lhat\u00f3 felel\u0151sen, ha nem vil\u00e1gos a c\u00e9lja, a felhaszn\u00e1l\u00e1si korl\u00e1tja vagy a d\u00f6nt\u00e9si felel\u0151ss\u00e9g helye.<\/p>\n\n\n\n
A megb\u00edzhat\u00f3s\u00e1g szervezeti \u00e9rtelmez\u00e9se abb\u00f3l indul ki, hogy az AI nem \u00f6n\u00e1ll\u00f3an m\u0171k\u00f6d\u0151 \u201eokos doboz\u201d, hanem egy \u00fczleti, jogi, inform\u00e1ci\u00f3biztons\u00e1gi \u00e9s d\u00f6nt\u00e9si folyamat r\u00e9sze. Ilyenkor a megb\u00edzhat\u00f3s\u00e1g a teljes m\u0171k\u00f6d\u00e9si l\u00e1nc tulajdons\u00e1ga<\/strong>, nem kiz\u00e1r\u00f3lag a modell\u00e9. A l\u00e1ncba beletartozik az \u00fczleti c\u00e9l, az adatmin\u0151s\u00e9g, a modellfejleszt\u00e9s, a valid\u00e1l\u00e1s, a felhaszn\u00e1l\u00f3i \u00e9rtelmez\u00e9s, a v\u00e1ltoz\u00e1skezel\u00e9s \u00e9s a hibakezel\u00e9s is.<\/p>\n\n\n\n A NIST AI Risk Management Framework hasonl\u00f3 logik\u00e1val kezeli a megb\u00edzhat\u00f3 AI-t: a validit\u00e1s \u00e9s megb\u00edzhat\u00f3s\u00e1g mellett a biztons\u00e1got, ellen\u00e1ll\u00f3 k\u00e9pess\u00e9get, \u00e1tl\u00e1that\u00f3s\u00e1got, magyar\u00e1zhat\u00f3s\u00e1got, adatv\u00e9delmet \u00e9s m\u00e9lt\u00e1nyoss\u00e1got is a bizalom felt\u00e9telei k\u00f6z\u00e9 sorolja (National Institute of Standards and Technology, 2023). Ez az\u00e9rt l\u00e9nyeges, mert egy AI-rendszer nem att\u00f3l lesz felel\u0151sen haszn\u00e1lhat\u00f3, hogy egyetlen mutat\u00f3ban j\u00f3l teljes\u00edt, hanem att\u00f3l, hogy a szervezet \u00e9rti \u00e9s kezeli a m\u0171k\u00f6d\u00e9s\u00e9b\u0151l fakad\u00f3 kock\u00e1zatokat.<\/p>\n\n\n\n Az ISO\/IEC 42001 szervezeti n\u00e9z\u0151pontb\u00f3l k\u00f6zel\u00edti meg ugyanezt a k\u00e9rd\u00e9st. Nem egyetlen AI-rendszer technikai megfelel\u0151s\u00e9g\u00e9t \u00edrja le, hanem AI ir\u00e1ny\u00edt\u00e1si rendszer kialak\u00edt\u00e1s\u00e1ra, m\u0171k\u00f6dtet\u00e9s\u00e9re, nyomon k\u00f6vet\u00e9s\u00e9re \u00e9s fejleszt\u00e9s\u00e9re ad keretet. Ebben a megb\u00edzhat\u00f3 AI ir\u00e1ny\u00edt\u00e1si teljes\u00edtm\u00e9ny is<\/strong>, mert a felel\u0151s m\u0171k\u00f6d\u00e9shez szerepek, d\u00f6nt\u00e9si pontok, kontrollok \u00e9s bizony\u00edt\u00e9kok sz\u00fcks\u00e9gesek (International Organization for Standardization, 2023).<\/p>\n\n\n\n A technikai megb\u00edzhat\u00f3s\u00e1g p\u00e9ld\u00e1ul azt vizsg\u00e1lhatja, hogy egy el\u0151rejelz\u0151 modell mennyire pontosan becs\u00fcl meg v\u00e1rhat\u00f3 \u00fcgyf\u00e9lig\u00e9nyt, k\u00e9szletszintet vagy kock\u00e1zati kateg\u00f3ri\u00e1t. A szervezeti megb\u00edzhat\u00f3s\u00e1g ehhez k\u00e9pest azt is k\u00e9rdezi: milyen d\u00f6nt\u00e9sekben haszn\u00e1lj\u00e1k ezt az el\u0151rejelz\u00e9st, ki hagyta j\u00f3v\u00e1 a felhaszn\u00e1l\u00e1st, milyen adatokb\u00f3l tanult a modell, milyen hibahat\u00e1r elfogadhat\u00f3, \u00e9s mi t\u00f6rt\u00e9nik, ha a modell bizonytalan vagy t\u00e9ves.<\/p>\n\n\n\n Ez a k\u00fcl\u00f6nbs\u00e9g k\u00fcl\u00f6n\u00f6sen fontos olyan rendszerekn\u00e9l, amelyek \u00fczleti d\u00f6nt\u00e9seket t\u00e1mogatnak. Egy modell kimenete lehet hasznos jelz\u00e9s, de nem biztos, hogy \u00f6nmag\u00e1ban elegend\u0151 d\u00f6nt\u00e9si bizony\u00edt\u00e9k. Ha a vezet\u0151i d\u00f6nt\u00e9s egy el\u0151rejelz\u00e9sre \u00e9p\u00fcl, akkor az AI-kimenet csak akkor er\u0151s bizony\u00edt\u00e9k, ha a k\u00f6r\u00fclm\u00e9nyei is bizony\u00edtottak<\/strong>. A k\u00f6r\u00fclm\u00e9nyek k\u00f6z\u00e9 tartozik az adatforr\u00e1s, a valid\u00e1ci\u00f3, a teljes\u00edtm\u00e9nyroml\u00e1s figyel\u00e9se \u00e9s a felhaszn\u00e1l\u00e1si hat\u00e1r.<\/p>\n\n\n\n A megb\u00edzhat\u00f3s\u00e1g teh\u00e1t nem egyetlen j\u00f3v\u00e1hagy\u00e1si pecs\u00e9t. Ink\u00e1bb folyamatos \u00e1llapot, amelyet fenn kell tartani. Egy AI-rendszer teljes\u00edtm\u00e9nye v\u00e1ltozhat, mert v\u00e1ltozik az adat, az \u00fcgyf\u00e9lviselked\u00e9s, a szab\u00e1lyoz\u00e1si k\u00f6rnyezet, a szervezeti folyamat vagy a modell verzi\u00f3ja. Sculley \u00e9s munkat\u00e1rsai a g\u00e9pi tanul\u00e1si rendszerek rejtett technikai ad\u00f3ss\u00e1g\u00e1r\u00f3l \u00edrt munk\u00e1jukban r\u00e1mutattak, hogy az ML-rendszerek karbantart\u00e1si terhei gyakran nem a modell els\u0151 elk\u00e9sz\u00edt\u00e9sekor, hanem az \u00e9les m\u0171k\u00f6d\u00e9s, adatf\u00fcgg\u0151s\u00e9gek \u00e9s k\u00f6rnyezeti v\u00e1ltoz\u00e1sok sor\u00e1n jelentkeznek (Sculley et al., 2015).<\/p>\n\n\n\n Ez\u00e9rt egy AI ir\u00e1ny\u00edt\u00e1si rendszerben a megb\u00edzhat\u00f3s\u00e1got nem lehet egyszeri fejleszt\u00e9si eredm\u00e9nyk\u00e9nt kezelni. A szervezetnek rendszeresen vizsg\u00e1lnia kell, hogy az AI-rendszer m\u00e9g mindig arra a c\u00e9lra haszn\u00e1lhat\u00f3-e, amelyre bevezett\u00e9k. Ebben a megb\u00edzhat\u00f3s\u00e1g fenntart\u00e1sa v\u00e1ltoz\u00e1skezel\u00e9si feladat<\/strong>, nem puszt\u00e1n fejleszt\u0151i vagy adatkutat\u00f3i k\u00e9rd\u00e9s.<\/p>\n\n\n\n A szervezeti \u00e9s technikai n\u00e9z\u0151pont \u00f6sszekapcsol\u00e1s\u00e1hoz vil\u00e1gos k\u00e9rd\u00e9seket kell feltenni:<\/p>\n\n\n\n Mi az AI-rendszer pontos c\u00e9lja?<\/p>\n\n\n\n Milyen d\u00f6nt\u00e9st vagy folyamatot t\u00e1mogat?<\/p>\n\n\n\n Milyen adatokb\u00f3l tanult \u00e9s milyen adatokon m\u0171k\u00f6dik?<\/p>\n\n\n\n Milyen teljes\u00edtm\u00e9nymutat\u00f3kkal m\u00e9rhet\u0151?<\/p>\n\n\n\n Milyen ismert korl\u00e1tai vannak?<\/p>\n\n\n\n Milyen hib\u00e1k elfogadhatatlanok?<\/p>\n\n\n\n Ki jogosult a kimenet felhaszn\u00e1l\u00e1s\u00e1ra?<\/p>\n\n\n\n Mikor sz\u00fcks\u00e9ges emberi fel\u00fclvizsg\u00e1lat?<\/p>\n\n\n\n Milyen bizony\u00edt\u00e9k t\u00e1masztja al\u00e1 a m\u0171k\u00f6d\u00e9st?<\/p>\n\n\n\n Mikor kell \u00fajra\u00e9rt\u00e9kelni a rendszert?<\/p>\n\n\n\n Ezek a k\u00e9rd\u00e9sek nem lass\u00edtj\u00e1k az AI bevezet\u00e9s\u00e9t, hanem cs\u00f6kkentik a k\u00e9s\u0151bbi f\u00e9lre\u00e9rt\u00e9seket. Ha a c\u00e9l, az adat, a m\u00e9r\u00e9s \u00e9s a felel\u0151ss\u00e9g nincs tiszt\u00e1zva, akkor a szervezet val\u00f3j\u00e1ban nem tudja, mit\u0151l v\u00e1rja az AI-rendszer \u00e9rt\u00e9kteremt\u00e9s\u00e9t. Ebben a tiszt\u00e1zatlan c\u00e9l gyenge bizony\u00edt\u00e9kot eredm\u00e9nyez<\/strong>, mert nem lehet megfelel\u0151en m\u00e9rni, hogy a rendszer j\u00f3l m\u0171k\u00f6dik-e.<\/p>\n\n\n\n A megb\u00edzhat\u00f3s\u00e1g gyakorlati jelent\u00e9se ez\u00e9rt mindig haszn\u00e1lati esethez k\u00f6t\u00f6tt. Egy bels\u0151 tud\u00e1skeres\u0151 asszisztensn\u00e9l m\u00e1s bizony\u00edt\u00e9k kell, mint egy \u00fcgyf\u00e9lmin\u0151s\u00edt\u00e9si, HR-el\u0151sz\u0171r\u00e9si, kock\u00e1zati pontoz\u00e1si vagy p\u00e9nz\u00fcgyi el\u0151rejelz\u0151 rendszern\u00e9l. Min\u00e9l nagyobb a d\u00f6nt\u00e9si hat\u00e1s, ann\u00e1l er\u0151sebb bizony\u00edt\u00e9kra van sz\u00fcks\u00e9g.<\/p>\n\n\n\n Az audit\u00e1lhat\u00f3s\u00e1g nem azt jelenti, hogy az auditor \u00e1tveszi a fejleszt\u0151, adattud\u00f3s vagy \u00fczleti d\u00f6nt\u00e9shoz\u00f3 szerep\u00e9t. A c\u00e9l nem minden k\u00e9plet, k\u00f3dsor vagy modellparam\u00e9ter \u00fajrasz\u00e1mol\u00e1sa. Az audit\u00e1lhat\u00f3s\u00e1g l\u00e9nyege az, hogy a szervezet k\u00e9pes legyen bemutatni: az AI-rendszer c\u00e9lj\u00e1t, kock\u00e1zatait, kontrolljait, m\u0171k\u00f6d\u00e9s\u00e9t \u00e9s v\u00e1ltoz\u00e1sait dokument\u00e1ltan kezeli.<\/p>\n\n\n\n Ez a k\u00fcl\u00f6nbs\u00e9g alapvet\u0151. Az auditor nem felt\u00e9tlen\u00fcl azt k\u00e9rdezi el\u0151sz\u00f6r, hogy a modell matematikailag t\u00f6k\u00e9letes-e. Ink\u00e1bb azt vizsg\u00e1lja, hogy a szervezet bizony\u00edthat\u00f3an uralja-e az AI-m\u0171k\u00f6d\u00e9st<\/strong>, \u00e9s rendelkezik-e megfelel\u0151 d\u00f6nt\u00e9si, kock\u00e1zatkezel\u00e9si \u00e9s ellen\u0151rz\u00e9si nyomvonallal. Ha nincs nyomvonal, akkor a felel\u0151s m\u0171k\u00f6d\u00e9s csak \u00e1ll\u00edt\u00e1s marad.<\/p>\n\n\n\n Az audit\u00e1lhat\u00f3s\u00e1g bizony\u00edt\u00e9kai t\u00f6bb r\u00e9tegb\u0151l \u00e1llnak. Az els\u0151 r\u00e9teg a c\u00e9l \u00e9s hat\u00f3k\u00f6r. R\u00f6gz\u00edteni kell, mire haszn\u00e1lj\u00e1k az AI-rendszert, mire nem haszn\u00e1lhat\u00f3, milyen folyamatba illeszkedik, kik a felhaszn\u00e1l\u00f3k, \u00e9s milyen d\u00f6nt\u00e9si hat\u00e1sa van. Ha a c\u00e9lle\u00edr\u00e1s hi\u00e1nyos, k\u00e9s\u0151bb neh\u00e9z meg\u00e1llap\u00edtani, hogy a rendszer a rendeltet\u00e9s\u00e9nek megfelel\u0151en m\u0171k\u00f6dik-e.<\/p>\n\n\n\n A m\u00e1sodik r\u00e9teg az adatbizony\u00edt\u00e9k. Ide tartozik az adatforr\u00e1sok le\u00edr\u00e1sa, az adatmin\u0151s\u00e9gi vizsg\u00e1lat, a tan\u00edt\u00f3-, valid\u00e1ci\u00f3s \u00e9s m\u0171k\u00f6d\u00e9si adatok elk\u00fcl\u00f6n\u00edt\u00e9se, valamint az adatkezel\u00e9si jogszer\u0171s\u00e9g igazol\u00e1sa. Gebru \u00e9s munkat\u00e1rsai a Datasheets for Datasets megk\u00f6zel\u00edt\u00e9sben \u00e9ppen azt hangs\u00falyozz\u00e1k, hogy az adatk\u00e9szletek motiv\u00e1ci\u00f3j\u00e1nak, \u00f6sszet\u00e9tel\u00e9nek, gy\u0171jt\u00e9si m\u00f3dj\u00e1nak, aj\u00e1nlott haszn\u00e1lat\u00e1nak \u00e9s korl\u00e1tainak dokument\u00e1l\u00e1sa jav\u00edtja az \u00e1tl\u00e1that\u00f3s\u00e1got \u00e9s az elsz\u00e1moltathat\u00f3s\u00e1got (Gebru et al., 2021).<\/p>\n\n\n\n A harmadik r\u00e9teg a modell- \u00e9s teljes\u00edtm\u00e9nybizony\u00edt\u00e9k. Ide tartozik a modellverzi\u00f3, a valid\u00e1l\u00e1si terv, a teszteredm\u00e9ny, a hibaminta-elemz\u00e9s, a teljes\u00edtm\u00e9nyk\u00fcsz\u00f6b, a korl\u00e1tok le\u00edr\u00e1sa \u00e9s a felhaszn\u00e1l\u00e1si felt\u00e9telek r\u00f6gz\u00edt\u00e9se. Ezen a ponton a teszteredm\u00e9ny csak kontextussal \u00e9rtelmezhet\u0151<\/strong>, mert egy pontoss\u00e1gi mutat\u00f3 \u00f6nmag\u00e1ban nem mondja meg, milyen adaton, milyen c\u00e9lra \u00e9s milyen kock\u00e1zat mellett m\u00e9rt\u00e9k.<\/p>\n\n\n\n A negyedik r\u00e9teg a m\u0171k\u00f6d\u00e9si bizony\u00edt\u00e9k. Egy AI-rendszer \u00e9les k\u00f6rnyezetben nem statikus. Napl\u00f3zni kell a m\u0171k\u00f6d\u00e9st, figyelni kell a hib\u00e1kat, dokument\u00e1lni kell az incidenseket, \u00e9s nyomon kell k\u00f6vetni a felhaszn\u00e1l\u00f3i visszajelz\u00e9seket. Ha a rendszer kimenete d\u00f6nt\u00e9st\u00e1mogat\u00e1sban jelenik meg, akkor azt is vil\u00e1gosan r\u00f6gz\u00edteni kell, mikor \u00e9s hogyan t\u00f6rt\u00e9nik emberi fel\u00fclvizsg\u00e1lat.<\/p>\n\n\n\n Az \u00f6t\u00f6dik r\u00e9teg a v\u00e1ltoz\u00e1sbizony\u00edt\u00e9k. Modellfriss\u00edt\u00e9s, adatforr\u00e1s-v\u00e1ltoz\u00e1s, \u00faj \u00fczleti c\u00e9l, \u00faj felhaszn\u00e1l\u00f3i k\u00f6r, besz\u00e1ll\u00edt\u00f3i m\u00f3dos\u00edt\u00e1s vagy szab\u00e1lyoz\u00e1si v\u00e1ltoz\u00e1s mind \u00e9rintheti a megb\u00edzhat\u00f3s\u00e1got. Ilyenkor a v\u00e1ltoz\u00e1snapl\u00f3 az audit egyik legfontosabb bizony\u00edt\u00e9ka<\/strong>, mert megmutatja, hogy a szervezet \u00e9szrevette, \u00e9rt\u00e9kelte \u00e9s j\u00f3v\u00e1hagyta-e a relev\u00e1ns m\u00f3dos\u00edt\u00e1sokat.<\/p>\n\n\n\n Az EU AI Act magas kock\u00e1zat\u00fa rendszerekre vonatkoz\u00f3 logik\u00e1ja is a dokument\u00e1ci\u00f3, napl\u00f3z\u00e1s, \u00e1tl\u00e1that\u00f3s\u00e1g, emberi fel\u00fcgyelet, pontoss\u00e1g, robusztuss\u00e1g \u00e9s kiberbiztons\u00e1g jelent\u0151s\u00e9g\u00e9t hangs\u00falyozza (European Parliament & Council of the European Union, 2024). B\u00e1r nem minden v\u00e1llalati AI-haszn\u00e1lati eset min\u0151s\u00fcl magas kock\u00e1zat\u00fanak, a gondolkod\u00e1sm\u00f3d hasznos: min\u00e9l nagyobb a hat\u00e1s, ann\u00e1l er\u0151sebb bizony\u00edt\u00e9k \u00e9s kontroll kell.<\/p>\n\n\n\n A bizony\u00edt\u00e9kok rendszerez\u00e9s\u00e9t az al\u00e1bbi t\u00e1bl\u00e1zat seg\u00edtheti:<\/p>\n\n\n\n Bizony\u00edt\u00e9kt\u00edpus<\/p>\n\n\n\n Mit igazol?<\/p>\n\n\n\n Tipikus dokumentum vagy adat<\/p>\n\n\n\n C\u00e9lle\u00edr\u00e1s<\/p>\n\n\n\n mi\u00e9rt l\u00e9tezik a rendszer<\/p>\n\n\n\n haszn\u00e1lati eset, \u00fczleti c\u00e9l, hat\u00f3k\u00f6r<\/p>\n\n\n\n Adatforr\u00e1s-le\u00edr\u00e1s<\/p>\n\n\n\n mib\u0151l dolgozik a rendszer<\/p>\n\n\n\n adatnyilv\u00e1ntart\u00e1s, adatlap, adat\u00e1raml\u00e1si t\u00e9rk\u00e9p<\/p>\n\n\n\n Adatmin\u0151s\u00e9gi vizsg\u00e1lat<\/p>\n\n\n\n alkalmas-e az adat<\/p>\n\n\n\n min\u0151s\u00e9gi riport, hi\u00e1nyoss\u00e1gelemz\u00e9s<\/p>\n\n\n\n Valid\u00e1l\u00e1si eredm\u00e9ny<\/p>\n\n\n\n hogyan teljes\u00edt a modell<\/p>\n\n\n\n tesztjegyz\u0151k\u00f6nyv, hibaminta-elemz\u00e9s<\/p>\n\n\n\n Korl\u00e1tle\u00edr\u00e1s<\/p>\n\n\n\n mire nem alkalmas<\/p>\n\n\n\n haszn\u00e1lati felt\u00e9telek, tiltott haszn\u00e1latok<\/p>\n\n\n\n Monitoringadat<\/p>\n\n\n\n hogyan m\u0171k\u00f6dik \u00e9lesben<\/p>\n\n\n\n napl\u00f3k, hibaar\u00e1ny, driftjelz\u00e9s<\/p>\n\n\n\n Incidensnyilv\u00e1ntart\u00e1s<\/p>\n\n\n\n hogyan kezelik a hib\u00e1t<\/p>\n\n\n\n incidensriport, korrekci\u00f3s int\u00e9zked\u00e9s<\/p>\n\n\n\n V\u00e1ltoz\u00e1snapl\u00f3<\/p>\n\n\n\n mi m\u00f3dosult \u00e9s mi\u00e9rt<\/p>\n\n\n\n verzi\u00f3t\u00f6rt\u00e9net, j\u00f3v\u00e1hagy\u00e1si d\u00f6nt\u00e9s<\/p>\n\n\n\n Emberi fel\u00fcgyelet<\/p>\n\n\n\n ki d\u00f6nt v\u00e9g\u00fcl<\/p>\n\n\n\n fel\u00fclvizsg\u00e1lati szab\u00e1ly, d\u00f6nt\u00e9si napl\u00f3<\/p>\n\n\n\n Vezet\u0151i j\u00f3v\u00e1hagy\u00e1s<\/p>\n\n\n\n elfogadt\u00e1k-e a maradv\u00e1nykock\u00e1zatot<\/p>\n\n\n\n j\u00f3v\u00e1hagy\u00e1si jegyz\u0151k\u00f6nyv<\/p>\n\n\n\n A t\u00e1bl\u00e1zatb\u00f3l l\u00e1that\u00f3, hogy az audit\u00e1lhat\u00f3s\u00e1g nem egyetlen dokumentumon m\u00falik. A bizony\u00edt\u00e9koknak egym\u00e1sra kell mutatniuk. Ha a c\u00e9lle\u00edr\u00e1s egyf\u00e9le haszn\u00e1latot enged, de a napl\u00f3k m\u00e1s felhaszn\u00e1l\u00e1si mint\u00e1t mutatnak, az auditk\u00e9rd\u00e9s. Ha a valid\u00e1l\u00e1s egy r\u00e9gi adatforr\u00e1son t\u00f6rt\u00e9nt, de az \u00e9les rendszer m\u00e1r m\u00e1s adattal m\u0171k\u00f6dik, az szint\u00e9n kock\u00e1zat.<\/p>\n\n\n\n A Model Cards for Model Reporting megk\u00f6zel\u00edt\u00e9s az\u00e9rt relev\u00e1ns, mert a modell dokument\u00e1l\u00e1s\u00e1t nem csup\u00e1n technikai param\u00e9terekre sz\u0171k\u00edti, hanem kit\u00e9r a tervezett felhaszn\u00e1l\u00e1sra, teljes\u00edtm\u00e9nyre, \u00e9rt\u00e9kel\u00e9si adatokra, korl\u00e1tokra \u00e9s etikai szempontokra is (Mitchell et al., 2019). Ebben a modellk\u00e1rtya hidat teremt technika \u00e9s ir\u00e1ny\u00edt\u00e1s k\u00f6z\u00f6tt<\/strong>, mert a technikai eredm\u00e9nyt \u00fczleti \u00e9s felel\u0151ss\u00e9gi kontextusban teszi \u00e9rtelmezhet\u0151v\u00e9.<\/p>\n\n\n\n Az audit\u00e1lhat\u00f3s\u00e1g gyakorlati haszna kett\u0151s. Egyr\u00e9szt t\u00e1mogatja a megfelel\u0151s\u00e9get, mert a szervezet bizony\u00edtani tudja, hogy nem ad hoc m\u00f3don m\u0171k\u00f6dteti az AI-rendszert. M\u00e1sr\u00e9szt jav\u00edtja a tanul\u00e1si \u00e9s jav\u00edt\u00e1si k\u00e9pess\u00e9get, mert a dokument\u00e1lt hib\u00e1kb\u00f3l, v\u00e1ltoz\u00e1sokb\u00f3l \u00e9s d\u00f6nt\u00e9sekb\u0151l visszakereshet\u0151, mit kell m\u00f3dos\u00edtani.<\/p>\n\n\n\n A bizony\u00edt\u00e9kok hi\u00e1nya ezzel szemben \u00f6n\u00e1ll\u00f3 kock\u00e1zat. Lehet, hogy a rendszer t\u00e9nylegesen j\u00f3l m\u0171k\u00f6dik, de ha ezt nem lehet igazolni, akkor megfelel\u0151s\u00e9gi, jogi, vezet\u0151i \u00e9s reput\u00e1ci\u00f3s szempontb\u00f3l gyenge helyzet alakul ki. Ebben a bizony\u00edt\u00e9khi\u00e1ny a felel\u0151ss\u00e9g hi\u00e1ny\u00e1nak l\u00e1tszat\u00e1t kelti<\/strong>, m\u00e9g akkor is, ha a m\u0171k\u00f6d\u00e9s m\u00f6g\u00f6tt j\u00f3 sz\u00e1nd\u00e9k \u00e1ll.<\/p>\n\n\n\n A modelltesztel\u00e9s \u00e9s valid\u00e1l\u00e1s az AI-rendszer megb\u00edzhat\u00f3s\u00e1g\u00e1nak egyik legfontosabb bizony\u00edt\u00e9ka. M\u00e9gsem mindegy, hogyan t\u00f6rt\u00e9nik. Egy egyszer\u0171, \u00e1tlagos pontoss\u00e1got mutat\u00f3 eredm\u00e9ny kev\u00e9s lehet, ha a rendszer magas hat\u00e1s\u00fa d\u00f6nt\u00e9st t\u00e1mogat, k\u00fcl\u00f6nb\u00f6z\u0151 felhaszn\u00e1l\u00f3i csoportokat \u00e9rint, vagy olyan k\u00f6rnyezetben m\u0171k\u00f6dik, ahol a hib\u00e1k s\u00falyos k\u00f6vetkezm\u00e9nyekkel j\u00e1rhatnak.<\/p>\n\n\n\n A valid\u00e1l\u00e1s c\u00e9lja nem az, hogy a modellr\u0151l kimondja: \u201ej\u00f3\u201d. A c\u00e9l ink\u00e1bb az, hogy megmutassa, milyen felt\u00e9telek mellett, milyen adatokon, milyen hibahat\u00e1rral \u00e9s milyen korl\u00e1tokkal haszn\u00e1lhat\u00f3. Ebben a valid\u00e1l\u00e1s a felel\u0151s haszn\u00e1lat felt\u00e9telrendszer\u00e9t t\u00e1rja fel<\/strong>, nem puszt\u00e1n a modellfejleszt\u00e9s lez\u00e1r\u00f3 l\u00e9p\u00e9se.<\/p>\n\n\n\n A teljes\u00edtm\u00e9nymutat\u00f3kat a haszn\u00e1lati c\u00e9lhoz kell igaz\u00edtani. Egy el\u0151rejelz\u0151 modelln\u00e9l fontos lehet az \u00e1tlagos elt\u00e9r\u00e9s, a hibahat\u00e1r vagy a stabilit\u00e1s. Egy oszt\u00e1lyoz\u00f3 rendszern\u00e9l m\u00e1s mutat\u00f3k ker\u00fclhetnek el\u0151t\u00e9rbe: pontoss\u00e1g, precizit\u00e1s, visszah\u00edv\u00e1s, hamis pozit\u00edv \u00e9s hamis negat\u00edv ar\u00e1ny. Egy d\u00f6nt\u00e9st\u00e1mogat\u00f3 rendszerben pedig az is l\u00e9nyeges, milyen \u00fczleti vagy \u00e9rintetti k\u00f6vetkezm\u00e9nye van a k\u00fcl\u00f6nb\u00f6z\u0151 hib\u00e1knak.<\/p>\n\n\n\n A hamis pozit\u00edv \u00e9s hamis negat\u00edv hib\u00e1k gyakran elt\u00e9r\u0151 s\u00faly\u00faak. Egy kock\u00e1zati el\u0151rejelz\u0151 modelln\u00e9l p\u00e9ld\u00e1ul m\u00e1s k\u00f6vetkezm\u00e9nye van annak, ha a rendszer t\u00e9vesen magas kock\u00e1zatot jelez, mint annak, ha nem \u00e9szlel val\u00f3di kock\u00e1zatot. Ilyenkor nem minden hiba azonos szervezeti s\u00faly\u00fa<\/strong>, ez\u00e9rt a valid\u00e1l\u00e1snak nemcsak statisztikai, hanem d\u00f6nt\u00e9si n\u00e9z\u0151pontot is tartalmaznia kell.<\/p>\n\n\n\n A valid\u00e1l\u00e1s sor\u00e1n k\u00fcl\u00f6n figyelmet kell ford\u00edtani az adatcsoportokra \u00e9s m\u0171k\u00f6d\u00e9si helyzetekre. Ha a modell \u00e1tlagosan j\u00f3l teljes\u00edt, de bizonyos term\u00e9kkateg\u00f3ri\u00e1kban, \u00fcgyf\u00e9lt\u00edpusokn\u00e1l, r\u00e9gi\u00f3kban vagy id\u0151szakokban gyeng\u00e9n m\u0171k\u00f6dik, akkor a kock\u00e1zat rejtve maradhat. A vezet\u0151i d\u00f6nt\u00e9shez ez\u00e9rt nem el\u00e9g az \u00e1tlag; sz\u00fcks\u00e9g van hibaminta-elemz\u00e9sre is.<\/p>\n\n\n\n A tesztadat reprezentativit\u00e1sa kritikus. Ha a valid\u00e1l\u00e1si adat nem t\u00fckr\u00f6zi az \u00e9les m\u0171k\u00f6d\u00e9si k\u00f6rnyezetet, a teszt hamis biztons\u00e1g\u00e9rzetet adhat. Ez k\u00fcl\u00f6n\u00f6sen fontos akkor, amikor az AI-rendszer \u00faj \u00fczlet\u00e1gban, \u00faj \u00fcgyf\u00e9lk\u00f6rben vagy \u00faj adatcsatorn\u00e1n indul. Ilyenkor a rossz tesztadat j\u00f3 eredm\u00e9nyt is f\u00e9lrevezet\u0151v\u00e9 tehet<\/strong>, mert nem azt bizony\u00edtja, amit a szervezet val\u00f3j\u00e1ban tudni szeretne.<\/p>\n\n\n\n A teljes\u00edtm\u00e9nym\u00e9r\u00e9snek a modell korl\u00e1taira is ki kell t\u00e9rnie. Egy felel\u0151sen dokument\u00e1lt AI-rendszer nemcsak azt mondja meg, hol m\u0171k\u00f6dik j\u00f3l, hanem azt is, hol nem. Ilyen korl\u00e1t lehet a sz\u0171k adatk\u00f6r, a ritka esem\u00e9nyek gyenge felismer\u00e9se, az \u00faj helyzetek bizonytalans\u00e1ga, a nyelvi vagy kontextusbeli f\u00e9lre\u00e9rt\u00e9s, illetve az adatmin\u0151s\u00e9gt\u0151l val\u00f3 er\u0151s f\u00fcgg\u00e9s.<\/p>\n\n\n\n Az el\u0151rejelz\u0151 modellek eset\u00e9ben k\u00fcl\u00f6n\u00f6sen fontos a hibahat\u00e1r \u00e9s a bizonytalans\u00e1g kommunik\u00e1l\u00e1sa. Ha egy rendszer v\u00e1rhat\u00f3 keresletet, \u00fcgyf\u00e9llemorzsol\u00f3d\u00e1st vagy m\u0171k\u00f6d\u00e9si kock\u00e1zatot jelez el\u0151re, a felhaszn\u00e1l\u00f3nak nemcsak az eredm\u00e9nyt kell l\u00e1tnia, hanem annak bizonytalans\u00e1g\u00e1t is. Ebben a bizonytalans\u00e1g elrejt\u00e9se d\u00f6nt\u00e9si kock\u00e1zat<\/strong>, mert t\u00falzott bizalmat teremthet a kimenettel szemben.<\/p>\n\n\n\n A tesztel\u00e9s \u00e9s valid\u00e1l\u00e1s eredm\u00e9nyeit nem el\u00e9g technikai mell\u00e9kletk\u00e9nt meg\u0151rizni. A felhaszn\u00e1l\u00f3i, vezet\u0151i \u00e9s audit\u00e1l\u00e1si c\u00e9l\u00fa magyar\u00e1zat elt\u00e9r\u0151 lehet. A felhaszn\u00e1l\u00f3nak azt kell \u00e9rtenie, mikor t\u00e1maszkodhat a kimenetre \u00e9s mikor kell fel\u00fclvizsg\u00e1lnia. A vezet\u0151nek azt kell l\u00e1tnia, hogy a rendszer milyen kock\u00e1zat mellett haszn\u00e1lhat\u00f3. Az auditornak pedig azt, hogy a tesztel\u00e9s tervezett, dokument\u00e1lt \u00e9s j\u00f3v\u00e1hagyott m\u00f3don t\u00f6rt\u00e9nt.<\/p>\n\n\n\n A valid\u00e1l\u00e1s gyakorlati bizony\u00edt\u00e9kai k\u00f6z\u00e9 tartozhatnak:<\/p>\n\n\n\n valid\u00e1l\u00e1si terv;<\/p>\n\n\n\n tesztadat le\u00edr\u00e1sa;<\/p>\n\n\n\n teljes\u00edtm\u00e9nymutat\u00f3k indokl\u00e1sa;<\/p>\n\n\n\n alapmodellhez vagy kor\u00e1bbi verzi\u00f3hoz viszony\u00edtott \u00f6sszehasonl\u00edt\u00e1s;<\/p>\n\n\n\n hibaminta-elemz\u00e9s;<\/p>\n\n\n\n kritikus hib\u00e1k kezel\u00e9si terve;<\/p>\n\n\n\n elfogad\u00e1si k\u00fcsz\u00f6b\u00e9rt\u00e9kek;<\/p>\n\n\n\n felhaszn\u00e1l\u00e1si korl\u00e1tok;<\/p>\n\n\n\n emberi fel\u00fclvizsg\u00e1lati szab\u00e1lyok;<\/p>\n\n\n\n vezet\u0151i elfogad\u00e1si d\u00f6nt\u00e9s.<\/p>\n\n\n\n Ez a lista az\u00e9rt hasznos, mert megakad\u00e1lyozza, hogy a valid\u00e1l\u00e1s kiz\u00e1r\u00f3lag technikai eredm\u00e9nyk\u00e9nt jelenjen meg. A szervezetnek azt is dokument\u00e1lnia kell, hogy az eredm\u00e9ny alapj\u00e1n milyen m\u0171k\u00f6d\u00e9si d\u00f6nt\u00e9st hozott. Ha a modell teljes\u00edtm\u00e9nye elfogadhat\u00f3, milyen felt\u00e9telekkel az? Ha nem elfogadhat\u00f3, milyen korrekci\u00f3 sz\u00fcks\u00e9ges?<\/p>\n\n\n\n A valid\u00e1l\u00e1s nem egyszeri esem\u00e9ny. \u00c9les m\u0171k\u00f6d\u00e9s k\u00f6zben a modell teljes\u00edtm\u00e9nye romolhat, az adatok eltol\u00f3dhatnak, a felhaszn\u00e1l\u00e1si c\u00e9l b\u0151v\u00fclhet, vagy \u00faj hibamint\u00e1k jelenhetnek meg. Ilyenkor az \u00fajratesztel\u00e9s a megb\u00edzhat\u00f3s\u00e1g fenntart\u00e1s\u00e1nak eszk\u00f6ze<\/strong>, nem pedig rendk\u00edv\u00fcli beavatkoz\u00e1s.<\/p>\n\n\n\n A monitoringnak ez\u00e9rt kapcsol\u00f3dnia kell a valid\u00e1l\u00e1shoz. Amit a szervezet a bevezet\u00e9skor teljes\u00edtm\u00e9nykrit\u00e9riumk\u00e9nt meghat\u00e1rozott, azt k\u00e9s\u0151bb figyelni is kell. Ha p\u00e9ld\u00e1ul a hibaar\u00e1ny meghalad egy k\u00fcsz\u00f6b\u00f6t, ha \u00faj adatforr\u00e1s ker\u00fcl be, vagy ha a felhaszn\u00e1l\u00f3k rendszeresen fel\u00fclb\u00edr\u00e1lj\u00e1k a kimenetet, akkor \u00fajra\u00e9rt\u00e9kel\u00e9si esem\u00e9ny keletkezik.<\/p>\n\n\n\n A megb\u00edzhat\u00f3 AI-rendszer teh\u00e1t nem az\u00e9rt megb\u00edzhat\u00f3bb, mert hib\u00e1tlan. Az\u00e9rt megb\u00edzhat\u00f3bb, mert a szervezet tudja, hogyan m\u00e9rje, mikor k\u00e9telkedjen benne, mikor vizsg\u00e1lja fel\u00fcl, \u00e9s hogyan dokument\u00e1lja a jav\u00edt\u00e1sokat. Ez a szeml\u00e9let teszi a tesztel\u00e9st ir\u00e1ny\u00edt\u00e1si eszk\u00f6zz\u00e9.<\/p>\n\n\n\n Az AI-rendszerek egyik legnehezebben kezelhet\u0151 kock\u00e1zata a v\u00e1ltoz\u00e1s. Egy hagyom\u00e1nyos informatikai rendszerben is fontos a verzi\u00f3kezel\u00e9s, de AI eset\u00e9ben a v\u00e1ltoz\u00e1s nemcsak a k\u00f3dot \u00e9rintheti. V\u00e1ltozhat a modell, az adatforr\u00e1s, az adatel\u0151k\u00e9sz\u00edt\u00e9s, a prompt, a k\u00fcsz\u00f6b\u00e9rt\u00e9k, az integr\u00e1ci\u00f3, a felhaszn\u00e1l\u00e1si c\u00e9l, a besz\u00e1ll\u00edt\u00f3i szolg\u00e1ltat\u00e1s vagy az \u00fczleti folyamat.<\/p>\n\n\n\n A dokument\u00e1latlan v\u00e1ltoztat\u00e1s az\u00e9rt vesz\u00e9lyes, mert megszak\u00edtja a bizony\u00edt\u00e9kl\u00e1ncot. Ha a szervezet nem tudja megmondani, mikor \u00e9s mi v\u00e1ltozott, akkor azt sem tudja biztosan meg\u00edt\u00e9lni, hogy a kor\u00e1bbi valid\u00e1l\u00e1si eredm\u00e9ny m\u00e9g \u00e9rv\u00e9nyes-e. Ebben a v\u00e1ltoz\u00e1s dokument\u00e1l\u00e1sa a megb\u00edzhat\u00f3s\u00e1g felt\u00e9tele<\/strong>, nem adminisztrat\u00edv mell\u00e9kfeladat.<\/p>\n\n\n\n Egy AI-alap\u00fa el\u0151rejelz\u0151 modelln\u00e9l p\u00e9ld\u00e1ul m\u00e1r az adatforr\u00e1s m\u00f3dos\u00edt\u00e1sa is kock\u00e1zatot hozhat. Ha \u00faj \u00fcgyf\u00e9lcsoport adatai ker\u00fclnek be, ha m\u00e1s id\u0151szakb\u00f3l sz\u00e1rmaz\u00f3 adatokat haszn\u00e1lnak, vagy ha m\u00f3dosul az adattiszt\u00edt\u00e1s szab\u00e1lya, a modell teljes\u00edtm\u00e9nye megv\u00e1ltozhat. A v\u00e1ltoz\u00e1s nem felt\u00e9tlen\u00fcl rossz, de \u00e9rt\u00e9kelni kell.<\/p>\n\n\n\n A modellverzi\u00f3 friss\u00edt\u00e9se szint\u00e9n kritikus. Egy \u00faj verzi\u00f3 lehet pontosabb az \u00e1tlagos teszten, de rosszabb lehet bizonyos peremhelyzetekben. Ha a szervezet csak az \u00faj eredm\u00e9nyt l\u00e1tja, de nem hasonl\u00edtja \u00f6ssze a kor\u00e1bbi verzi\u00f3val, akkor a fejleszt\u00e9s l\u00e1tsz\u00f3lagos javul\u00e1st is takarhat<\/strong>, mik\u00f6zben egyes kock\u00e1zatok n\u00f6vekednek.<\/p>\n\n\n\n A promptok \u00e9s konfigur\u00e1ci\u00f3k v\u00e1ltoz\u00e1sa k\u00fcl\u00f6n\u00f6sen a generat\u00edv vagy nyelvi AI-megold\u00e1sokn\u00e1l fontos. Sok szervezet hajlamos ezeket kisebb m\u0171k\u00f6d\u00e9si finom\u00edt\u00e1snak tekinteni, pedig a kimenet min\u0151s\u00e9ge, hangneme, pontoss\u00e1ga \u00e9s kock\u00e1zati profilja jelent\u0151sen v\u00e1ltozhat. Ha nincs promptverzi\u00f3z\u00e1s vagy konfigur\u00e1ci\u00f3s nyomvonal, az audit\u00e1lhat\u00f3s\u00e1g s\u00e9r\u00fcl.<\/p>\n\n\n\n A besz\u00e1ll\u00edt\u00f3i v\u00e1ltoztat\u00e1sok k\u00fcl\u00f6n kock\u00e1zati r\u00e9teget jelentenek. K\u00fcls\u0151 AI-szolg\u00e1ltat\u00e1s eset\u00e9n a szervezet nem mindig l\u00e1tja r\u00e9szletesen, hogy a szolg\u00e1ltat\u00f3 milyen modellfriss\u00edt\u00e9st, biztons\u00e1gi m\u00f3dos\u00edt\u00e1st vagy adatkezel\u00e9si v\u00e1ltoz\u00e1st hajtott v\u00e9gre. Ilyenkor a besz\u00e1ll\u00edt\u00f3i v\u00e1ltoz\u00e1s is bels\u0151 kock\u00e1zatt\u00e1 v\u00e1lik<\/strong>, mert a szervezet saj\u00e1t folyamataiban haszn\u00e1lja a kimenetet.<\/p>\n\n\n\n A v\u00e1ltoz\u00e1skezel\u00e9snek legal\u00e1bb n\u00e9gy k\u00e9rd\u00e9st kell megv\u00e1laszolnia:<\/p>\n\n\n\n Mi v\u00e1ltozott?<\/p>\n\n\n\n Mi\u00e9rt v\u00e1ltozott?<\/p>\n\n\n\n Milyen kock\u00e1zatot \u00e9rint?<\/p>\n\n\n\n Milyen bizony\u00edt\u00e9k t\u00e1masztja al\u00e1, hogy a v\u00e1ltoz\u00e1s elfogadhat\u00f3?<\/p>\n\n\n\n Ezek egyszer\u0171 k\u00e9rd\u00e9seknek t\u0171nnek, de AI-rendszerekn\u00e9l gyakran t\u00f6bb szerepl\u0151t \u00e9rintenek. Az \u00fczleti ter\u00fclet \u00faj funkci\u00f3t k\u00e9r, az IT m\u00f3dos\u00edtja az integr\u00e1ci\u00f3t, az adatgazda \u00faj adatmez\u0151t ad hozz\u00e1, a besz\u00e1ll\u00edt\u00f3 friss\u00edti a modellt, a compliance pedig csak k\u00e9s\u0151n \u00e9rtes\u00fcl. Az AIMS feladata, hogy ezeket a v\u00e1ltoz\u00e1sokat k\u00f6z\u00f6s ir\u00e1ny\u00edt\u00e1si folyamatba terelje.<\/p>\n\n\n\n A dokument\u00e1latlan v\u00e1ltoztat\u00e1s nemcsak auditprobl\u00e9ma. \u00dczleti \u00e9s jogi k\u00f6vetkezm\u00e9nye is lehet. Ha egy modell m\u00f3dos\u00edt\u00e1sa ut\u00e1n romlik a teljes\u00edtm\u00e9ny, de nincs v\u00e1ltoz\u00e1snapl\u00f3, neh\u00e9z visszakeresni az okot. Ha egy \u00e9rintett panaszt tesz, de nem rekonstru\u00e1lhat\u00f3, melyik modellverzi\u00f3 milyen adat alapj\u00e1n adott kimenetet, a szervezet gyenge bizony\u00edt\u00e1si helyzetbe ker\u00fcl.<\/p>\n\n\n\n A v\u00e1ltoz\u00e1skezel\u00e9s ez\u00e9rt a hibakezel\u00e9s el\u0151felt\u00e9tele is. Egy incidens ut\u00e1n a szervezetnek tudnia kell, hogy a hiba melyik verzi\u00f3hoz, adat\u00e1llapothoz, konfigur\u00e1ci\u00f3hoz vagy haszn\u00e1lati m\u00f3dhoz kapcsol\u00f3dott. Ebben a napl\u00f3z\u00e1s a jav\u00edt\u00e1s el\u0151felt\u00e9tele<\/strong>, mert bizony\u00edt\u00e9k n\u00e9lk\u00fcl a korrekci\u00f3 tal\u00e1lgat\u00e1ss\u00e1 v\u00e1lhat.<\/p>\n\n\n\n A v\u00e1ltoz\u00e1snapl\u00f3 nem felt\u00e9tlen\u00fcl bonyolult dokumentum, de tartalmaznia kell a l\u00e9nyegi elemeket: d\u00e1tum, v\u00e1ltoz\u00e1s t\u00edpusa, \u00e9rintett rendszer, felel\u0151s, kock\u00e1zati \u00e9rt\u00e9kel\u00e9s, tesztel\u00e9si eredm\u00e9ny, j\u00f3v\u00e1hagy\u00e1s, vissza\u00e1ll\u00edt\u00e1si lehet\u0151s\u00e9g \u00e9s kapcsol\u00f3d\u00f3 incidensek. Magasabb kock\u00e1zat\u00fa rendszerekn\u00e9l r\u00e9szletesebb v\u00e1ltoz\u00e1s\u00e9rt\u00e9kel\u00e9sre \u00e9s vezet\u0151i j\u00f3v\u00e1hagy\u00e1sra van sz\u00fcks\u00e9g.<\/p>\n\n\n\n A bels\u0151 audit sz\u00e1m\u00e1ra a v\u00e1ltoz\u00e1skezel\u00e9s k\u00fcl\u00f6n\u00f6sen j\u00f3 ellen\u0151rz\u00e9si ter\u00fclet. Megmutatja, hogy az AI-rendszer ir\u00e1ny\u00edt\u00e1sa val\u00f3ban m\u0171k\u00f6dik-e \u00e9les k\u00f6rnyezetben. Ha minden v\u00e1ltoz\u00e1s dokument\u00e1lt, \u00e9rt\u00e9kelt \u00e9s j\u00f3v\u00e1hagyott, az er\u0151s bizony\u00edt\u00e9k. Ha a v\u00e1ltoz\u00e1sok inform\u00e1lis \u00fczenetekben, fejleszt\u0151i jegyzetekben vagy besz\u00e1ll\u00edt\u00f3i e-mailekben sz\u00e9tsz\u00f3rva \u00e9lnek, az ir\u00e1ny\u00edt\u00e1s gyenge.<\/p>\n\n\n\n Az AI-rendszerek megb\u00edzhat\u00f3s\u00e1ga teh\u00e1t nem v\u00e1laszthat\u00f3 el a v\u00e1ltoz\u00e1skezel\u00e9st\u0151l. Min\u00e9l \u00f6sszetettebb a rendszer, ann\u00e1l fontosabb, hogy a szervezet ne csak a jelenlegi \u00e1llapotot, hanem az oda vezet\u0151 utat is l\u00e1ssa. A bizony\u00edt\u00e9k nemcsak pillanatfelv\u00e9tel, hanem t\u00f6rt\u00e9net: megmutatja, hogyan alakult, hogyan ellen\u0151rizt\u00e9k, \u00e9s hogyan tartott\u00e1k fenn a felel\u0151s m\u0171k\u00f6d\u00e9st.<\/p>\n\n\n\n Egy AI-alap\u00fa el\u0151rejelz\u0151 modell j\u00f3 p\u00e9lda arra, hogyan lehet a megb\u00edzhat\u00f3s\u00e1got audit\u00e1lhat\u00f3 bizony\u00edt\u00e9kokra bontani. Ilyen modell el\u0151re jelezhet \u00fcgyf\u00e9lig\u00e9nyt, k\u00e9szletsz\u00fcks\u00e9gletet, panaszvolument, lemorzsol\u00f3d\u00e1si kock\u00e1zatot vagy m\u0171k\u00f6d\u00e9si kapacit\u00e1st. A pontos \u00fczleti c\u00e9l elt\u00e9r\u0151 lehet, de az ir\u00e1ny\u00edt\u00e1si k\u00e9rd\u00e9s hasonl\u00f3: hogyan bizony\u00edthat\u00f3, hogy a modell a megfelel\u0151 c\u00e9lra, megfelel\u0151 adatokkal \u00e9s megfelel\u0151 kontrollok mellett m\u0171k\u00f6dik?<\/p>\n\n\n\n Az els\u0151 bizony\u00edt\u00e9k a c\u00e9lle\u00edr\u00e1s. Ennek tartalmaznia kell, milyen \u00fczleti d\u00f6nt\u00e9st t\u00e1mogat a modell, kik haszn\u00e1lj\u00e1k a kimenetet, milyen gyakoris\u00e1ggal, milyen d\u00f6nt\u00e9si s\u00fallyal, \u00e9s mire nem haszn\u00e1lhat\u00f3. Ebben a c\u00e9lle\u00edr\u00e1s a m\u00e9r\u00e9s alapja<\/strong>, mert ha a c\u00e9l hom\u00e1lyos, a teljes\u00edtm\u00e9ny sem \u00e9rtelmezhet\u0151.<\/p>\n\n\n\n A m\u00e1sodik bizony\u00edt\u00e9k az adatforr\u00e1sok dokument\u00e1ci\u00f3ja. R\u00f6gz\u00edteni kell, milyen bels\u0151 vagy k\u00fcls\u0151 adatok ker\u00fclnek be, milyen id\u0151szakot fednek le, ki az adatgazda, milyen min\u0151s\u00e9gi probl\u00e9m\u00e1k ismertek, \u00e9s milyen adatkezel\u00e9si korl\u00e1tok vannak. Ha szem\u00e9lyes adat is \u00e9rintett, az adatv\u00e9delmi \u00e9s jogszer\u0171s\u00e9gi vizsg\u00e1latot is kapcsolni kell a modell dokument\u00e1ci\u00f3j\u00e1hoz.<\/p>\n\n\n\n A harmadik bizony\u00edt\u00e9k a tesztel\u00e9si \u00e9s valid\u00e1l\u00e1si eredm\u00e9ny. Egy el\u0151rejelz\u0151 modelln\u00e9l nem el\u00e9g azt r\u00f6gz\u00edteni, hogy \u201ej\u00f3 pontoss\u00e1g\u00fa\u201d. Meg kell adni a v\u00e1lasztott mutat\u00f3kat, a hibahat\u00e1rt, a tesztid\u0151szakot, a tesztadat jellemz\u0151it \u00e9s a kritikus hib\u00e1k \u00e9rtelmez\u00e9s\u00e9t. Ilyenkor a <\/strong>hibahat\u00e1r \u00fczleti d\u00f6nt\u00e9si korl\u00e1t is<\/strong>, mert meghat\u00e1rozza, mekkora bizonytalans\u00e1g mellett haszn\u00e1lhat\u00f3 a kimenet.<\/p>\n\n\n\n A negyedik bizony\u00edt\u00e9k a korl\u00e1tok \u00e9s kiv\u00e9telek le\u00edr\u00e1sa. Egy el\u0151rejelz\u0151 modell p\u00e9ld\u00e1ul m\u0171k\u00f6dhet j\u00f3l norm\u00e1l \u00fczleti k\u00f6rnyezetben, de gyeng\u00e9n teljes\u00edthet rendk\u00edv\u00fcli esem\u00e9nyekn\u00e9l, \u00faj term\u00e9kekn\u00e9l vagy hirtelen piaci v\u00e1ltoz\u00e1sn\u00e1l. A felhaszn\u00e1l\u00f3nak tudnia kell, mikor kell \u00f3vatosan kezelnie az eredm\u00e9nyt.<\/p>\n\n\n\n Az \u00f6t\u00f6dik bizony\u00edt\u00e9k a monitoringrend. R\u00f6gz\u00edteni kell, milyen gyakran vizsg\u00e1lj\u00e1k a modell teljes\u00edtm\u00e9ny\u00e9t, milyen k\u00fcsz\u00f6b\u00e9rt\u00e9kek mellett indul \u00fajra\u00e9rt\u00e9kel\u00e9s, ki kap \u00e9rtes\u00edt\u00e9st, \u00e9s hogyan kezelik a roml\u00f3 teljes\u00edtm\u00e9nyt. Ebben a monitoring az \u00e9les m\u0171k\u00f6d\u00e9s bizony\u00edt\u00e9ka<\/strong>, mert megmutatja, hogy a szervezet a bevezet\u00e9s ut\u00e1n sem engedi el a rendszert.<\/p>\n\n\n\n Egy el\u0151rejelz\u0151 modell audit\u00e1lhat\u00f3 bizony\u00edt\u00e9klist\u00e1ja \u00edgy n\u00e9zhet ki:<\/p>\n\n\n\n haszn\u00e1lati eset \u00e9s \u00fczleti c\u00e9l le\u00edr\u00e1sa;<\/p>\n\n\n\n \u00e9rintett folyamat \u00e9s d\u00f6nt\u00e9si pont meghat\u00e1roz\u00e1sa;<\/p>\n\n\n\n felhaszn\u00e1l\u00f3i k\u00f6r \u00e9s felel\u0151ss\u00e9gi rend;<\/p>\n\n\n\n adatforr\u00e1sok \u00e9s adatgazd\u00e1k list\u00e1ja;<\/p>\n\n\n\n adatmin\u0151s\u00e9gi vizsg\u00e1lat \u00e9s ismert korl\u00e1tok;<\/p>\n\n\n\n adatkezel\u00e9si jogszer\u0171s\u00e9gi el\u0151sz\u0171r\u00e9s;<\/p>\n\n\n\n modellverzi\u00f3 \u00e9s fejleszt\u00e9si dokument\u00e1ci\u00f3;<\/p>\n\n\n\n valid\u00e1l\u00e1si terv \u00e9s tesztadat-le\u00edr\u00e1s;<\/p>\n\n\n\n teljes\u00edtm\u00e9nymutat\u00f3k \u00e9s hibahat\u00e1rok;<\/p>\n\n\n\n hibaminta-elemz\u00e9s;<\/p>\n\n\n\n felhaszn\u00e1l\u00e1si korl\u00e1tok \u00e9s tiltott haszn\u00e1latok;<\/p>\n\n\n\n emberi fel\u00fclvizsg\u00e1lati szab\u00e1ly;<\/p>\n\n\n\n monitoring- \u00e9s \u00fajra\u00e9rt\u00e9kel\u00e9si rend;<\/p>\n\n\n\n incidens- \u00e9s panaszkezel\u00e9si kapcsolat;<\/p>\n\n\n\n v\u00e1ltoz\u00e1snapl\u00f3;<\/p>\n\n\n\n vezet\u0151i j\u00f3v\u00e1hagy\u00e1s \u00e9s maradv\u00e1nykock\u00e1zati d\u00f6nt\u00e9s.<\/p>\n\n\n\n A bizony\u00edt\u00e9klista \u00e9rt\u00e9ke nem abban \u00e1ll, hogy sok dokumentumot termel. Az \u00e9rt\u00e9ke abban van, hogy a szervezet k\u00e9pes \u00f6sszekapcsolni a modell m\u0171k\u00f6d\u00e9s\u00e9t a d\u00f6nt\u00e9si felel\u0151ss\u00e9ggel. Az audit\u00e1lhat\u00f3s\u00e1g nem pap\u00edrmunka, hanem visszak\u00f6vethet\u0151s\u00e9g<\/strong>, amely seg\u00edt meg\u00e9rteni, j\u00f3v\u00e1hagyni, fel\u00fclvizsg\u00e1lni \u00e9s jav\u00edtani az AI-rendszer m\u0171k\u00f6d\u00e9s\u00e9t.<\/p>\n\n\n\n Raji \u00e9s munkat\u00e1rsai az algoritmikus audit\u00e1l\u00e1sr\u00f3l sz\u00f3l\u00f3 munk\u00e1jukban az end-to-end, teljes \u00e9letciklusra kiterjed\u0151 bels\u0151 auditkeret jelent\u0151s\u00e9g\u00e9t emelik ki, ahol az egyes fejleszt\u00e9si \u00e9s m\u0171k\u00f6d\u00e9si szakaszok dokumentumai egy\u00fctt alkotj\u00e1k az elsz\u00e1moltathat\u00f3s\u00e1g alapj\u00e1t (Raji et al., 2020). Ez j\u00f3l illeszkedik az AIMS logik\u00e1j\u00e1hoz: a bizony\u00edt\u00e9k nem a folyamat v\u00e9g\u00e9n keletkezik, hanem a d\u00f6nt\u00e9si pontok ment\u00e9n gy\u0171lik \u00f6ssze.<\/p>\n\n\n\n A bizony\u00edt\u00e9khi\u00e1ny k\u00f6vetkezm\u00e9nyei k\u00fcl\u00f6n\u00f6sen akkor v\u00e1lnak l\u00e1that\u00f3v\u00e1, amikor probl\u00e9ma t\u00f6rt\u00e9nik. Ha a modell hib\u00e1s el\u0151rejelz\u00e9st ad, a vezet\u00e9snek tudnia kell, hogy adatprobl\u00e9ma, modellv\u00e1ltoz\u00e1s, felhaszn\u00e1l\u00f3i f\u00e9lre\u00e9rt\u00e9s vagy k\u00fcls\u0151 k\u00f6rnyezeti v\u00e1ltoz\u00e1s okozta-e. Ha nincs dokument\u00e1ci\u00f3, akkor a szervezet nemcsak magyar\u00e1zni nem tudja a hib\u00e1t, hanem tanulni sem tud bel\u0151le.<\/p>\n\n\n\n Az AI-rendszer megb\u00edzhat\u00f3s\u00e1ga ez\u00e9rt nem deklar\u00e1ci\u00f3 k\u00e9rd\u00e9se. Nem el\u00e9g azt mondani, hogy a modell pontos, korszer\u0171 vagy \u00fczletileg hasznos. A felel\u0151s szervezet k\u00e9pes megmutatni, milyen c\u00e9lra k\u00e9sz\u00fclt, milyen adatokb\u00f3l dolgozik, hogyan tesztelt\u00e9k, milyen korl\u00e1tai vannak, hogyan v\u00e1ltozott, \u00e9s hogyan kezelik a hib\u00e1kat.<\/p>\n\n\n\n A bizony\u00edt\u00e9kok rendszere v\u00e9g\u00fcl a bizalom gyakorlati form\u00e1j\u00e1v\u00e1 v\u00e1lik. Az \u00fcgyf\u00e9l, a munkav\u00e1llal\u00f3, a vezet\u0151, a compliance szak\u00e9rt\u0151 \u00e9s az auditor m\u00e1s-m\u00e1s k\u00e9rd\u00e9st tesz fel, de mind ugyanarra k\u00edv\u00e1ncsi: az AI-rendszer m\u0171k\u00f6d\u00e9se \u00e9rthet\u0151, ellen\u0151rz\u00f6tt \u00e9s felel\u0151sen kezelt-e. A v\u00e1lasz nem a technol\u00f3gia \u00edg\u00e9ret\u00e9ben, hanem a dokument\u00e1lt m\u0171k\u00f6d\u00e9sben tal\u00e1lhat\u00f3.<\/p>\n\n\n\n European Parliament & Council of the European Union. (2024). Regulation (EU) 2024\/1689 laying down harmonised rules on artificial intelligence<\/em>. Official Journal of the European Union. https:\/\/eur-lex.europa.eu\/eli\/reg\/2024\/1689\/oj<\/p>\n\n\n\n Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daum\u00e9 III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64<\/em>(12), 86\u201392. https:\/\/doi.org\/10.1145\/3458723<\/p>\n\n\n\n International Organization for Standardization. (2023). ISO\/IEC 42001:2023: Information technology \u2014 Artificial intelligence \u2014 Management system<\/em>. ISO. https:\/\/www.iso.org\/standard\/42001<\/p>\n\n\n\n Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency<\/em>, 220\u2013229. https:\/\/doi.org\/10.1145\/3287560.3287596<\/p>\n\n\n\n National Institute of Standards and Technology. (2023). Artificial intelligence risk management framework (AI RMF 1.0)<\/em>. U.S. Department of Commerce. https:\/\/doi.org\/10.6028\/NIST.AI.100-1<\/p>\n\n\n\n Raji, I. D., Smart, A., White, R. N., Mitchell, M., Gebru, T., Hutchinson, B., Smith-Loud, J., Theron, D., & Barnes, P. (2020). Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency<\/em>, 33\u201344. https:\/\/doi.org\/10.1145\/3351095.3372873<\/p>\n\n\n\n Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J.-F., & Dennison, D. (2015). Hidden technical debt in machine learning systems. Advances in Neural Information Processing Systems, 28<\/em>, 2503\u20132511. https:\/\/papers.nips.cc\/paper\/5656-hidden-technical-debt-in-machine-learning-systems<\/p>\n","protected":false},"excerpt":{"rendered":" Az AI rendszerek megb\u00edzhat\u00f3s\u00e1ga a szervezet c\u00e9ljainak, adatainak \u00e9s m\u0171k\u00f6d\u00e9si kontrolljainak ismeret\u00e9n alapul. A bizony\u00edthat\u00f3 m\u0171k\u00f6d\u00e9s \u00e9s audit\u00e1lhat\u00f3s\u00e1g kulcsfontoss\u00e1g\u00fa a felel\u0151s AI haszn\u00e1lathoz.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_sas_skip_auto_schedule":false,"_sas_force_auto_schedule":false,"footnotes":""},"categories":[761],"tags":[812,833,804,778,834,78,773,837,836,835,34],"series":[],"class_list":["post-717","post","type-post","status-publish","format-standard","hentry","category-iranyitasi-rendszer-aims","tag-adatminoseg","tag-ai-rendszerek-megbizhatosaga","tag-atlathatosag","tag-auditalhatosag","tag-bizalom","tag-biztonsag","tag-dontestamogatas","tag-felelos-mukodes","tag-hibakezeles","tag-modellfejlesztes","tag-validalas"],"yoast_head":"\nAz audit\u00e1lhat\u00f3s\u00e1g bizony\u00edt\u00e9kokb\u00f3l \u00e9p\u00fcl fel<\/h2>\n\n\n\n
Tesztel\u00e9s, valid\u00e1l\u00e1s \u00e9s teljes\u00edtm\u00e9nym\u00e9r\u00e9s<\/h2>\n\n\n\n
A dokument\u00e1latlan v\u00e1ltoztat\u00e1s rejtett kock\u00e1zata<\/h2>\n\n\n\n
Bizony\u00edt\u00e9klista egy AI-alap\u00fa el\u0151rejelz\u0151 modellhez<\/h2>\n\n\n\n
Felhaszn\u00e1lt szakirodalom<\/h2>\n\n\n\n