Egy AI-rendszer bevezet\u00e9se ut\u00e1n k\u00f6nny\u0171 azt hinni, hogy a legnehezebb r\u00e9sz lez\u00e1rult. A val\u00f3s\u00e1gban ekkor kezd\u0151dik az a szakasz, ahol a szervezetnek folyamatosan bizony\u00edtania kell: az AI nemcsak m\u0171k\u00f6dik, hanem kontroll\u00e1ltan, kock\u00e1zattudatosan \u00e9s tanul\u00e1sra k\u00e9pes ir\u00e1ny\u00edt\u00e1si rendben m\u0171k\u00f6dik.<\/p>\n\n\n\n
A monitoring, m\u00e9r\u00e9s \u00e9s elemz\u00e9s az AI ir\u00e1ny\u00edt\u00e1si rendszer egyik legfontosabb teljes\u00edtm\u00e9ny\u00e9rt\u00e9kel\u00e9si ter\u00fclete. Nem csup\u00e1n technikai mutat\u00f3kr\u00f3l van sz\u00f3, hanem arr\u00f3l, hogy a szervezet k\u00e9pes-e id\u0151ben felismerni a modellroml\u00e1st, a kontrollhi\u00e1nyt, az incidenseket, a megfelel\u0151s\u00e9gi elt\u00e9r\u00e9seket, a felhaszn\u00e1l\u00f3i visszajelz\u00e9sekben megjelen\u0151 mint\u00e1zatokat \u00e9s az \u00e9rintettekre gyakorolt hat\u00e1sokat. Az AI ir\u00e1ny\u00edt\u00e1si rendszer akkor tekinthet\u0151 \u00e9rettnek, ha a m\u00e9r\u00e9si eredm\u00e9nyek nem elszigetelt riportokban maradnak, hanem vezet\u0151i d\u00f6nt\u00e9sekhez, jav\u00edt\u00f3 int\u00e9zked\u00e9sekhez \u00e9s folyamatos fejleszt\u00e9shez vezetnek.<\/p>\n\n\n\n
Az AI monitoring els\u0151 k\u00e9rd\u00e9se nem az, hogy mennyi adatot lehet gy\u0171jteni, hanem az, hogy milyen d\u00f6nt\u00e9st kell t\u00e1mogatnia a m\u00e9r\u00e9snek. Egy AI-rendszer rengeteg technikai jelet termelhet: v\u00e1laszid\u0151t, hibaar\u00e1nyt, pontoss\u00e1got, napl\u00f3bejegyz\u00e9st, felhaszn\u00e1l\u00e1si gyakoris\u00e1got vagy visszautas\u00edtott k\u00e9r\u00e9seket. Ezek \u00f6nmagukban hasznosak lehetnek, de a m\u00e9r\u00e9s \u00e9rt\u00e9k\u00e9t a d\u00f6nt\u00e9si haszn\u00e1lhat\u00f3s\u00e1g adja<\/strong>, nem az adatmennyis\u00e9g.<\/p>\n\n\n\n Az ISO\/IEC 42001 megk\u00f6zel\u00edt\u00e9s\u00e9ben a szervezetnek \u00e9rt\u00e9kelnie kell az AI ir\u00e1ny\u00edt\u00e1si rendszer teljes\u00edtm\u00e9ny\u00e9t \u00e9s hat\u00e9konys\u00e1g\u00e1t, a monitoring \u00e9s m\u00e9r\u00e9s eredm\u00e9nyeit pedig dokument\u00e1lt inform\u00e1ci\u00f3k\u00e9nt kell kezelnie (International Organization for Standardization, 2023a). Ez azt jelenti, hogy a m\u00e9r\u00e9s nem opcion\u00e1lis adminisztr\u00e1ci\u00f3. A szervezetnek bizony\u00edtania kell, hogy tudja, mit figyel, milyen gyakran figyeli, ki \u00e9rt\u00e9keli az eredm\u00e9nyeket, \u00e9s milyen int\u00e9zked\u00e9s k\u00f6vetkezik elt\u00e9r\u00e9s eset\u00e9n.<\/p>\n\n\n\n Az AI-rendszer teljes\u00edtm\u00e9nymutat\u00f3i \u00e9s az AIMS teljes\u00edtm\u00e9nymutat\u00f3i k\u00f6z\u00f6tt vil\u00e1gos k\u00fcl\u00f6nbs\u00e9get kell tenni. Az AI-rendszer mutat\u00f3i azt jelzik, hogy maga a technol\u00f3giai megold\u00e1s hogyan m\u0171k\u00f6dik: pontos-e, stabil-e, el\u00e9rhet\u0151-e, megfelel\u0151 sebess\u00e9ggel ad-e v\u00e1laszt, \u00e9s a v\u00e1rt k\u00f6rnyezetben haszn\u00e1lhat\u00f3-e. Az AIMS mutat\u00f3i viszont azt m\u00e9rik, hogy a szervezet ir\u00e1ny\u00edt\u00e1si rendszere m\u0171k\u00f6dik-e: vannak-e j\u00f3v\u00e1hagyott haszn\u00e1lati esetek, t\u00f6rt\u00e9nik-e kock\u00e1zat\u00e9rt\u00e9kel\u00e9s, betartj\u00e1k-e a szab\u00e1lyokat, kezelik-e az incidenseket, \u00e9s megt\u00f6rt\u00e9nik-e a vezet\u0151i fel\u00fclvizsg\u00e1lat.<\/p>\n\n\n\n Ez a k\u00fcl\u00f6nbs\u00e9g az\u00e9rt kritikus, mert egy technikailag j\u00f3l m\u0171k\u00f6d\u0151 AI-rendszer is lehet ir\u00e1ny\u00edt\u00e1si szempontb\u00f3l kock\u00e1zatos. Ha p\u00e9ld\u00e1ul egy modell pontos, de nem dokument\u00e1lt az adathaszn\u00e1lata, nincs kijel\u00f6lt \u00fczleti tulajdonosa, nincs panaszkezel\u00e9si \u00fatvonala, \u00e9s a felhaszn\u00e1l\u00f3k nem kaptak k\u00e9pz\u00e9st, akkor a szervezet nem tudja bizony\u00edtani a felel\u0151s m\u0171k\u00f6dtet\u00e9st. Ilyenkor a j\u00f3 modell nem azonos a j\u00f3 ir\u00e1ny\u00edt\u00e1ssal<\/strong>, mert a technikai teljes\u00edtm\u00e9ny csak az egyik r\u00e9tege az AI-kock\u00e1zatnak.<\/p>\n\n\n\n A NIST AI Risk Management Framework a kock\u00e1zatkezel\u00e9si tev\u00e9kenys\u00e9geket t\u00f6bbek k\u00f6z\u00f6tt a \u201egovern\u201d, \u201emap\u201d, \u201emeasure\u201d \u00e9s \u201emanage\u201d funkci\u00f3k k\u00f6r\u00e9 rendezi, vagyis a m\u00e9r\u00e9s a kock\u00e1zatok \u00e9rtelmez\u00e9s\u00e9nek \u00e9s kezel\u00e9s\u00e9nek egyik k\u00f6zponti eleme (National Institute of Standards and Technology, 2023). Ez j\u00f3l illeszkedik az AI ir\u00e1ny\u00edt\u00e1si rendszer logik\u00e1j\u00e1hoz: a m\u00e9r\u00e9s nem \u00f6n\u00e1ll\u00f3 technikai gyakorlat, hanem a kock\u00e1zatkezel\u00e9s, kontroll\u00e9rt\u00e9kel\u00e9s \u00e9s vezet\u0151i d\u00f6nt\u00e9st\u00e1mogat\u00e1s r\u00e9sze.<\/p>\n\n\n\n A m\u00e9r\u00e9si ter\u00fcletet \u00e9rdemes legal\u00e1bb h\u00e1rom szinten \u00e9rtelmezni. Az els\u0151 a technikai szint, ahol a modell \u00e9s az informatikai k\u00f6rnyezet teljes\u00edtm\u00e9ny\u00e9t figyelj\u00fck. A m\u00e1sodik a m\u0171k\u00f6d\u00e9si \u00e9s kock\u00e1zati szint, ahol azt vizsg\u00e1ljuk, hogy a folyamatok, j\u00f3v\u00e1hagy\u00e1sok, kontrollok \u00e9s incidenskezel\u00e9sek megfelel\u0151en m\u0171k\u00f6dnek-e. A harmadik az \u00e9rintetti \u00e9s megfelel\u0151s\u00e9gi szint, ahol az AI-rendszer hat\u00e1sait, visszajelz\u00e9seit, panaszait \u00e9s szab\u00e1lyoz\u00e1si megfelel\u00e9s\u00e9t kell k\u00f6vetni. Ebben a fel\u00e9p\u00edt\u00e9sben az AI-monitoring t\u00f6bbdimenzi\u00f3s ir\u00e1ny\u00edt\u00e1si gyakorlat<\/strong>, nem puszt\u00e1n modellfel\u00fcgyelet.<\/p>\n\n\n\n Az AI ir\u00e1ny\u00edt\u00e1si rendszer monitoringja akkor m\u0171k\u00f6dik j\u00f3l, ha nem csak a hib\u00e1kat keresi, hanem a v\u00e1ltoz\u00e1sokat is. Egy AI-rendszer k\u00f6rnyezete folyamatosan m\u00f3dosulhat: v\u00e1ltozhatnak az adatok, az \u00fcgyf\u00e9lszok\u00e1sok, a felhaszn\u00e1l\u00f3i viselked\u00e9s, a szab\u00e1lyoz\u00e1si elv\u00e1r\u00e1sok, a besz\u00e1ll\u00edt\u00f3i szolg\u00e1ltat\u00e1s, a modellverzi\u00f3 vagy az \u00fczleti folyamat. Sculley \u00e9s munkat\u00e1rsai a g\u00e9pi tanul\u00e1si rendszerek technikai ad\u00f3ss\u00e1g\u00e1r\u00f3l sz\u00f3l\u00f3 tanulm\u00e1nyukban \u00e9ppen arra h\u00edvt\u00e1k fel a figyelmet, hogy az ML-rendszerek fenntart\u00e1si \u00e9s m\u0171k\u00f6dtet\u00e9si kock\u00e1zatai sokszor rejtetten, fokozatosan halmoz\u00f3dnak fel (Sculley et al., 2015). Ez\u00e9rt a csendes roml\u00e1s az AI egyik legfontosabb kock\u00e1zata<\/strong>, mert nem felt\u00e9tlen\u00fcl l\u00e1tv\u00e1nyos incidenssel kezd\u0151dik.<\/p>\n\n\n\n A monitoring tervez\u00e9sekor el\u0151sz\u00f6r a haszn\u00e1lati c\u00e9lt kell meg\u00e9rteni. M\u00e1s mutat\u00f3k kellenek egy bels\u0151 dokumentum-\u00f6sszefoglal\u00f3 eszk\u00f6zh\u00f6z, m\u00e1sok egy \u00fcgyf\u00e9lkommunik\u00e1ci\u00f3t t\u00e1mogat\u00f3 generat\u00edv AI-hoz, \u00e9s megint m\u00e1sok egy predikt\u00edv d\u00f6nt\u00e9st\u00e1mogat\u00f3 modellhez. Ha a modell emberi d\u00f6nt\u00e9st t\u00e1mogat, akkor fontos a kimenetek ellen\u0151rizhet\u0151s\u00e9ge \u00e9s a d\u00f6nt\u00e9sek nyomon k\u00f6vet\u00e9se. Ha automatiz\u00e1lt folyamatban m\u0171k\u00f6dik, akkor a hibahat\u00e1s, a vissza\u00e1ll\u00edt\u00e1si lehet\u0151s\u00e9g \u00e9s az incidens\u00e9szlel\u00e9s kap nagyobb szerepet. Ilyenkor a m\u00e9r\u0151sz\u00e1mot a haszn\u00e1lati kontextus hat\u00e1rozza meg<\/strong>, nem maga az AI-technol\u00f3gia t\u00edpusa.<\/p>\n\n\n\n A m\u00e9r\u00e9snek az AI-\u00e9letciklus eg\u00e9sz\u00e9re ki kell terjednie. Nem el\u00e9g az \u00e9les m\u0171k\u00f6d\u00e9sben figyelni a rendszert, ha a fejleszt\u00e9si, tesztel\u00e9si, valid\u00e1l\u00e1si \u00e9s v\u00e1ltoz\u00e1skezel\u00e9si l\u00e9p\u00e9sek gyeng\u00e9k. Az AI-\u00e9letciklusban az adatgy\u0171jt\u00e9st\u0151l a kivon\u00e1sig minden szakaszban keletkezhet olyan inform\u00e1ci\u00f3, amely k\u00e9s\u0151bb a teljes\u00edtm\u00e9ny\u00e9rt\u00e9kel\u00e9s vagy audit bizony\u00edt\u00e9ka lesz. Egy j\u00f3 AIMS ez\u00e9rt nemcsak azt m\u00e9ri, hogy a rendszer \u00e9ppen m\u0171k\u00f6dik-e, hanem azt is, hogy a m\u0171k\u00f6d\u00e9s bizony\u00edthat\u00f3an kontroll\u00e1lt-e<\/strong>.<\/p>\n\n\n\n A m\u00e9r\u0151sz\u00e1mok kiv\u00e1laszt\u00e1sakor az egyik leggyakoribb hiba, hogy a szervezet t\u00fal sok technikai mutat\u00f3t gy\u0171jt, de kev\u00e9s olyan indik\u00e1tort v\u00e1laszt, amely vezet\u0151i szinten is \u00e9rtelmezhet\u0151. Egy fels\u0151vezet\u0151i fel\u00fclvizsg\u00e1latban nem el\u00e9g azt l\u00e1tni, hogy egy modell pontoss\u00e1ga 91 sz\u00e1zal\u00e9k. A k\u00e9rd\u00e9s az, hogy ez a teljes\u00edtm\u00e9ny megfelel-e a kock\u00e1zati szintnek, stabil-e id\u0151ben, okozott-e panaszt, s\u00e9r\u00fclt-e kontroll, \u00e9s sz\u00fcks\u00e9ges-e beavatkoz\u00e1s. Ebben az \u00e9rtelemben a m\u00e9r\u0151sz\u00e1mnak kock\u00e1zati jelent\u00e9se is van<\/strong>, nem csak statisztikai \u00e9rt\u00e9ke.<\/p>\n\n\n\n A megfelel\u0151 AI-m\u00e9r\u0151sz\u00e1mok legal\u00e1bb n\u00e9gy csoportba rendezhet\u0151k: technikai, m\u0171k\u00f6d\u00e9si, kock\u00e1zati \u00e9s megfelel\u0151s\u00e9gi mutat\u00f3k. A technikai mutat\u00f3k a modell \u00e9s a rendszer m\u0171k\u00f6d\u00e9s\u00e9t jelzik. A m\u0171k\u00f6d\u00e9si mutat\u00f3k azt mutatj\u00e1k, hogy a folyamatok \u00e9s felel\u0151ss\u00e9gek teljes\u00fclnek-e. A kock\u00e1zati mutat\u00f3k a roml\u00f3 tendenci\u00e1kat, incidenseket, panaszokat \u00e9s kontrollgyenges\u00e9geket figyelik. A megfelel\u0151s\u00e9gi mutat\u00f3k pedig azt jelzik, hogy a szervezet k\u00e9pes-e bizony\u00edtani a szab\u00e1lyok, bels\u0151 el\u0151\u00edr\u00e1sok \u00e9s k\u00fcls\u0151 k\u00f6vetelm\u00e9nyek teljes\u00edt\u00e9s\u00e9t.<\/p>\n\n\n\n Az ISO\/IEC 23894 az AI-kock\u00e1zatkezel\u00e9s integr\u00e1l\u00e1s\u00e1t az AI-val kapcsolatos tev\u00e9kenys\u00e9gekbe \u00e9s szervezeti funkci\u00f3kba helyezi (International Organization for Standardization, 2023b). Ez a monitoringn\u00e1l azt jelenti, hogy a kock\u00e1zati mutat\u00f3k nem lehetnek ut\u00f3lagos mell\u00e9kletek. A kock\u00e1zati szempontokat m\u00e1r a m\u00e9r\u00e9si rendszer kialak\u00edt\u00e1sakor be kell \u00e9p\u00edteni. Ha egy rendszer eset\u00e9ben az elfogults\u00e1g, adatmin\u0151s\u00e9g, emberi fel\u00fcgyelet vagy jogosulatlan adathaszn\u00e1lat relev\u00e1ns kock\u00e1zat, akkor ezekhez m\u00e9r\u00e9si vagy ellen\u0151rz\u00e9si pontokat is kell rendelni.<\/p>\n\n\n\n A m\u00e9r\u00e9si rendszernek mindig tartalmaznia kell felel\u0151st. Egy mutat\u00f3 \u00f6nmag\u00e1ban nem kontroll, ha senki nem \u00e9rtelmezi, senki nem reag\u00e1l r\u00e1, \u00e9s nincs el\u0151re meghat\u00e1rozott k\u00fcsz\u00f6b\u00e9rt\u00e9k vagy eszkal\u00e1ci\u00f3s \u00fat. P\u00e9ld\u00e1ul a felhaszn\u00e1l\u00f3i panaszok sz\u00e1m\u00e1nak n\u00f6veked\u00e9se csak akkor v\u00e1lik ir\u00e1ny\u00edt\u00e1si inform\u00e1ci\u00f3v\u00e1, ha vil\u00e1gos, ki elemzi a panaszokat, milyen mint\u00e1zatot keres, mikor kell kock\u00e1zat\u00e9rt\u00e9kel\u00e9st friss\u00edteni, \u00e9s mikor kell vezet\u0151i d\u00f6nt\u00e9st k\u00e9rni. Ez\u00e9rt a gazd\u00e1tlan m\u00e9r\u0151sz\u00e1m nem ir\u00e1ny\u00edt\u00e1si eszk\u00f6z<\/strong>, csak adatpont.<\/p>\n\n\n\n A Breck \u00e9s munkat\u00e1rsai \u00e1ltal bemutatott ML Test Score a termel\u00e9si k\u00f6rnyezetben m\u0171k\u00f6d\u0151 g\u00e9pi tanul\u00e1si rendszerek \u00e9retts\u00e9g\u00e9t t\u00f6bbek k\u00f6z\u00f6tt adat-, modell-, infrastrukt\u00fara- \u00e9s monitoringtesztek alapj\u00e1n \u00e9rt\u00e9keli (Breck et al., 2017). B\u00e1r ez els\u0151sorban ML-rendszerek termel\u00e9si felk\u00e9sz\u00fclts\u00e9g\u00e9re k\u00e9sz\u00fclt, a szeml\u00e9lete AIMS-k\u00f6rnyezetben is hasznos: a monitoring nem egyetlen dashboard, hanem t\u00f6bb kontrollpont egy\u00fcttese. K\u00fcl\u00f6n\u00f6sen fontos tanuls\u00e1g, hogy a termel\u00e9si AI megb\u00edzhat\u00f3s\u00e1ga tesztel\u00e9si kult\u00far\u00e1t ig\u00e9nyel<\/strong>, nem csak ut\u00f3lagos hibafigyel\u00e9st.<\/p>\n\n\n\n A m\u00e9r\u0151sz\u00e1mok kiv\u00e1laszt\u00e1s\u00e1hoz c\u00e9lszer\u0171 t\u00e1bl\u00e1zatos logik\u00e1t haszn\u00e1lni, mert \u00edgy l\u00e1that\u00f3v\u00e1 v\u00e1lik, hogy egy-egy indik\u00e1tor milyen d\u00f6nt\u00e9st t\u00e1mogat.<\/p>\n\n\n\n M\u00e9r\u00e9si ter\u00fclet<\/p>\n\n\n\n P\u00e9ldamutat\u00f3<\/p>\n\n\n\n Mit jelez?<\/p>\n\n\n\n Lehets\u00e9ges d\u00f6nt\u00e9s<\/p>\n\n\n\n Modellm\u0171k\u00f6d\u00e9s<\/p>\n\n\n\n pontoss\u00e1g, hibaar\u00e1ny, driftjelz\u0151<\/p>\n\n\n\n romlik-e a modell teljes\u00edtm\u00e9nye<\/p>\n\n\n\n \u00fajratesztel\u00e9s, \u00fajratan\u00edt\u00e1s, vissza\u00e1ll\u00edt\u00e1s<\/p>\n\n\n\n Adatmin\u0151s\u00e9g<\/p>\n\n\n\n hi\u00e1nyz\u00f3, elavult vagy hib\u00e1s adatok ar\u00e1nya<\/p>\n\n\n\n megb\u00edzhat\u00f3-e a bemeneti adat<\/p>\n\n\n\n adatkontroll er\u0151s\u00edt\u00e9se, adatforr\u00e1s fel\u00fclvizsg\u00e1lata<\/p>\n\n\n\n Kontrollm\u0171k\u00f6d\u00e9s<\/p>\n\n\n\n lej\u00e1rt j\u00f3v\u00e1hagy\u00e1sok vagy elmaradt fel\u00fclvizsg\u00e1latok sz\u00e1ma<\/p>\n\n\n\n m\u0171k\u00f6dik-e az ir\u00e1ny\u00edt\u00e1si folyamat<\/p>\n\n\n\n felel\u0151s kijel\u00f6l\u00e9se, eszkal\u00e1ci\u00f3<\/p>\n\n\n\n Incidensek<\/p>\n\n\n\n AI-hoz kapcsol\u00f3d\u00f3 hib\u00e1k, panaszok, elt\u00e9r\u00e9sek sz\u00e1ma<\/p>\n\n\n\n n\u0151-e a m\u0171k\u00f6d\u00e9si vagy megfelel\u0151s\u00e9gi kock\u00e1zat<\/p>\n\n\n\n kivizsg\u00e1l\u00e1s, jav\u00edt\u00f3 int\u00e9zked\u00e9s<\/p>\n\n\n\n Felhaszn\u00e1l\u00f3i m\u0171k\u00f6d\u00e9s<\/p>\n\n\n\n k\u00e9pzett felhaszn\u00e1l\u00f3k ar\u00e1nya, tiltott haszn\u00e1latok sz\u00e1ma<\/p>\n\n\n\n betartj\u00e1k-e a bels\u0151 szab\u00e1lyokat<\/p>\n\n\n\n k\u00e9pz\u00e9s, kommunik\u00e1ci\u00f3, hozz\u00e1f\u00e9r\u00e9skorl\u00e1toz\u00e1s<\/p>\n\n\n\n A t\u00e1bl\u00e1zatb\u00f3l is l\u00e1that\u00f3, hogy a j\u00f3 m\u00e9r\u0151sz\u00e1m nemcsak \u00e1llapotot mutat, hanem d\u00f6nt\u00e9si ir\u00e1nyt is ad. Ha egy mutat\u00f3hoz nem kapcsolhat\u00f3 int\u00e9zked\u00e9s, akkor \u00e9rdemes megvizsg\u00e1lni, val\u00f3ban sz\u00fcks\u00e9ges-e. Az AI ir\u00e1ny\u00edt\u00e1si rendszerben a <\/strong>m\u00e9r\u00e9snek<\/strong> <\/strong>cselekv\u00e9shez<\/strong> kell vezetnie<\/strong>, k\u00fcl\u00f6nben a monitoring k\u00f6nnyen adminisztrat\u00edv ritu\u00e1l\u00e9v\u00e1 v\u00e1lik.<\/p>\n\n\n\n A bizony\u00edt\u00e9kok kezel\u00e9se ugyanilyen fontos. Egy audit vagy vezet\u0151i fel\u00fclvizsg\u00e1lat sor\u00e1n nem el\u00e9g sz\u00f3ban elmondani, hogy a rendszer m\u0171k\u00f6d\u00f6tt. Sz\u00fcks\u00e9g van dokument\u00e1lt m\u00e9r\u00e9si eredm\u00e9nyekre, elemz\u00e9sekre, d\u00f6nt\u00e9sekre, jav\u00edt\u00f3 int\u00e9zked\u00e9sekre \u00e9s azok lez\u00e1r\u00e1s\u00e1ra. Az ISO\/IEC 42001 teljes\u00edtm\u00e9ny\u00e9rt\u00e9kel\u00e9si logik\u00e1ja is ebbe az ir\u00e1nyba mutat: a monitoring \u00e9s m\u00e9r\u00e9s eredm\u00e9nyei bizony\u00edt\u00e9kk\u00e9nt szolg\u00e1lnak az AIMS hat\u00e9konys\u00e1g\u00e1nak \u00e9rt\u00e9kel\u00e9s\u00e9hez (International Organization for Standardization, 2023a).<\/p>\n\n\n\n A bizony\u00edt\u00e9k nem puszt\u00e1n dokumentum. Lehet napl\u00f3, dashboard, j\u00f3v\u00e1hagy\u00e1si rekord, incidensjegy, k\u00e9pz\u00e9si nyilv\u00e1ntart\u00e1s, fel\u00fclvizsg\u00e1lati jegyz\u0151k\u00f6nyv, tesztjelent\u00e9s vagy szolg\u00e1ltat\u00f3i riport. A l\u00e9nyeg, hogy visszak\u00f6vethet\u0151 legyen: mi t\u00f6rt\u00e9nt, mikor t\u00f6rt\u00e9nt, ki \u00e9rt\u00e9kelte, mi volt a k\u00f6vetkeztet\u00e9s, \u00e9s milyen int\u00e9zked\u00e9s k\u00f6vette. Ebben az \u00e9rtelemben a bizony\u00edt\u00e9k a szervezeti eml\u00e9kezet r\u00e9sze<\/strong>, amely n\u00e9lk\u00fcl a tanul\u00e1s \u00e9s a felel\u0151ss\u00e9gre vonhat\u00f3s\u00e1g is gyenge marad.<\/p>\n\n\n\n A m\u00e9r\u00e9si rendszer kialak\u00edt\u00e1s\u00e1n\u00e1l k\u00fcl\u00f6nbs\u00e9get kell tenni vezet\u0151i, szakmai \u00e9s operat\u00edv n\u00e9zetek k\u00f6z\u00f6tt. A vezet\u0151i n\u00e9zet kev\u00e9s, de d\u00f6nt\u00e9sk\u00e9pes mutat\u00f3t ig\u00e9nyel. A szakmai n\u00e9zet r\u00e9szletesebb elemz\u00e9st adhat a kock\u00e1zatokr\u00f3l, kontrollokr\u00f3l \u00e9s trendekr\u0151l. Az operat\u00edv n\u00e9zet pedig a napi m\u0171k\u00f6d\u00e9shez sz\u00fcks\u00e9ges riaszt\u00e1sokat, elt\u00e9r\u00e9seket \u00e9s feladatokat mutatja. Ha mindenki ugyanazt a t\u00falzs\u00fafolt riportot kapja, akkor a m\u00e9r\u00e9si inform\u00e1ci\u00f3 elvesz\u00edti a c\u00e9lk\u00f6z\u00f6ns\u00e9g\u00e9t<\/strong>, \u00e9s cs\u00f6kken a haszn\u00e1lhat\u00f3s\u00e1ga.<\/p>\n\n\n\n Az AI-rendszerek egyik saj\u00e1toss\u00e1ga, hogy a teljes\u00edtm\u00e9ny\u00fck id\u0151vel v\u00e1ltozhat akkor is, ha a szoftverk\u00f3d l\u00e1tsz\u00f3lag v\u00e1ltozatlan. Ennek oka lehet az adatok eloszl\u00e1s\u00e1nak m\u00f3dosul\u00e1sa, a felhaszn\u00e1l\u00f3i viselked\u00e9s v\u00e1ltoz\u00e1sa, a k\u00f6rnyezeti felt\u00e9telek \u00e1talakul\u00e1sa vagy a modell alkalmaz\u00e1si kontextus\u00e1nak elcs\u00fasz\u00e1sa. Ez\u00e9rt a stabil k\u00f3d nem garant\u00e1l stabil AI-m\u0171k\u00f6d\u00e9st<\/strong>, k\u00fcl\u00f6n\u00f6sen tanul\u00f3 vagy adatf\u00fcgg\u0151 rendszerek eset\u00e9ben.<\/p>\n\n\n\n A modellroml\u00e1s felismer\u00e9se nem minden esetben egyszer\u0171. Egy predikt\u00edv modelln\u00e9l m\u00e9rhet\u0151 lehet a pontoss\u00e1g, a t\u00e9ves pozit\u00edv vagy t\u00e9ves negat\u00edv ar\u00e1ny, a kalibr\u00e1ci\u00f3 vagy a teljes\u00edtm\u00e9ny k\u00fcl\u00f6nb\u00f6z\u0151 csoportokban. Egy generat\u00edv AI-eszk\u00f6zn\u00e9l viszont a min\u0151s\u00e9g, megb\u00edzhat\u00f3s\u00e1g, k\u00e1ros kimenet, t\u00e9ves \u00e1ll\u00edt\u00e1s vagy kontextust\u00e9veszt\u00e9s nehezebben sz\u00e1mszer\u0171s\u00edthet\u0151. Ez nem jelenti azt, hogy nincs sz\u00fcks\u00e9g m\u00e9r\u00e9sre. Ink\u00e1bb azt jelenti, hogy a generat\u00edv AI m\u00e9r\u00e9s\u00e9hez t\u00f6bbf\u00e9le jel kell<\/strong>, p\u00e9ld\u00e1ul emberi \u00e9rt\u00e9kel\u00e9s, mintav\u00e9teles ellen\u0151rz\u00e9s, felhaszn\u00e1l\u00f3i visszajelz\u00e9s \u00e9s incidenselemz\u00e9s.<\/p>\n\n\n\n A modellroml\u00e1s egyik klasszikus oka az adatdrift: amikor az \u00e9les m\u0171k\u00f6d\u00e9sben \u00e9rkez\u0151 adatok elt\u00e9rnek att\u00f3l az adattartom\u00e1nyt\u00f3l, amelyen a modellt fejlesztett\u00e9k vagy valid\u00e1lt\u00e1k. Hasonl\u00f3an fontos a koncepci\u00f3drift, amikor a bemeneti jellemz\u0151k \u00e9s a v\u00e1rt kimenet k\u00f6z\u00f6tti kapcsolat v\u00e1ltozik meg. A gyakorlatban mindkett\u0151 vezethet hib\u00e1s d\u00f6nt\u00e9st\u00e1mogat\u00e1shoz, teljes\u00edtm\u00e9nycs\u00f6kken\u00e9shez vagy kontroll\u00e1lt k\u00f6rnyezetb\u0151l val\u00f3 kics\u00fasz\u00e1shoz. A Sculley \u00e9s munkat\u00e1rsai \u00e1ltal t\u00e1rgyalt rejtett technikai ad\u00f3ss\u00e1g \u00e9ppen az ilyen \u00f6sszetett, egym\u00e1sra \u00e9p\u00fcl\u0151 ML-f\u00fcgg\u0151s\u00e9geket teszi k\u00fcl\u00f6n\u00f6sen kock\u00e1zatoss\u00e1 (Sculley et al., 2015).<\/p>\n\n\n\n A modellroml\u00e1s figyel\u00e9s\u00e9hez el\u0151re meg kell hat\u00e1rozni, milyen k\u00fcsz\u00f6b\u00e9rt\u00e9kek sz\u00e1m\u00edtanak elfogadhat\u00f3 elt\u00e9r\u00e9snek. Nem minden teljes\u00edtm\u00e9nyingadoz\u00e1s incidens, de bizonyos m\u00e9rt\u00e9k\u0171 roml\u00e1s m\u00e1r \u00fajratesztel\u00e9st, \u00fajratan\u00edt\u00e1st, vissza\u00e1ll\u00edt\u00e1st vagy haszn\u00e1lati korl\u00e1toz\u00e1st indokolhat. Ha nincsenek k\u00fcsz\u00f6b\u00e9rt\u00e9kek, akkor a szervezet ut\u00f3lag, eseti alapon pr\u00f3b\u00e1lja eld\u00f6nteni, hogy egy elt\u00e9r\u00e9s s\u00falyos-e. Ilyenkor a k\u00fcsz\u00f6b\u00e9rt\u00e9k el\u0151rehozott d\u00f6nt\u00e9s<\/strong>, amely gyorsabb\u00e1 \u00e9s k\u00f6vetkezetesebb\u00e9 teszi a reag\u00e1l\u00e1st.<\/p>\n\n\n\n A m\u0171k\u00f6d\u00e9si elt\u00e9r\u00e9s nemcsak modellhiba lehet. El\u0151fordulhat, hogy a felhaszn\u00e1l\u00f3k nem a j\u00f3v\u00e1hagyott c\u00e9lra haszn\u00e1lj\u00e1k az AI-eszk\u00f6zt, \u00e9rz\u00e9keny adatot visznek be tiltott k\u00f6rnyezetbe, elmarad az emberi fel\u00fclvizsg\u00e1lat, vagy a kimeneteket j\u00f3v\u00e1hagy\u00e1s n\u00e9lk\u00fcl tov\u00e1bb\u00edtj\u00e1k \u00fcgyfeleknek. Ezek nem felt\u00e9tlen\u00fcl l\u00e1tszanak a modell teljes\u00edtm\u00e9nymutat\u00f3iban. Ez\u00e9rt az AI-kock\u00e1zat sokszor folyamatelt\u00e9r\u00e9sk\u00e9nt jelenik meg<\/strong>, nem technikai hibak\u00e9nt.<\/p>\n\n\n\n A modell- \u00e9s m\u0171k\u00f6d\u00e9si monitoringnak \u00f6ssze kell kapcsol\u00f3dnia a v\u00e1ltoz\u00e1skezel\u00e9ssel. Ha \u00faj adatforr\u00e1s ker\u00fcl be, v\u00e1ltozik a modellverzi\u00f3, m\u00f3dosul a besz\u00e1ll\u00edt\u00f3i szolg\u00e1ltat\u00e1s, b\u0151v\u00fcl a felhaszn\u00e1l\u00f3i k\u00f6r, vagy \u00faj \u00fczleti c\u00e9l jelenik meg, akkor fel\u00fcl kell vizsg\u00e1lni a m\u00e9r\u00e9si logik\u00e1t is. Egy kor\u00e1bbi mutat\u00f3k\u00e9szlet nem biztos, hogy az \u00faj helyzetben is elegend\u0151. Amershi \u00e9s munkat\u00e1rsai a g\u00e9pi tanul\u00e1s szoftverfejleszt\u00e9si gyakorlat\u00e1t vizsg\u00e1lva r\u00e1mutattak, hogy az AI-alap\u00fa fejleszt\u00e9sben a hagyom\u00e1nyos szoftverfolyamatok AI-specifikus munkafolyamatokkal eg\u00e9sz\u00fclnek ki (Amershi et al., 2019). Ez a m\u0171k\u00f6dtet\u00e9sben is igaz: az AI-v\u00e1ltoz\u00e1s nem csak release-k\u00e9rd\u00e9s<\/strong>, hanem kock\u00e1zati \u00e9s m\u00e9r\u00e9si k\u00e9rd\u00e9s is.<\/p>\n\n\n\n Az \u00e9les m\u0171k\u00f6d\u00e9sben alkalmazott monitoringnak a vissza\u00e1ll\u00edt\u00e1si lehet\u0151s\u00e9geket is figyelembe kell vennie. Ha a modellroml\u00e1s vagy hib\u00e1s m\u0171k\u00f6d\u00e9s jelent\u0151s, akkor a szervezetnek tudnia kell, hogyan korl\u00e1tozza a haszn\u00e1latot, hogyan t\u00e9r vissza kor\u00e1bbi modellverzi\u00f3ra, hogyan t\u00e1j\u00e9koztatja az \u00e9rintett felhaszn\u00e1l\u00f3kat, \u00e9s hogyan dokument\u00e1lja az esetet. A monitoring csak akkor hasznos, ha a riaszt\u00e1s ut\u00e1n l\u00e9tezik v\u00e9grehajthat\u00f3 elj\u00e1r\u00e1s. Ebben az \u00e9rtelemben a riaszt\u00e1s terv n\u00e9lk\u00fcl csak zaj<\/strong>, nem kontroll.<\/p>\n\n\n\n A generat\u00edv AI-n\u00e1l k\u00fcl\u00f6n figyelmet kell ford\u00edtani a min\u0151s\u00e9gi mintav\u00e9telre. Ha a rendszer \u00fcgyf\u00e9lsz\u00f6veget, elemz\u00e9st, bels\u0151 javaslatot vagy \u00f6sszefoglal\u00f3t k\u00e9sz\u00edt, akkor nem mindig m\u00e9rhet\u0151 objekt\u00edv pontoss\u00e1gi mutat\u00f3val. Ilyenkor a szervezet meghat\u00e1rozhat ellen\u0151rz\u00e9si mint\u00e1t, \u00e9rt\u00e9kel\u00e9si szempontokat, tiltott hibakateg\u00f3ri\u00e1kat \u00e9s fel\u00fclvizsg\u00e1lati ar\u00e1nyt. P\u00e9ld\u00e1ul vizsg\u00e1lhat\u00f3, hogy a kimenet tartalmaz-e nem ellen\u0151rz\u00f6tt \u00e1ll\u00edt\u00e1st, szem\u00e9lyes adatot, szakmailag t\u00e9ves k\u00f6vetkeztet\u00e9st vagy nem megfelel\u0151 hangnemet. \u00cdgy a min\u0151s\u00e9gi ellen\u0151rz\u00e9s is m\u00e9r\u00e9si folyamat<\/strong>, m\u00e9g akkor is, ha nem egyetlen sz\u00e1mban fejezhet\u0151 ki.<\/p>\n\n\n\n A modellroml\u00e1s felismer\u00e9s\u00e9ben a dokument\u00e1ci\u00f3 is seg\u00edt. A Model Cards megk\u00f6zel\u00edt\u00e9s a modellek tervezett haszn\u00e1lati eseteit, teljes\u00edtm\u00e9nyjellemz\u0151it, korl\u00e1tait \u00e9s \u00e9rt\u00e9kel\u00e9si k\u00f6r\u00fclm\u00e9nyeit dokument\u00e1lja (Mitchell et al., 2019). B\u00e1r nem minden szervezet alkalmaz form\u00e1lis model cardot, a gondolat AIMS-k\u00f6rnyezetben is fontos: ha nincs r\u00f6gz\u00edtve, mire alkalmas egy AI-rendszer \u00e9s mire nem, akkor k\u00e9s\u0151bb neh\u00e9z meg\u00e1llap\u00edtani, hogy a m\u0171k\u00f6d\u00e9s elt\u00e9rt-e az elfogadott keretekt\u0151l. Ez\u00e9rt a modell dokument\u00e1lt korl\u00e1tja monitoring-alap<\/strong>, nem puszt\u00e1n fejleszt\u0151i mell\u00e9klet.<\/p>\n\n\n\n A modellroml\u00e1sr\u00f3l sz\u00f3l\u00f3 elemz\u00e9snek nem szabad kiz\u00e1r\u00f3lag technikai csapatokn\u00e1l maradnia. Ha egy AI-rendszer \u00fczleti d\u00f6nt\u00e9st, \u00fcgyf\u00e9lkommunik\u00e1ci\u00f3t vagy jogi megfelel\u00e9st \u00e9rint, akkor a roml\u00e1s vezet\u0151i \u00e9s compliance-k\u00e9rd\u00e9s is. A technikai csapat meg\u00e1llap\u00edthatja az elt\u00e9r\u00e9s m\u00e9rt\u00e9k\u00e9t, de a kock\u00e1zati k\u00f6vetkezm\u00e9nyt t\u00f6bb szerepk\u00f6r egy\u00fctt tudja \u00e9rt\u00e9kelni. Ilyenkor a monitoring keresztfunkcion\u00e1lis p\u00e1rbesz\u00e9det ig\u00e9nyel<\/strong>, mert az AI-hiba hat\u00e1sa ritk\u00e1n marad tiszt\u00e1n technikai.<\/p>\n\n\n\n Az AI ir\u00e1ny\u00edt\u00e1si rendszer monitoringja nem teljes, ha csak rendszeradatokra \u00e9s technikai teljes\u00edtm\u00e9nyre \u00e9p\u00fcl. Az incidensek, felhaszn\u00e1l\u00f3i visszajelz\u00e9sek, panaszok, bels\u0151 \u00e9szrev\u00e9telek \u00e9s \u00e9rintetti hat\u00e1sok gyakran olyan kock\u00e1zatokat mutatnak meg, amelyeket a technikai dashboard nem jelez. Egy AI-eszk\u00f6z lehet gyors \u00e9s stabil, mik\u00f6zben a felhaszn\u00e1l\u00f3k f\u00e9lre\u00e9rtik a korl\u00e1tait, az \u00fcgyfelek bizalmatlanok a kimeneteivel szemben, vagy egyes csoportok ar\u00e1nytalanul kedvez\u0151tlen hat\u00e1st tapasztalnak.<\/p>\n\n\n\n Az incidens fogalm\u00e1t AI-k\u00f6rnyezetben \u00e9rdemes t\u00e1gabban \u00e9rtelmezni. Nem csak az sz\u00e1m\u00edt incidensnek, ha a rendszer le\u00e1ll vagy adat sziv\u00e1rog. Incidens lehet a hib\u00e1s AI-kimenet alapj\u00e1n hozott d\u00f6nt\u00e9s, a nem enged\u00e9lyezett adathaszn\u00e1lat, a tiltott felhaszn\u00e1l\u00e1si c\u00e9l, a kontroll megker\u00fcl\u00e9se, az emberi fel\u00fclvizsg\u00e1lat elmarad\u00e1sa, a f\u00e9lrevezet\u0151 \u00fcgyf\u00e9lkommunik\u00e1ci\u00f3 vagy a jelent\u0151s modellroml\u00e1s is. Ebben a szeml\u00e9letben az AI-incidens m\u0171k\u00f6d\u00e9si elt\u00e9r\u00e9s is lehet<\/strong>, nem kiz\u00e1r\u00f3lag biztons\u00e1gi esem\u00e9ny.<\/p>\n\n\n\n Az EU AI Act a magas kock\u00e1zat\u00fa AI-rendszerek eset\u00e9ben hangs\u00falyos k\u00f6vetelm\u00e9nyk\u00e9nt kezeli t\u00f6bbek k\u00f6z\u00f6tt a napl\u00f3z\u00e1st, a m\u0171szaki dokument\u00e1ci\u00f3t, az emberi fel\u00fcgyeletet, a pontoss\u00e1got, robusztuss\u00e1got, kiberbiztons\u00e1got \u00e9s a forgalomba hozatal ut\u00e1ni monitoringot (European Parliament & Council of the European Union, 2024). M\u00e9g akkor is, ha egy adott szervezeti haszn\u00e1lat nem tartozik magas kock\u00e1zat\u00fa kateg\u00f3ri\u00e1ba, a tanuls\u00e1g \u00e1ltal\u00e1nos: a m\u0171k\u00f6d\u00e9s sor\u00e1n keletkez\u0151 adatok elemz\u00e9se a felel\u0151s AI-ir\u00e1ny\u00edt\u00e1s alapvet\u0151 r\u00e9sze.<\/p>\n\n\n\n A visszajelz\u00e9sek elemz\u00e9s\u00e9t struktur\u00e1ltan kell kezelni. A felhaszn\u00e1l\u00f3i panaszok, \u00fcgyf\u00e9lszolg\u00e1lati jelz\u00e9sek, bels\u0151 hibabejelent\u00e9sek \u00e9s auditor\u00e9szrev\u00e9telek csak akkor v\u00e1lnak ir\u00e1ny\u00edt\u00e1si inform\u00e1ci\u00f3v\u00e1, ha kategoriz\u00e1lj\u00e1k \u0151ket. Lehet k\u00fcl\u00f6n kateg\u00f3ria p\u00e9ld\u00e1ul pontatlans\u00e1g, elfogults\u00e1g, adatkezel\u00e9si agg\u00e1ly, jogosulatlan haszn\u00e1lat, \u00e1tl\u00e1thatatlans\u00e1g, emberi fel\u00fcgyelet hi\u00e1nya, nem megfelel\u0151 kimenet vagy t\u00falzott automatiz\u00e1ci\u00f3. \u00cdgy a visszajelz\u00e9sb\u0151l kock\u00e1zati minta lesz<\/strong>, nem elszigetelt panaszhalmaz.<\/p>\n\n\n\n Az \u00e9rintetti hat\u00e1sok figyel\u00e9se k\u00fcl\u00f6n\u00f6sen fontos olyan AI-rendszerekn\u00e9l, amelyek embereket \u00e9rint\u0151 d\u00f6nt\u00e9st t\u00e1mogatnak. Ilyen lehet a munkav\u00e1llal\u00f3i teljes\u00edtm\u00e9nyelemz\u00e9s, \u00fcgyf\u00e9lmin\u0151s\u00edt\u00e9s, hitelb\u00edr\u00e1lati t\u00e1mogat\u00e1s, panaszprioriz\u00e1l\u00e1s vagy HR-folyamatok t\u00e1mogat\u00e1sa. A monitoringnak ilyenkor nemcsak azt kell n\u00e9znie, hogy a rendszer \u00e1tlagosan j\u00f3l m\u0171k\u00f6dik-e, hanem azt is, hogy vannak-e csoportok, helyzetek vagy folyamatl\u00e9p\u00e9sek, ahol ar\u00e1nytalanul sok hiba, panasz vagy kedvez\u0151tlen hat\u00e1s jelenik meg. Itt az \u00e1tlagos teljes\u00edtm\u00e9ny elfedheti a r\u00e9szletes kock\u00e1zatot<\/strong>, ez\u00e9rt bontott elemz\u00e9sre is sz\u00fcks\u00e9g lehet.<\/p>\n\n\n\n Az incidensek elemz\u00e9s\u00e9n\u00e9l a kiv\u00e1lt\u00f3 okokat kell keresni. Egy hib\u00e1s AI-kimenet m\u00f6g\u00f6tt \u00e1llhat rossz adatmin\u0151s\u00e9g, nem megfelel\u0151 felhaszn\u00e1l\u00f3i prompt, hi\u00e1nyos k\u00e9pz\u00e9s, gyenge j\u00f3v\u00e1hagy\u00e1si folyamat, besz\u00e1ll\u00edt\u00f3i modellv\u00e1ltoz\u00e1s, rossz integr\u00e1ci\u00f3 vagy t\u00falzott bizalom a rendszerben. Ha a szervezet csak az adott hib\u00e1t jav\u00edtja, de nem vizsg\u00e1lja a mint\u00e1zatot, akkor ugyanaz a probl\u00e9ma m\u00e1s form\u00e1ban \u00fajra megjelenhet. Ez\u00e9rt az incidenskezel\u00e9s tanul\u00e1si folyamat<\/strong>, nem csak hibaelh\u00e1r\u00edt\u00e1s.<\/p>\n\n\n\n A felhaszn\u00e1l\u00f3i visszajelz\u00e9sek elemz\u00e9se a tudatoss\u00e1g \u00e9s kompetencia m\u00e9r\u00e9s\u00e9hez is kapcsol\u00f3dik. Ha sok a tiltott adatbevitel, a nem ellen\u0151rz\u00f6tt kimenet felhaszn\u00e1l\u00e1sa vagy a szab\u00e1lyker\u00fcl\u00e9s, akkor nem biztos, hogy a technikai kontroll a f\u0151 probl\u00e9ma. Lehet, hogy a felhaszn\u00e1l\u00f3k nem \u00e9rtik a szab\u00e1lyokat, t\u00fal bonyolult az enged\u00e9lyez\u00e9si folyamat, vagy a vezet\u0151i elv\u00e1r\u00e1sok ellentmond\u00e1sosak. Ebben az esetben a szab\u00e1lys\u00e9rt\u00e9s k\u00e9pz\u00e9si jelz\u00e9s is lehet<\/strong>, nem kiz\u00e1r\u00f3lag fegyelmi vagy compliance-\u00fcgy.<\/p>\n\n\n\n A visszajelz\u00e9si csatorn\u00e1kat a szervezetnek egy\u00e9rtelm\u0171v\u00e9 kell tennie. A munkat\u00e1rsaknak tudniuk kell, hova fordulhatnak, ha hib\u00e1s AI-kimenetet, etikailag agg\u00e1lyos eredm\u00e9nyt, adatkezel\u00e9si probl\u00e9m\u00e1t vagy nem megfelel\u0151 haszn\u00e1latot \u00e9szlelnek. Az \u00fcgyfelek vagy k\u00fcls\u0151 \u00e9rintettek eset\u00e9ben a panaszkezel\u00e9si \u00e9s t\u00e1j\u00e9koztat\u00e1si folyamatoknak kell m\u0171k\u00f6dni\u00fck. Ha nincs vil\u00e1gos csatorna, akkor a probl\u00e9m\u00e1k inform\u00e1lis \u00faton terjednek, vagy egy\u00e1ltal\u00e1n nem ker\u00fclnek be a kock\u00e1zatkezel\u00e9si rendszerbe. Ilyenkor a n\u00e9ma visszajelz\u00e9s nem megnyugtat\u00f3 jel<\/strong>, hanem ak\u00e1r \u00e9szlel\u00e9si hi\u00e1nyt is jelenthet.<\/p>\n\n\n\n Az AI-incidensek \u00e9s visszajelz\u00e9sek elemz\u00e9se vezet\u0151i szempontb\u00f3l akkor hasznos, ha trendeket mutat. Egyetlen panasz lehet egyedi eset, de az azonos t\u00edpus\u00fa panaszok n\u00f6veked\u00e9se m\u00e1r kontrollgyenges\u00e9get jelezhet. Egyetlen hib\u00e1s kimenet jav\u00edthat\u00f3, de ha ugyanaz a hibat\u00edpus ism\u00e9tl\u0151dik, akkor lehet, hogy v\u00e1ltoztatni kell az adaton, modellen, felhaszn\u00e1l\u00f3i szab\u00e1lyon vagy j\u00f3v\u00e1hagy\u00e1si folyamaton. Ez\u00e9rt a trend fontosabb lehet az egyszeri \u00e9rt\u00e9kn\u00e9l<\/strong>, k\u00fcl\u00f6n\u00f6sen korai figyelmeztet\u0151 jelk\u00e9nt.<\/p>\n\n\n\n A monitoringnak az \u00e9rintetti bizalomra is figyelnie kell, m\u00e9g ha ez nehezebben m\u00e9rhet\u0151 is. A bizalom nem azt jelenti, hogy mindenki felt\u00e9tel n\u00e9lk\u00fcl elfogadja az AI-t. Ink\u00e1bb azt, hogy az \u00e9rintettek \u00e9rtik a rendszer c\u00e9lj\u00e1t, korl\u00e1tait, felel\u0151ss\u00e9gi rendj\u00e9t \u00e9s jogorvoslati lehet\u0151s\u00e9geit. Ha a visszajelz\u00e9sekben visszat\u00e9r\u0151 mot\u00edvum a bizonytalans\u00e1g, f\u00e9lelem, f\u00e9lre\u00e9rt\u00e9s vagy kontrollhi\u00e1ny \u00e9rz\u00e9se, akkor ez kommunik\u00e1ci\u00f3s \u00e9s ir\u00e1ny\u00edt\u00e1si beavatkoz\u00e1st ig\u00e9nyel. Ilyenkor a bizalomveszt\u00e9s m\u00e9rhet\u0151 m\u0171k\u00f6d\u00e9si kock\u00e1zat<\/strong>, nem puszt\u00e1n kommunik\u00e1ci\u00f3s probl\u00e9ma.<\/p>\n\n\n\n A monitoring v\u00e9gs\u0151 c\u00e9lja nem a riportk\u00e9sz\u00edt\u00e9s, hanem a szervezeti d\u00f6nt\u00e9shozatal t\u00e1mogat\u00e1sa. Egy AI ir\u00e1ny\u00edt\u00e1si rendszer akkor m\u0171k\u00f6dik \u00e9retten, ha a m\u00e9r\u00e9si eredm\u00e9nyek alapj\u00e1n a vezet\u00e9s k\u00e9pes priorit\u00e1st adni kock\u00e1zatoknak, er\u0151forr\u00e1st rendelni jav\u00edt\u00f3 int\u00e9zked\u00e9sekhez, m\u00f3dos\u00edtani a szab\u00e1lyokat, korl\u00e1tozni egy AI-haszn\u00e1latot, vagy j\u00f3v\u00e1hagyni fejleszt\u00e9st. En\u00e9lk\u00fcl a m\u00e9r\u00e9s nem ir\u00e1ny\u00edt\u00e1s, hanem megfigyel\u00e9s<\/strong>, amely nem v\u00e1ltoztatja meg a m\u0171k\u00f6d\u00e9st.<\/p>\n\n\n\n A vezet\u0151i szint sz\u00e1m\u00e1ra a m\u00e9r\u00e9si eredm\u00e9nyeket \u00e9rtelmezhet\u0151 form\u00e1ban kell bemutatni. Nem c\u00e9lszer\u0171 t\u00falterhelni a vezet\u0151i fel\u00fclvizsg\u00e1latot technikai r\u00e9szletekkel, de el kell ker\u00fclni a t\u00falzott leegyszer\u0171s\u00edt\u00e9st is. A j\u00f3 vezet\u0151i riport megmutatja, mely AI-rendszerek kritikusak, mely kock\u00e1zatok n\u00f6vekednek, hol romlik a kontrollhat\u00e9konys\u00e1g, milyen incidensek ism\u00e9tl\u0151dnek, \u00e9s milyen d\u00f6nt\u00e9sek sz\u00fcks\u00e9gesek. Ebben a keretben a vezet\u0151i riport kock\u00e1zati t\u00e9rk\u00e9p<\/strong>, nem technikai st\u00e1tuszlista.<\/p>\n\n\n\n A m\u00e9r\u00e9si eredm\u00e9nyekb\u0151l akkor lesz d\u00f6nt\u00e9s, ha vannak el\u0151re meghat\u00e1rozott d\u00f6nt\u00e9si utak. P\u00e9ld\u00e1ul modellroml\u00e1s eset\u00e9n \u00fajratesztel\u00e9s vagy haszn\u00e1latkorl\u00e1toz\u00e1s indulhat. Incidensn\u00f6veked\u00e9s eset\u00e9n kiv\u00e1lt\u00f3ok-elemz\u00e9s \u00e9s jav\u00edt\u00f3 int\u00e9zked\u00e9s sz\u00fcks\u00e9ges. Tiltott adathaszn\u00e1lat eset\u00e9n k\u00e9pz\u00e9s, hozz\u00e1f\u00e9r\u00e9skorl\u00e1toz\u00e1s vagy technikai blokkol\u00e1s k\u00f6vetkezhet. Ha egy szolg\u00e1ltat\u00f3 nem ad elegend\u0151 bizony\u00edt\u00e9kot, akkor besz\u00e1ll\u00edt\u00f3i fel\u00fclvizsg\u00e1lat vagy szerz\u0151d\u00e9sm\u00f3dos\u00edt\u00e1s indokolt. \u00cdgy a monitoring el\u0151re megtervezett reakci\u00f3kat aktiv\u00e1l<\/strong>, nem eseti vit\u00e1kat ind\u00edt.<\/p>\n\n\n\n A vezet\u0151i fel\u00fclvizsg\u00e1latnak az AI-rendszer \u00e9s az AIMS teljes\u00edtm\u00e9ny\u00e9t egy\u00fctt kell \u00e9rt\u00e9kelnie. Egy AI-rendszer m\u0171k\u00f6dhet j\u00f3l, mik\u00f6zben az ir\u00e1ny\u00edt\u00e1si rendszer hi\u00e1nyos; \u00e9s ford\u00edtva, a folyamatok lehetnek rendezettek, mik\u00f6zben a modell teljes\u00edtm\u00e9nye romlik. A kett\u0151t egy\u00fctt kell l\u00e1tni. Ha csak a technikai teljes\u00edtm\u00e9nyt n\u00e9zz\u00fck, a megfelel\u0151s\u00e9gi \u00e9s etikai kock\u00e1zatok h\u00e1tt\u00e9rbe szorulnak. Ha csak a dokument\u00e1ci\u00f3t n\u00e9zz\u00fck, a val\u00f3s m\u0171k\u00f6d\u00e9si probl\u00e9m\u00e1k maradhatnak rejtve. Ez\u00e9rt az AIMS-\u00e9retts\u00e9g technikai \u00e9s szervezeti m\u00e9r\u00e9s egy\u00fcttese<\/strong>.<\/p>\n\n\n\n Az AI ir\u00e1ny\u00edt\u00e1si rendszerben a m\u00e9r\u00e9si eredm\u00e9nyeknek jav\u00edt\u00f3 int\u00e9zked\u00e9sekhez kell kapcsol\u00f3dniuk. A jav\u00edt\u00e1s lehet technikai, p\u00e9ld\u00e1ul modellfriss\u00edt\u00e9s, adatmin\u0151s\u00e9gi kontroll vagy monitoringriaszt\u00e1s bevezet\u00e9se. Lehet folyamatbeli, p\u00e9ld\u00e1ul j\u00f3v\u00e1hagy\u00e1si l\u00e9p\u00e9s m\u00f3dos\u00edt\u00e1sa, panaszkezel\u00e9si \u00fat egyszer\u0171s\u00edt\u00e9se vagy besz\u00e1ll\u00edt\u00f3i bizony\u00edt\u00e9kk\u00e9r\u00e9s. Lehet szervezeti, p\u00e9ld\u00e1ul felel\u0151ss\u00e9gi rend pontos\u00edt\u00e1sa, k\u00e9pz\u00e9s, kommunik\u00e1ci\u00f3 vagy er\u0151forr\u00e1s biztos\u00edt\u00e1sa. Ilyenkor a jav\u00edt\u00f3 int\u00e9zked\u00e9snek a kiv\u00e1lt\u00f3 okhoz kell illeszkednie<\/strong>, k\u00fcl\u00f6nben csak t\u00fcneti kezel\u00e9s t\u00f6rt\u00e9nik.<\/p>\n\n\n\n A tan\u00fas\u00edt\u00e1si felk\u00e9sz\u00fcl\u00e9s szempontj\u00e1b\u00f3l a monitoring \u00e9s m\u00e9r\u00e9s k\u00fcl\u00f6n\u00f6sen fontos, mert k\u00e9zzelfoghat\u00f3 bizony\u00edt\u00e9kot ad az AIMS m\u0171k\u00f6d\u00e9s\u00e9r\u0151l. Egy kialak\u00edtott szab\u00e1lyrendszer \u00f6nmag\u00e1ban kev\u00e9s. A szervezetnek bizony\u00edtania kell, hogy a szab\u00e1lyokat alkalmazza, az eredm\u00e9nyeket elemzi, az elt\u00e9r\u00e9sekre reag\u00e1l, \u00e9s a rendszert folyamatosan fejleszti. Az ISO menedzsmentrendszer-logika l\u00e9nyege a m\u0171k\u00f6dtet\u00e9s, \u00e9rt\u00e9kel\u00e9s \u00e9s fejleszt\u00e9s k\u00f6rforg\u00e1sa; AI-k\u00f6rnyezetben ez a k\u00f6rforg\u00e1s kock\u00e1zat\u00e9rz\u00e9kenyebb \u00e9s adatintenz\u00edvebb form\u00e1ban jelenik meg.<\/p>\n\n\n\n A vezet\u0151i d\u00f6nt\u00e9ss\u00e9 alak\u00edt\u00e1s egyik gyakorlati eszk\u00f6ze az AI monitoring dashboard, de csak akkor, ha nem v\u00e1lik \u00f6nc\u00e9l\u00fav\u00e1. A dashboard mutathatja az AI-haszn\u00e1lati esetek sz\u00e1m\u00e1t, kock\u00e1zati besorol\u00e1s\u00e1t, nyitott int\u00e9zked\u00e9seket, incidenseket, modellroml\u00e1si jeleket, fel\u00fclvizsg\u00e1lati hat\u00e1rid\u0151ket \u00e9s k\u00e9pz\u00e9si lefedetts\u00e9get. A l\u00e9nyeg, hogy a vezet\u0151 ne csak \u00e1llapotot l\u00e1sson, hanem d\u00f6nt\u00e9si ig\u00e9nyt is. Ebben az esetben a dashboardnak k\u00e9rd\u00e9seket kell felvetnie<\/strong>, nem csak sz\u00e1mokat kell megjelen\u00edtenie.<\/p>\n\n\n\n A gyakorlati m\u00e9r\u0151sz\u00e1m-v\u00e1laszt\u00e1sn\u00e1l hasznos \u00f6t alapmutat\u00f3t meghat\u00e1rozni egy AI-alap\u00fa d\u00f6nt\u00e9st\u00e1mogat\u00f3 rendszerhez. Ezek p\u00e9ld\u00e1ul a k\u00f6vetkez\u0151k lehetnek:<\/p>\n\n\n\n a modell teljes\u00edtm\u00e9ny\u00e9nek id\u0151beli v\u00e1ltoz\u00e1sa a valid\u00e1lt k\u00fcsz\u00f6b\u00e9rt\u00e9khez k\u00e9pest;<\/p>\n\n\n\n a bemeneti adatok min\u0151s\u00e9gi hib\u00e1inak ar\u00e1nya;<\/p>\n\n\n\n az emberi fel\u00fclvizsg\u00e1lattal m\u00f3dos\u00edtott AI-javaslatok ar\u00e1nya;<\/p>\n\n\n\n az AI-hoz kapcsol\u00f3d\u00f3 incidensek, panaszok \u00e9s elt\u00e9r\u00e9sek sz\u00e1ma;<\/p>\n\n\n\n a k\u00f6telez\u0151 fel\u00fclvizsg\u00e1latok, j\u00f3v\u00e1hagy\u00e1sok \u00e9s k\u00e9pz\u00e9sek teljes\u00edt\u00e9si ar\u00e1nya.<\/p>\n\n\n\n Ez az \u00f6t mutat\u00f3 nem minden rendszerre elegend\u0151, de j\u00f3 kiindul\u00f3pontot ad, mert technikai, adatmin\u0151s\u00e9gi, emberi fel\u00fcgyeleti, kock\u00e1zati \u00e9s megfelel\u0151s\u00e9gi szempontot is lefed. Ha a szervezet csak pontoss\u00e1got m\u00e9r, akkor nem l\u00e1tja a folyamatgyenges\u00e9get. Ha csak incidenseket m\u00e9r, akkor k\u00e9s\u0151n reag\u00e1l. Ha csak k\u00e9pz\u00e9st m\u00e9r, akkor nem tudja, m\u0171k\u00f6dik-e a modell. Ez\u00e9rt a j\u00f3 m\u00e9r\u0151sz\u00e1mk\u00e9szlet kiegyens\u00falyozott<\/strong>, \u00e9s t\u00f6bbf\u00e9le kock\u00e1zati jelet kapcsol \u00f6ssze.<\/p>\n\n\n\n A m\u00e9r\u00e9si eredm\u00e9nyek \u00e9rt\u00e9kel\u00e9s\u00e9n\u00e9l fontos az ar\u00e1nyoss\u00e1g. Nem minden elt\u00e9r\u00e9s ig\u00e9nyel vezet\u0151i beavatkoz\u00e1st, \u00e9s nem minden AI-rendszerhez kell ugyanolyan r\u00e9szletes monitoring. A kock\u00e1zati szint, az \u00e9rintetti hat\u00e1s, az adatok \u00e9rz\u00e9kenys\u00e9ge, az automatiz\u00e1lts\u00e1g m\u00e9rt\u00e9ke \u00e9s a szab\u00e1lyoz\u00e1si k\u00f6rnyezet hat\u00e1rozza meg a m\u00e9lys\u00e9get. Ez \u00f6sszhangban \u00e1ll azzal a kock\u00e1zatalap\u00fa megk\u00f6zel\u00edt\u00e9ssel, amely a NIST AI RMF-ben \u00e9s az ISO\/IEC 23894-ben is megjelenik (National Institute of Standards and Technology, 2023; International Organization for Standardization, 2023b). Ebben a logik\u00e1ban az ar\u00e1nyoss\u00e1g nem engedm\u00e9ny<\/strong>, hanem tudatos er\u0151forr\u00e1s-ir\u00e1ny\u00edt\u00e1s.<\/p>\n\n\n\n A vezet\u0151i szintnek azt is figyelnie kell, hogy a m\u00e9r\u00e9si rendszer maga javul-e. V\u00e1ltoznak-e a mutat\u00f3k, ha \u00faj kock\u00e1zat jelenik meg? Kiker\u00fclnek-e a haszontalan indik\u00e1torok? Beker\u00fclnek-e \u00faj visszajelz\u00e9si forr\u00e1sok? Megt\u00f6rt\u00e9nik-e a m\u00e9r\u00e9si eredm\u00e9nyek alapj\u00e1n a szab\u00e1lyok friss\u00edt\u00e9se? Ha a monitoring \u00e9vekig v\u00e1ltozatlan, mik\u00f6zben az AI-haszn\u00e1lat b\u0151v\u00fcl, akkor a m\u00e9r\u00e9si rendszer k\u00f6nnyen elavul. Ez\u00e9rt a monitoringot is monitorozni kell<\/strong>, mert az ir\u00e1ny\u00edt\u00e1si rendszer \u00e9retts\u00e9ge a saj\u00e1t m\u00e9r\u00e9si gyakorlat\u00e1n is l\u00e1tszik.<\/p>\n\n\n\n Az AI ir\u00e1ny\u00edt\u00e1si rendszerben a monitoring, m\u00e9r\u00e9s \u00e9s elemz\u00e9s nem technikai mell\u00e9kfeladat, hanem a felel\u0151s m\u0171k\u00f6d\u00e9s egyik bizony\u00edt\u00e1si m\u00f3dja. A szervezet akkor j\u00e1r el \u00e9retten, ha nemcsak bevezeti az AI-t, hanem folyamatosan figyeli, hogyan teljes\u00edt, milyen kock\u00e1zatokat termel, hogyan reag\u00e1lnak r\u00e1 a felhaszn\u00e1l\u00f3k \u00e9s \u00e9rintettek, valamint milyen d\u00f6nt\u00e9sek sz\u00fcks\u00e9gesek a biztons\u00e1gos, jogszer\u0171 \u00e9s megb\u00edzhat\u00f3 m\u0171k\u00f6d\u00e9s fenntart\u00e1s\u00e1hoz. A m\u00e9r\u00e9s akkor v\u00e1lik val\u00f3di ir\u00e1ny\u00edt\u00e1ss\u00e1, amikor a sz\u00e1mokb\u00f3l tanul\u00e1s, a jelz\u00e9sekb\u0151l d\u00f6nt\u00e9s, a hib\u00e1kb\u00f3l pedig fejleszt\u00e9s lesz.<\/p>\n\n\n\n Amershi, S., Begel, A., Bird, C., DeLine, R., Gall, H., Kamar, E., Nagappan, N., Nushi, B., & Zimmermann, T. (2019). Software engineering for machine learning: A case study. 2019 IEEE\/ACM 41st International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP)<\/em>, 291\u2013300. https:\/\/doi.org\/10.1109\/ICSE-SEIP.2019.00042<\/p>\n\n\n\n Breck, E., Cai, S., Nielsen, E., Salib, M., & Sculley, D. (2017). The ML test score: A rubric for ML production readiness and technical debt reduction. 2017 IEEE International Conference on Big Data (Big Data)<\/em>, 1123\u20131132. https:\/\/doi.org\/10.1109\/BigData.2017.8258038<\/p>\n\n\n\n European Parliament & Council of the European Union. (2024). Regulation (EU) 2024\/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence<\/em>. Official Journal of the European Union. https:\/\/eur-lex.europa.eu\/eli\/reg\/2024\/1689\/oj\/eng<\/p>\n\n\n\n International Organization for Standardization. (2023a). ISO\/IEC 42001:2023: Information technology \u2014 Artificial intelligence \u2014 Management system<\/em>. ISO. https:\/\/www.iso.org\/standard\/81230.html<\/p>\n\n\n\n International Organization for Standardization. (2023b). ISO\/IEC 23894:2023: Information technology \u2014 Artificial intelligence \u2014 Guidance on risk management<\/em>. ISO. https:\/\/www.iso.org\/standard\/77304.html<\/p>\n\n\n\n Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency<\/em>, 220\u2013229. https:\/\/doi.org\/10.1145\/3287560.3287596<\/p>\n\n\n\nTeljes\u00edtm\u00e9nymutat\u00f3k, kontrollok \u00e9s bizony\u00edt\u00e9kok<\/h2>\n\n\n\n
Modellroml\u00e1s \u00e9s m\u0171k\u00f6d\u00e9si elt\u00e9r\u00e9sek felismer\u00e9se<\/h2>\n\n\n\n
Incidensek, visszajelz\u00e9sek \u00e9s \u00e9rintetti hat\u00e1sok elemz\u00e9se<\/h2>\n\n\n\n
A m\u00e9r\u00e9si eredm\u00e9nyek vezet\u0151i d\u00f6nt\u00e9ss\u00e9 alak\u00edt\u00e1sa<\/h2>\n\n\n\n
Felhaszn\u00e1lt szakirodalom<\/h2>\n\n\n\n