Új folyóiratcikk: MI-modellek értékelése címkék nélkül

Hogyan értékeljük az anomáliadetektáló modelleket, ha nem állnak rendelkezésre címkék? Ez a kihívás áll Jiyan Salim Mahmud, Zakarya Farou és Lendák Imre új tanulmányának középpontjában.

A Complex & Intelligent Systems folyóiratban megjelent cikk bemutatja az ASOI-t (Anomaly Separation and Overlap Index) - egy új, kifejezetten felügyelet nélküli (unsupervised) anomáliadetektáláshoz tervezett belső értékelési metrikát.

Minőségbecslés közvetlenül az adatokból A hagyományos, ismert címkékre (ground truth) támaszkodó megközelítésekkel ellentétben az ASOI lehetővé teszi a modell minőségének becslését közvetlenül az adatok alapján. A javasolt módszer a szeparáció-alapú értékelésre épít, de számol a normál és az anomáliát tartalmazó minták közötti átfedéssel is, így a metrika megbízhatóbb olyan valós környezetben, ahol a határok gyakran elmosódnak.

A kísérleti eredmények azt mutatják, hogy az ASOI a gyakran használt belső metrikákhoz képest erősebben korrelál a külső teljesítménymutatókkal (például az F1-score-ral).

A Tanszék gratulál a szerzőknek a megbízható, címkementes értékelés területén elért eredményükhöz.

A cikk itt érhető el.