Identifikace zpráv o chybách zabezpečení na základě názvů reportů a nejasných dat

Abstraktní – Identifikace zpráv o chybách zabezpečení (SBR) je zásadním krokem životního cyklu vývoje softwaru. U přístupů založených na strojovém učení pod dohledem se obvykle předpokládá, že pro trénování jsou k dispozici celé zprávy o chybách a že jejich popisky jsou bez šumu. Podle našich znalostí je toto první studie, která ukazuje, že přesná predikce označení je možná pro SBRs, a to i v případě, že je k dispozici pouze název a za přítomnosti šumu v označení.

termíny indexu – strojové učení, chybné označení, šum, zpráva o chybách zabezpečení, úložiště chyb

I. ÚVOD

Identifikace problémů souvisejících se zabezpečením mezi nahlášenými chybami je nutností mezi týmy pro vývoj softwaru, jako jsou například problémy, které vyžadují urychliné opravy, aby splňovaly požadavky na dodržování předpisů a zajistily integritu softwaru a zákaznických dat.

Nástroje strojového učení a umělé inteligence slibují, že vývoj softwaru bude rychlejší, agilní a správný. Několik výzkumných pracovníků použilo strojové učení na problém identifikace chyb zabezpečení [2], [7], [8], [18]. Předchozí publikované studie předpokládají, že pro trénování a bodování modelu strojového učení je k dispozici celá zpráva o chybách. To není nutně případ. V situacích, kdy nelze zpřístupnit celou zprávu o chybě. Zpráva o chybě může například obsahovat hesla, osobní identifikační údaje (PII) nebo jiné druhy citlivých dat – případ, kterému momentálně čelíme v Microsoftu. Proto je důležité stanovit, jak dobře se dá identifikace chyby zabezpečení provést s využitím méně informací, například pokud je k dispozici pouze název zprávy o chybě.

Úložiště chyb navíc často obsahují nesprávně označené položky [7]: zprávy o chybách nesouvisející se zabezpečením klasifikované jako související se zabezpečením a naopak. Existuje několik důvodů, proč dochází k nesprávnému označování, od nedostatku odborných znalostí vývojového týmu o zabezpečení až po nejasnost některých problémů, například je možné, aby chyby nesouvisející se zabezpečením byly zneužity nepřímým způsobem, jak způsobit implikaci zabezpečení. Jedná se o závažný problém, protože chybné označování žádostí o přijetí změn vede k tomu, že odborníci na zabezpečení musí ručně zkontrolovat databázi chyb v nákladném a časově náročném úsilí. Pochopení toho, jak šum ovlivňuje různé klasifikátory a jak robustní (nebo křehké) různé techniky strojového učení jsou v přítomnosti datových sad kontaminovaných různými druhy šumu problém, který musí být vyřešen, aby bylo možné zajistit automatickou klasifikaci do praxe softwarového inženýrství.

Předběžná práce tvrdí, že úložiště chyb jsou vnitřně hlučná a že šum může mít nepříznivý vliv na klasifikátory strojového učení výkonu [7]. Chybí však jakákoli systematická a kvantitativní studie toho, jak různé úrovně a typy šumu ovlivňují výkon různých algoritmů strojového učení pod dohledem pro problém identifikace zpráv o chybách zabezpečení (SRB).

V této studii si ukážeme, že klasifikaci zpráv o chybách lze provést i v případě, že je k dispozici pouze název pro trénování a vyhodnocování. Podle našich vědomostí je toto úplně první práce, která to dělá. Kromě toho poskytujeme první systematickou studii vlivu šumu v klasifikaci zpráv o chybách. Provádíme srovnávací studii odolnosti tří technik strojového učení (logistická regrese, naïve Bayes a AdaBoost) proti šumu nezávislému na třídě.

I když existují některé analytické modely, které zachycují obecný vliv šumu u několika jednoduchých klasifikátorů [5], [6], tyto výsledky neposkytují úzké meze účinku šumu na přesnost a jsou platné pouze pro konkrétní techniku strojového učení. Přesná analýza vlivu šumu v modelech strojového učení se obvykle provádí spuštěním výpočetních experimentů. Tyto analýzy byly provedeny pro několik scénářů od dat o měření softwaru [4] až po klasifikaci satelitních obrázků [13] a lékařských údajů [12]. Tyto výsledky ale nelze přeložit na náš konkrétní problém, protože je vysoká závislost na povaze datových sad a základním problému klasifikace. Podle našich nejlepších znalostí neexistují žádné publikované výsledky specificky k problému dopadu hlučných datových sad na klasifikaci zpráv o chybách zabezpečení.

NAŠE VÝZKUMNÉ PŘÍSPĚVKY:

• Klasifikátory pro identifikaci zpráv o chybách zabezpečení (SBR) trénujeme výhradně na základě názvu zpráv. Podle našich nejlepších znalostí se jedná o první studii, která to provádí. Předchozí práce buď použila kompletní sestavu chyb, nebo vylepšila sestavu chyb dalšími doplňkovými funkcemi. Klasifikace chyb pouze na dlaždici je relevantní, pokud se kvůli obavám o ochraně osobních údajů nedají zpřístupnit úplné zprávy o chybách. Například je to notoricky známý případ zpráv o chybách, které obsahují hesla a další citlivá data.

• Poskytujeme také první systematickou studii odolnosti různých modelů strojového učení a technik proti šumu v popiscích, které se používají pro automatickou klasifikaci SBR. Provádíme srovnávací studii odolnosti tří různých technik strojového učení (logistická regrese, naïve Bayes a AdaBoost) proti šumu závislému na třídě a nezávislém na třídě.

Zbývající část dokumentu je prezentována takto: V části II prezentujeme některé z předchozích děl v literaturě. V části III popisujeme datovou sadu a způsob předběžného zpracování dat. Metodologie je popsaná v části IV a výsledky našich experimentů analyzovaných v části V. A konečně, naše závěry a budoucí práce jsou prezentovány ve VI.

II. PŘEDCHOZÍ PRÁCE

APLIKACE STROJOVÉHO UČENÍ K ÚLOŽIŠTÍM CHYB

Existuje rozsáhlá literatura týkající se použití dolování textu, zpracování přirozeného jazyka a strojového učení v úložištích chyb při pokusu o automatizaci pracných úloh, jako je detekce chyb zabezpečení [2], [7], [8], [18], identifikace duplicitních chyb [3], třídění chyb [1], [11], k pojmenování několika aplikací. V ideálním případě manželství strojového učení (ML) a zpracování přirozeného jazyka potenciálně snižuje ruční práci potřebnou ke kurátorování databází chyb, zkracuje požadovanou dobu pro provádění těchto úkolů a může zvýšit spolehlivost výsledků.

V [7] autoři navrhují model přirozeného jazyka, který automatizuje klasifikaci žádostí o přijetí změn na základě popisu chyby. Autoři extrahují slovní zásobu ze všech popisů chyb v trénovací sadě dat a ručně ji spravují do tří seznamů slov: relevantní slova, stop slova (běžná slova, která se zdají být pro klasifikaci irelevantní) a synonyma. Porovnávají výkon klasifikátoru chyb zabezpečení, který je natrénován na datech, která byla vyhodnocena techniky zabezpečení, a klasifikátoru natrénovaného na datech označených obecně zpravodaji chyb. I když je jejich model při trénování dat kontrolovaných bezpečnostními inženýry jasně efektivnější, navržený model je založený na ručně odvozené slovní zásobě, která je závislá na lidské curaci. Kromě toho neexistuje žádná analýza toho, jak různé úrovně šumu ovlivňují jejich model, jak různé klasifikátory reagují na šum a jestli šum v obou třídách ovlivňuje výkon odlišně.

Zou et. Al [18] využívá více typů informací obsažených ve zprávě o chybě, které zahrnují netextová pole zprávy o chybě (meta funkce, např. čas, závažnost a priorita) a textový obsah zprávy o chybě (textové funkce, tj. textová pole souhrnu). Na základě těchto vlastností vytvoří model, který automaticky identifikuje SBR pomocí technik strojového učení a zpracování přirozeného jazyka. V systému [8] autoři provádějí podobnou analýzu, ale navíc porovnávají výkon technik strojového učení pod dohledem a bez dohledu a studují, kolik dat je potřeba k trénování jejich modelů.

V [2] autoři také prozkoumávají různé techniky strojového učení, které klasifikují chyby jako SBR nebo NSBR (Zpráva o chybách nesouvisejících se zabezpečením) na základě jejich popisu. Navrhují kanál pro zpracování dat a trénování modelů na základě TFIDF. Porovnávají navrhovaný procesní řetězec s modelem založeným na bag-of-words a naivním Bayesovi. Wijayasekara et al. [16] také použili techniky dolování textu ke generování vektoru příznaků každé zprávy o chybě na základě častých slov k identifikaci Skrytých Dopadových Chyb (HIB). Yang et al. [17] tvrdil, že identifikuje zprávy o chybách s vysokým dopadem (např. SBR) s pomocí term frequency (TF) a naïve Bayes. V [9] autoři navrhují model, který predikuje závažnost chyby.

ŠUM V OZNAČENÍCH

Problém práce se sadami dat s šumem v popiscích byl široce zkoumán. Frenay a Verleysen navrhují taxonomii šumu štítků v [6], za účelem rozlišit různé typy hlučných štítků. Autoři navrhují tři různé typy šumu: šum popisků, který se vyskytuje nezávisle na skutečné třídě a hodnotách vlastností instance; šum popisků, který závisí pouze na skutečném popisku; a šum popisků, kde pravděpodobnost chybného označení také závisí na hodnotách vlastností. V naší práci zkoumáme první dva typy šumu. Z teoretického hlediska šum popisků obvykle snižuje výkon modelu [10], s výjimkou některých konkrétních případů [14]. Obecně platí, že robustní metody spoléhají na vyhnutí se přeurčení k řešení šumu popisků [15]. Studie účinků šumu v klasifikaci byla provedena dříve v mnoha oblastech, jako je klasifikace satelitních obrázků [13], klasifikace kvality softwaru [4] a klasifikace lékařské domény [12]. Podle našich nejlepších znalostí neexistují žádné publikované práce, které by zkoumaly přesnou kvantifikaci účinků hlučných popisků v problému klasifikace SBR. V tomto scénáři nebyl vytvořen přesný vztah mezi úrovněmi šumu, typy šumu a snížením výkonu. Navíc je vhodné pochopit, jak se různé klasifikátory chovají v přítomnosti šumu. Obecněji nevíme o žádné práci, která systematicky zkoumá účinek hlučných datových sad na výkon různých algoritmů strojového učení v kontextu zpráv o chybách softwaru.

III. POPIS SADY DAT

Naše datová sada se skládá z 1 073 149 názvů chyb, z nichž 552 073 odpovídá SBRs a 521 076 NSBRs. Data byla shromážděna z různých týmů v Microsoftu v letech 2015, 2016, 2017 a 2018. Všechny popisky byly získány buď systémy ověřování chyb založenými na podpisu, nebo byly označeny lidmi. Názvy chyb v naší sadě dat jsou velmi krátké texty, které obsahují přibližně 10 slov s přehledem problému.

A. Předběžné zpracování dat analyzujeme názvy jednotlivých chyb podle prázdných mezer, což vede k seznamu tokenů. Každý seznam tokenů zpracováváme následujícím způsobem:

• Odebrání všech tokenů, které jsou cestami k souborům

• Rozdělení tokenů, kde jsou přítomny následující symboly: { , (, ), -, }, {, [, ], }

• Odeberte slova stop , tokeny, které se skládají pouze číselnými znaky a tokeny, které se v celém korpusu zobrazují méně než 5krát.

IV. METODOLOGIE

Proces trénování našich modelů strojového učení se skládá ze dvou hlavních kroků: kódování dat do vektorů funkcí a trénování klasifikátorů strojového učení pod dohledem.

A. Vektory funkcí a techniky strojového učení

První část zahrnuje kódování dat do vektorů příznaků pomocí algoritmu frekvence termínů-inverzní frekvence dokumentů (TF-IDF), jak je použito v [2]. TF-IDF je technika načítání informací, která váží frekvenci termínů (TF) a její inverzní frekvenci dokumentů (IDF). Každé slovo nebo termín má příslušné skóre TF a IDF. Algoritmus TF-IDF přiřadí danému slovu důležitost na základě počtu výskytů v dokumentu a důležitější je, že kontroluje, jak relevantní je klíčové slovo v celé kolekci názvů v sadě dat. Vytrénovali jsme a porovnávali tři klasifikační techniky: naïve Bayes (NB), posílené rozhodovací stromy (AdaBoost) a logistickou regresi (LR). Tyto techniky jsme zvolili, protože se ukázaly, že dobře fungují pro související úlohu identifikace zpráv o chybách zabezpečení na základě celé zprávy v literaturě. Tyto výsledky byly potvrzeny v předběžné analýze, kde tyto tři klasifikátory překonaly podpůrné vektorové stroje a náhodné lesy. V našich experimentech využíváme knihovnu scikit-learn pro kódování a trénování modelů.

B. Typy šumu

Šum, který se v této práci zkoumá, odkazuje na šum v popisku třídy v trénovacích datech. Za přítomnosti takového hluku je v důsledku toho proces učení a výsledný model poškozen nesprávnými příklady. Analyzujeme dopad různých úrovní šumu použitých na kategorické informace. Typy šumu popisků byly popsány dříve v literaturě pomocí různých terminologií. V naší práci analyzujeme účinek dvou různých šumů v našich klasifikátorech: šum nezávislý na třídě, který je zaveden náhodným výběrem instancí a změnou jejich popisku; a šum závislý na třídě, kde třídy mají různou pravděpodobnost být hlučné.

a) šum nezávislý na třídě: Šum nezávislý na třídě značí šum, který se vyskytuje nezávisle na skutečné třídě instancí. V tomto typu šumu je pravděpodobnost chybného označování p_br stejná pro všechny instance v sadě dat. Do sad dat zavádíme šum nezávislý na třídě tak, že náhodně překlopíme každý popisek v sadě dat s pravděpodobností p_br.

b) šum závislý na třídě: Šum závislý na třídě odkazuje na šum, který závisí na skutečné třídě instancí. V tomto typu šumu je pravděpodobnost chybného označování ve třídě SBR p_sbr a pravděpodobnost chybného označování ve třídě NSBR je p_nsbr. Zavádíme šum závislý na třídě v naší sadě dat tak, že převrátíme každý záznam v datové sadě, pro který je pravý štítek SBR s pravděpodobností p_sbr. Obdobně změníme klasifikátor instancí NSBR s pravděpodobností p_nsbr.

c) Jednotřídový šum: Jednotřídový šum je zvláštní případ šumu závislého na třídě, kde p_nsbr = 0 a p_sbr> 0. Všimněte si, že pro šum nezávislý na třídě máme p_sbr = p_nsbr = p_br.

C. Generování šumu

Naše experimenty prošetřují dopad různých typů šumu a úrovní při trénování klasifikátorů SBR. V našich experimentech jsme nastavili 25% datové sady jako testovací data, 10% jako ověřovací data a 65% jako trénovací data.

Do sad trénovacích a ověřovacích dat přidáváme šum pro různé úrovně p_br, p_sbr a p_nsbr . Neprovdáme žádné úpravy testovací datové sady. Použité různé úrovně šumu jsou P = {0,05 × i|0 < i < 10}.

Pro p_br ∈ P při experimentech hluku nezávislých na třídě provedeme následující:

• Generování šumu pro trénovací a ověřovací sady dat;

• Trénování logistické regrese, naïve Bayes a modelů AdaBoost pomocí trénovací datové sady (s šumem); * Ladění modelů pomocí ověřovací sady dat (s šumem);

• Testování modelů pomocí testovací datové sady (bez šumu)

V experimentech se šumem závislým na třídě, pro p_sbr ∈ P a p_nsbr ∈ P, provádíme následující postup pro všechny kombinace p_sbr a p_nsbr:

• Generování šumu pro trénovací a ověřovací sady dat;

• Trénování logistické regrese, naïve Bayes a modelů AdaBoost pomocí trénovací datové sady (s šumem);

• Ladění modelů pomocí ověřovací sady dat (s šumem);

• Testování modelů pomocí testovací datové sady (bez šumu)

V. EXPERIMENTÁLNÍ VÝSLEDKY

V této části analyzujte výsledky experimentů provedených podle metodologie popsané v části IV.

a) Výkon modelu bez šumu v trénovací sadě dat: Jedním z příspěvků tohoto dokumentu je návrh modelu strojového učení k identifikaci chyb zabezpečení pomocí názvu chyby jako dat pro rozhodování. To umožňuje trénování modelů strojového učení i v případě, že vývojové týmy nechtějí v plném rozsahu sdílet zprávy o chybách kvůli přítomnosti citlivých dat. Porovnáme výkon tří modelů strojového učení při trénování s použitím pouze názvů chyb.

Model logistické regrese je nejvýkonnější klasifikátor. Je to klasifikátor s nejvyšší hodnotou AUC, která je 0,9826, s návraťí 0,9353 pro hodnotu FPR 0,0735. Klasifikátor naivní Bayes vykazuje o něco nižší výkon než klasifikátor logistické regrese, s hodnotou AUC 0,9779 a citlivostí 0,9189 při FPR 0,0769. Klasifikátor AdaBoost má oproti dvěma dříve zmíněným klasifikátorům nižší výkon. Dosahuje AUC 0,9143 a citlivosti 0,7018 pro FPR 0,0774. Oblast pod křivkou ROC (AUC) je dobrou metrikou pro porovnání výkonu několika modelů, protože shrnuje jednu hodnotu TPR vs. vztah FPR. V následné analýze omezíme srovnávací analýzu na hodnoty AUC.

A. Třídní šum: jedna třída

Můžete si představit scénář, kdy se ve výchozím nastavení všechny chyby přiřazují ke třídě NSBR, a chyba bude přiřazena pouze ke třídě SBR, pokud existuje odborník na zabezpečení, který kontroluje úložiště chyb. Tento scénář je reprezentován v experimentálním nastavení s jednou třídou, kde předpokládáme, že p_nsbr = 0 a 0 < p_sbr< 0,5.

Z tabulky II vidíme velmi malý dopad v AUC pro všechny tři klasifikátory. AUC-ROC z modelu vytrénovaného na p_sbr = 0 ve srovnání s AUC-ROC modelem, kde p_sbr = 0,25, se liší o 0,003 pro logistickou regresi, 0,006 pro naïve Bayes a 0,006 pro AdaBoost. V případě p_sbr = 0,50 se AUC naměřené pro každý z modelů liší od modelu natrénovaného s p_sbr = 0 o 0,007 pro logistickou regresi, 0,011 pro naivní Bayes a 0,010 pro AdaBoost. Klasifikátor logistické regrese vytrénovaný v přítomnosti šumu s jednou třídou představuje nejmenší variaci v metrice AUC, tj. robustnější chování v porovnání s našimi klasifikátory naïve Bayes a AdaBoost.

B. Hluk třídy: nezávislý na třídě

Porovnáme výkon našich tří klasifikátorů pro případ, kdy je trénovací sada poškozena šumem nezávislým na třídě. Měříme AUC pro každý model natrénovaný s různými úrovněmi p_br v trénovacích datech.

V tabulce III vidíme snížení AUC-ROC pro každý nárůst šumu v experimentu. AUC-ROC měřené z modelu natrénovaného na základě dat bez šumu v porovnání s AUC-ROC modelu trénovaným s šumem nezávislým na třídě s p_br = 0,25 se liší o 0,011 pro logistickou regresi, 0,008 pro naïve Bayes a 0,0038 pro AdaBoost. Vidíme, že šum popisků nemá vliv na AUC klasifikátorů naïve Bayes a AdaBoost, pokud jsou úrovně šumu nižší než 40%. Naproti tomu klasifikátor logistické regrese má vliv na míru AUC pro úrovně šumu popisků nad 30%.

Obr. 1. Variace AUC-ROC v šumu nezávislém na třídě. Pro úroveň šumu p_br =0,5 klasifikátor funguje jako náhodný klasifikátor, tj. AUC≈0.5. Můžeme ale pozorovat, že u nižších úrovní šumu (p_br ≤0.30) představuje logistická regresní výuka lepší výkon v porovnání s ostatními dvěma modely. Pro 0.35≤ p_br ≤0.45 naivní Bayesův klasifikátor představuje lepší metriky AUCROC.

C. Šum třídy: závislý na třídě

V konečné sadě experimentů zvažujeme scénář, ve kterém různé třídy obsahují různé úrovně šumu, to je p_sbr ≠ p_nsbr. Systematicky zvýšíme p_sbr a p_nsbr nezávisle na 0,05 v trénovacích datech a sledujeme změnu chování tří klasifikátorů.

AdaBoost

Tabulky IV, V, VI ukazují, jak se AUC mění s tím, jak se šum v každé třídě zvyšuje na různých úrovních: pro logistickou regresi v tabulce IV, pro naivní Bayes v tabulce V a pro AdaBoost v tabulce VI. U všech klasifikátorů zaznamenáváme, že úroveň šumu vyšší než 30%v obou třídách ovlivňuje metriku AUC. Naïve Bayes se chová robustně. Dopad na AUC je velmi malý, i když je 50% štítků v kladné třídě obrácených, za předpokladu, že záporná třída obsahuje 30% hlučných štítků nebo méně. V tomto případě je pokles v AUC o 0,03. AdaBoost představil nej robustnější chování všech tří klasifikátorů. Významná změna v AUC nastane pouze při úrovních šumu nad 45% v obou třídách. V takovém případě začneme pozorovat rozpad AUC větší než 0,02.

D. Přítomnost zbytkového šumu v původní sadě dat

Naše datová sada byla označena automatizovanými systémy založenými na podpisech a lidskými odborníky. Kromě toho byly všechny zprávy o chybách dále zkontrolovány a uzavřeny lidskými odborníky. Přestože očekáváme, že množství šumu v naší sadě dat je minimální a statisticky nevýznamné, přítomnost zbytkového šumu naše závěry nezneplatňuje. Za účelem ilustrace předpokládejme, že původní datová sada je poškozena šumem nezávislým na třídě rovnajícím se 0 < p < 1/2, nezávisle a identicky distribuovaným (i.i.d) pro každou položku.

Pokud na základě původního šumu přidáme šum nezávislý na třídě s pravděpodobností p_br i.i.d, výsledný šum na položku bude p∗ = p(1 − p_br )+(1 − p)p_br . Pro 0 < p,p_br< 1/2 máme, že skutečný šum na štítek p∗ je přísně větší než šum, který uměle přidáváme do datové sady p_br . Na prvním místě by výkon našich klasifikátorů byl ještě lepší, kdyby byly natrénovány pomocí zcela bezšumové datové sady (p = 0). V souhrnu existence zbytkového šumu ve skutečné sadě dat znamená, že odolnost proti šumu našich klasifikátorů je lepší než zde prezentované výsledky. Pokud by byl reziduální šum v naší sadě dat statisticky relevantní, hodnota AUC našich klasifikátorů by se stala 0,5 (náhodný odhad) pro úroveň šumu přísně menší než 0,5. V našich výsledcích takové chování nepozorujeme.

VI. ZÁVĚRY A BUDOUCÍ PRÁCE

Náš příspěvek v tomto dokumentu je dvojí.

Zaprvé jsme ukázali proveditelnost klasifikace zpráv o chybách zabezpečení na základě názvu zprávy o chybě. To je zvlášť relevantní ve scénářích, kdy není k dispozici celá zpráva o chybách kvůli omezením ochrany osobních údajů. V našem případě například zprávy o chybách obsahovaly soukromé informace, jako jsou hesla a kryptografické klíče, a nebyly k dispozici pro trénování klasifikátorů. Výsledek ukazuje, že identifikaci SBR je možné provádět s vysokou přesností i v případě, že jsou k dispozici pouze názvy sestav. Náš klasifikační model, který využívá kombinaci TF-IDF a logistické regrese, dosahuje AUC 0,9831.

Zadruhé jsme analyzovali účinek nesprávně označených trénovacích a ověřovacích dat. Porovnávali jsme tři dobře známé techniky klasifikace strojového učení (naïve Bayes, logistickou regresi a AdaBoost) z hlediska jejich odolnosti vůči různým typům šumu a úrovním šumu. Všechny tři klasifikátory jsou robustní pro šum v jedné třídě. Šum v trénovacích datech nemá žádný významný vliv na výsledný klasifikátor. Snížení AUC je velmi malé (0,01) pro úroveň hluku 50%. U šumu přítomného v obou třídách, který je navíc na třídě nezávislý, vykazují modely Naive Bayes a AdaBoost významné odchylky v AUC pouze pokud jsou trénovány s datovou sadou, která má úrovně šumu větší než 40%.

A konečně, šum závislý na třídě významně ovlivňuje AUC pouze v případě, že je více než 35% šum v obou třídách. AdaBoost ukázal největší odolnost. Dopad na AUC je velmi malý i v případě, že kladná třída má 50% hlučných popisků, za předpokladu, že záporná třída obsahuje 45% hlučných popisků nebo méně. V tomto případě je pokles V AUC menší než 0,03. Podle našich nejlepších znalostí je to první systematická studie o vlivu hlučných datových sad na identifikaci zpráv o bezpečnostních chybách.

Budoucí projekty

V tomto dokumentu jsme zahájili systematickou studii účinků šumu při výkonu klasifikátorů strojového učení pro identifikaci chyb zabezpečení. Tato práce obsahuje několik zajímavých pokračování, včetně: zkoumání účinku hlučných datových sad při určování úrovně závažnosti chyby zabezpečení; pochopení vlivu nevyváženosti tříd na odolnost trénovaných modelů proti šumu; porozumění vlivu šumu, který je nežádoucím způsobem zavedený v sadě dat.

ODKAZY

[1] John Anvik, Lyndon Hiew a Gail C Murphy. Kdo by měl tuto chybu opravit? In Proceedings of the 28th international conference on Software Engineering, pages 361–370. ACM, 2006.

[2] Diksha Behl, Sahil Handa a Anuja Arora. Nástroj pro dolování chyb k identifikaci a analýze chyb zabezpečení pomocí naïve bayes a tf-idf. Na konferenci Optimalizace, Spolehlivost a Informační Technologie (ICROIT), Mezinárodní konference 2014, strany 294–299. IEEE, 2014.

[3] Nicolas Bettenburg, Rahul Premraj, Thomas Zimmermann a Sunghun Kim. Považují se duplicitní zprávy o chybách za škodlivé, skutečně? V Údržba softwaru 2008. ICSM 2008. Mezinárodní konference IEEE o, str. 337–345. IEEE, 2008.

[4] Andres Folleco, Taghi M Khoshgoftaar, Jason Van Hulse a Lofton Bullard. Identifikace studentů odolných vůči datům nízké kvality V Opětovné použití a integrace informací, 2008. IRI 2008. Mezinárodní konference IEEE o, stránky 190–195. IEEE, 2008.

[5] Benoˆıt Frenay.' Nejistota a šum v označení ve strojovém učení. PhD práce, katolická univerzita Louvain, Louvain-la-Neuve, Belgie, 2013.

[6] Benoˆıt Frenay a Michel Verleysen. Klasifikace v přítomnosti šumu v popiscích: průzkum. IEEE transakce o neurálních sítích a systémech učení, 25(5):845–869, 2014.

[7] Michael Gegick, Pete Rotella a Tao Xie. Identifikace zpráv o chybách zabezpečení prostřednictvím dolování textu: Průmyslová případová studie. Na Mining software repositories (MSR), 7. pracovní konferenci IEEE v roce 2010 o, stránky 11–20. IEEE, 2010.

[8] Katerina Goseva-Popstojanova a Jacob Tyo. Identifikace zpráv o bezpečnostních chybách pomocí těžby textu za použití řízené a neřízené klasifikace. V 2018 IEEE Mezinárodní konferenci o kvalitě, spolehlivosti a bezpečnosti softwaru (QRS), str. 344–355, 2018.

[9] Ahmed Lamkanfi, Serge Demeyer, Emanuel Giger a Bart Goethals. Predikce závažnosti nahlášené chyby Na konferenci "Mining Software Repositories" (MSR), na 7. pracovní konferenci IEEE v roce 2010 na, strany 1–10. IEEE, 2010.

[10] Naresh Manwani a PS Sastry. Odolnost proti šumu při minimalizaci rizika. transakce IEEE týkající se kybernetiky, 43(3):1146–1151, 2013.

[11] G Murphy a D Cubranic. Automatické třídění chyb pomocí kategorizace textu V Proceedings of the 16th International Conference on Software Engineering & Knowledge Engineering. Citeseer, 2004.

[12] Mykola Pechenizkiy, Alexey Tsymbal, Seppo Puuronen a Oleksandr Pechenizkiy. Šum třídy a učení pod dohledem v lékařských oblastech: Účinek extrakce funkcí. V null, stránky 708–713. IEEE, 2006.

[13] Charlotte Pelletier, Silvia Valero, Jordi Inglada, Nicolas Champion, Claire Marais Sicre a Gerard Dedieu. Účinek šumu popisků trénovacích tříd na klasifikační výkony pro mapování pozemního pokrytí s časovými řadami satelitních snímků. Vzdáleného snímání, 9(2):173, 2017.

[14] PS Sastry, GD Nagendra a Naresh Manwani. Tým učících automatů pro nepřetržité akční učení odolné vůči šumu v poloprostorách. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 40(1):19–28, 2010.

[15] Choh-Man Teng. Porovnání technik zpracování šumu. V konferenci FLAIRS, stránky 269–273, 2001.

[16] Dumidu Wijayasekara, Milos Manic a Miles McQueen. Identifikace a klasifikace ohrožení zabezpečení prostřednictvím databází chyb dolování textu Ve Society for Industrial Electronics, IECON 2014 - 40. výroční konference IEEE, stránky 3612–3618. IEEE, 2014.

[17] Xinli Yang, David Lo, Qiao Huang, Xin Xia a Jianling Sun. Automatizovaná identifikace zpráv o chybách s vysokým dopadem využívající nevyrovnané strategie učení Na konferenci Computer Software and Applications Conference (COMPSAC), 2016 IEEE 40th Annual, svazek 1, strany 227–232. IEEE, 2016.

[18] Deqing Zou, Zhijun Deng, Zhen Li a Hai Jin. Automatická identifikace zpráv o chybách zabezpečení prostřednictvím analýzy funkcí s více typy V Australasian Conference on Information Security and Privacy, stránky 619–633. Springer, 2018.