Определение отчетов об ошибках безопасности на основе заголовков отчетов и шумных данных

Аннотация — Определение отчетов об ошибках безопасности (SBR) является ключевым шагом в жизненном цикле разработки программного обеспечения. В контролируемых подходах на основе машинного обучения обычно предполагается, что все отчеты об ошибках доступны для обучения и что их метки не содержат шума. Насколько нам известно, это первое исследование, показывающее, что точное прогнозирование меток возможно для SBR, даже если доступно только название и в условиях шума меток.

индексные термины — машинное обучение, ошибочное присвоение меток, шум, отчет об ошибках безопасности, базы данных ошибок

Я. ВВЕДЕНИЕ

Выявление проблем, связанных с безопасностью среди обнаруженных ошибок, является насущной потребностью в группах разработчиков программного обеспечения, так как такие проблемы вызывают более быстрые исправления для удовлетворения требований соответствия требованиям и обеспечения целостности данных программного обеспечения и клиентов.

Средства машинного обучения и искусственного интеллекта обещают ускорить разработку программного обеспечения, гибкую и правильную. Несколько исследователей применили машинное обучение к проблеме выявления ошибок безопасности [2], [7], [8], [18]. Предыдущие опубликованные исследования предполагают, что весь отчет об ошибках доступен для обучения и оценки модели машинного обучения. Это не обязательно так. Существуют ситуации, когда весь отчет об ошибках не может быть доступен. Например, отчет об ошибке может содержать пароли, личные сведения (PII) или другие типы конфиденциальных данных— дело, с которыми мы сталкиваемся в настоящее время в Корпорации Майкрософт. Поэтому важно установить, насколько хорошо идентификация ошибок безопасности может выполняться с помощью меньшей информации, например, если доступно только название отчета об ошибке.

Кроме того, баг-трекеры часто содержат неправильные записи [7]: отчёты об ошибках, не связанных с безопасностью, классифицируются как связанные с безопасностью и наоборот. Существует несколько причин возникновения неправильной маркировки, включая недостаточную компетентность команды разработчиков в вопросах безопасности или неясность некоторых проблем, например, небезопасные ошибки можно использовать косвенным образом, что может привести к проблемам безопасности. Это серьезная проблема, так как неправильная маркировка SBR приводит к тому, что эксперты по безопасности вручную просматривают базу данных ошибок, что требует дорогостоящих и трудоемких усилий. Понимание того, как шум влияет на различные классификаторы и как надежные (или хрупкие) различные методы машинного обучения находятся в присутствии наборов данных, загрязненных различными видами шума, является проблемой, которая должна быть решена для обеспечения автоматической классификации в практике программного проектирования.

Предварительная работа утверждает, что репозитории ошибок являются внутренне шумными и что шум может оказать негативное влияние на классификаторы машинного обучения производительности [7]. Однако нет никакого систематического и количественного изучения того, как различные уровни и типы шума влияют на производительность различных защищенных алгоритмов машинного обучения для проблемы выявления отчетов об ошибках безопасности (SRBS).

В этом исследовании показано, что классификация отчетов об ошибках может выполняться даже при наличии исключительно заголовка для обучения и оценки. Насколько нам известно, это первая работа, которая это делает. Кроме того, мы предоставляем первое систематическое исследование влияния шума в классификации отчетов об ошибках. Мы делаем сравнительное исследование надежности трех методов машинного обучения (логистическая регрессия, наивный Байес и AdaBoost) против независимого от класса шума.

Хотя существуют некоторые аналитические модели, которые фиксируют общее влияние шума для нескольких простых классификаторов [5], [6], эти результаты не обеспечивают жесткие границы влияния шума на точность и допустимы только для определенного метода машинного обучения. Точный анализ влияния шума в моделях машинного обучения обычно выполняется путем выполнения вычислительных экспериментов. Такие анализы были выполнены для нескольких сценариев, начиная от данных измерения программного обеспечения [4], до классификации спутниковых изображений [13] и медицинских данных [12]. Тем не менее эти результаты не могут быть преобразованы в нашу конкретную проблему из-за его высокой зависимости от характера наборов данных и базовой проблемы классификации. Насколько нам известно, нет опубликованных данных о влиянии шумных наборов данных на классификацию отчетов об ошибках безопасности в частности.

НАШИ ИССЛЕДОВАТЕЛЬСКИЕ ВКЛАДЫ:

• Мы обучаем классификаторы для идентификации отчетов об ошибках безопасности (SBR) исключительно на основе названия отчетов. Насколько нам известно, эта работа является первой в этом направлении. Предыдущие работы либо использовали полный отчет об ошибках, либо улучшили отчет об ошибке с дополнительными функциями. Классификация ошибок, основанных исключительно на плитке, особенно актуальна, когда полные отчеты об ошибках не могут быть доступны из-за проблем конфиденциальности. Например, известно, что отчеты об ошибках содержат пароли и другие конфиденциальные данные.

• Мы также предоставляем первое систематическое исследование устойчивости к шуму меток различных моделей машинного обучения и методов, используемых для автоматической классификации SBR. Мы делаем сравнительное исследование надежности трех различных методов машинного обучения (логистическая регрессия, наивный Байес и AdaBoost) против зависимого от класса и независимого от класса шума.

Оставшаяся часть документа представлена следующим образом: в разделе II мы представляем некоторые из предыдущих работ в литературе. В разделе III мы описываем набор данных и способ предварительной обработки данных. Методология описана в разделе IV и результаты наших экспериментов, проанализированных в разделе V. Наконец, наши выводы и будущие работы представлены в VI.

II. ПРЕДЫДУЩИЕ РАБОТЫ

ПРИЛОЖЕНИЯ МАШИННОГО ОБУЧЕНИЯ ДЛЯ РЕПОЗИТОРИЕВ ОШИБОК.

Существует обширная литература в применении интеллектуального анализа текста, обработки естественного языка и машинного обучения для репозиториев ошибок в попытке автоматизировать трудоемкие задачи, такие как обнаружение ошибок безопасности [2], [7], [8], [18], идентификация повторяющихся ошибок [3], триаж ошибок [1], [11], чтобы назвать несколько приложений. В идеале брак машинного обучения и обработки естественного языка потенциально снижает нагрузку вручную, необходимую для курирования баз данных ошибок, сокращая необходимое время для выполнения этих задач и может повысить надежность результатов.

В [7] авторы предлагают модель естественного языка для автоматизации классификации SBR на основе описания ошибки. Авторы извлекают словарь из всех описаний ошибок в обучающем наборе данных и вручную разбивают его на три списка слов: подходящие слова, стоп-слова (распространенные слова, которые кажутся неуместными для классификации), и синонимы. Они сравнивают производительность классификатора ошибок безопасности, обученного на данных, которые оцениваются инженерами безопасности, и классификатора, обученного на данных, помеченных отправителями отчётов об ошибках. Хотя их модель, очевидно, более эффективна при обучении на данных, которые проверяются инженерами безопасности, предлагаемая модель основана на вручную производном словаре, что делает её зависимой от человеческого кураторства. Кроме того, нет анализа того, как различные уровни шума влияют на свою модель, как разные классификаторы реагируют на шум, и если шум в любом классе влияет на производительность по-разному.

Зу и т. д. al [18] использует несколько типов сведений, содержащихся в отчете об ошибках, которые включают нетекстовые поля отчета об ошибке (мета-функции, например, время, серьезность и приоритет) и текстовое содержимое отчета об ошибке (текстовые функции, т. е. текст в полях сводки). На основе этих функций они создают модель для автоматической идентификации SBR с помощью методов обработки естественного языка и машинного обучения. В [8] авторы выполняют аналогичный анализ, но кроме того, они сравнивают производительность защищенных и неконтролируемых методов машинного обучения, а также изучают, сколько данных требуется для обучения своих моделей.

В [2] авторы также исследуют различные методы машинного обучения для классификации ошибок как SBRs или NSBRs (отчетов об ошибках, не связанных с безопасностью) на основе их описания. Они предлагают конвейер для обработки данных и обучения модели на основе TFIDF. Они сравнивают проектируемую систему с моделью, основанной на мешке слов и наивном Байесе. Wijayasekara et al. [16] также использовали методы интеллектуального анализа текста для создания вектора признаков каждого отчета об ошибке на основе часто встречающихся слов для выявления ошибок с скрытым влиянием (HIBs). Yang et al. [17] утверждали, что могут определить отчеты об ошибках с высоким влиянием (например, SBR) с помощью частоты терминов (TF) и наивного Байеса. В [9] авторы предлагают модель для прогнозирования серьезности ошибки.

Шум в метках

Проблема работы с наборами данных с шумом меток была подробно изучена. Frenay и Verleysen предлагают таксономию шумов меток в [6], чтобы различать различные типы шумов меток. Авторы предлагают три различных типа шума: шум метки, который возникает независимо от истинного класса и значений признаков экземпляра; шум метки, зависящий только от истинной метки; и шум меток, где вероятность неправильного обозначения также зависит от значений признаков. В нашей работе мы изучаем первые два типа шума. С точки зрения теории шум меток обычно уменьшает производительность модели [10], за исключением некоторых конкретных случаев [14]. Как правило, надежные методы полагаются на избыточность избегания для обработки шума меток [15]. Исследование эффектов шума в классификации было сделано раньше во многих областях, таких как классификация спутниковых изображений [13], классификация качества программного обеспечения [4] и классификация медицинских доменов [12]. Насколько нам известно, нет опубликованных работ, изучающих точное квантование влияния шумных меток в задаче классификации SBR. В этом сценарии не было установлено точное отношение между уровнями шума, типами шума и снижением производительности. Кроме того, стоит понять, как разные классификаторы ведут себя в присутствии шума. Как правило, мы не знаем о любой работе, которая систематически изучает влияние шумных наборов данных на производительность различных алгоритмов машинного обучения в контексте отчетов об ошибках программного обеспечения.

III. ОПИСАНИЕ НАБОРА ДАННЫХ

Наш набор данных состоит из 1 073 149 заголовков ошибок, 552 073 из которых соответствуют SBR и 521 076 NSBR. Данные были собраны из различных групп майкрософт в 2015 году, 2016, 2017 и 2018 годах. Все метки были получены сигнатурными системами проверки ошибок или человеческими метками. Заголовки ошибок в нашем наборе данных являются очень короткими текстами, содержащими около 10 слов, с обзором проблемы.

A. Предварительная обработка данных: мы разбиваем каждое название ошибки по пробелам, получая список токенов. Мы обрабатываем каждый список маркеров следующим образом:

• Удаление всех маркеров, которые являются путями к файлам

• Разделенные маркеры, в которых присутствуют следующие символы: { , (, ), -, }, {, [, ], }

• Удалите стоп-слова, токены, состоящие только из числовых символов, и токены, которые появляются менее 5 раз во всем корпусе.

IV. МЕТОДОЛОГИЯ

Процесс обучения наших моделей машинного обучения состоит из двух основных этапов: кодирования данных в векторы функций и классификаторов защищенного машинного обучения.

A. Векторы функций и методы машинного обучения

Первая часть включает кодирование данных в векторы признаков с использованием алгоритма tf-idf (частотность термина — обратная частотность документа) (TF-IDF), как показано в [2]. TF-IDF — это метод получения информации, который взвешивает частоту терминов (TF) и ее обратную частоту документа (IDF). Каждое слово или термин имеет соответствующую оценку TF и IDF. Алгоритм TF-IDF присваивает этому слову важность в зависимости от количества отображаемых в документе значений, и, что более важно, проверяет, насколько релевантно ключевое слово в коллекции заголовков в наборе данных. Мы обучили и сравнили три метода классификации: наивный Байес (NB), усиленные деревья решений (AdaBoost) и логистическая регрессия (LR). Мы выбрали эти методы, так как они продемонстрировали хорошую производительность для связанной задачи выявления отчетов об ошибках безопасности на основе полного отчета в литературе. Эти результаты были подтверждены в предварительном анализе, где данные три классификатора превзошли метод опорных векторов и случайные леса. В наших экспериментах мы используем библиотеку scikit-learn для кодирования и обучения модели.

B. Типы шума

Шум, изученный в этой работе, относится к шуму в классовой метке в данных для обучения. В присутствии такого шума, в результате, процесс обучения и результирующая модель затрудняются ошибочно маркированными примерами. Мы анализируем влияние различных уровней шума, применяемых к информации о классе. Типы шумов меток были рассмотрены ранее в литературе с использованием различных терминологий. В нашей работе мы анализируем эффекты двух различных видов шума меток в наших классификаторах: классонезависимый шум меток, возникающий при случайном выборе экземпляров и изменении их меток; и классозависимый шум, при котором разные классы имеют различную вероятность возникновения шума.

a) Шум, не зависящий от класса: Шум, не зависящий от класса, — это шум, который возникает независимо от истинного класса экземпляров. В этом типе шума вероятность неправильной маркировки p_br одинакова для всех экземпляров в наборе данных. Мы внедряем в наборы данных шум, который не зависит от класса, переворачивая каждую метку в наборе данных случайным образом с вероятностью p_br.

b) шум, зависящий от класса: Шум, зависящий от класса, описывает шум, который зависит от истинного класса данных экземпляров. В этом типе шума вероятность неправильного присвоения меток в классе SBR составляет p_sbr, а вероятность неправильной маркировки в классе NSBR — p_nsbr. Мы введем шум, зависящий от класса, в набор данных, изменяя каждую запись, для которой истинная метка — SBR, с вероятностью p_sbr. Аналогично, мы перевернем метку класса экземпляров NSBR с вероятностью p_nsbr.

c) шум одного класса: шум одного класса — это особый случай шумов, зависимых от класса, где p_nsbr = 0 и p_sbr> 0. Обратите внимание, что для шума, независимого от класса, у нас есть p_sbr = p_nsbr = p_br.

C. Создание шума

Наши эксперименты изучают влияние различных типов шума и уровней в обучении классификаторов SBR. В наших экспериментах мы задали 25% набора данных в качестве тестовых данных, 10% в качестве проверки и 65% в качестве обучающих данных.

Мы добавляем шум в наборы данных обучения и проверки для различных уровней p_br, p_sbr и p_nsbr. Мы не вносим никаких изменений в тестовый набор данных. Используются различные уровни шума : P = {0,05 × i|0 < i < 10}.

В экспериментах с шумом независимо от класса для p_br ∈ P мы делаем следующее:

• Создание шума для наборов данных обучения и проверки;

• Обучение моделей логистической регрессии, наивного Байеса и AdaBoost с помощью обучающего набора данных (с шумом); * Настройка моделей с помощью валидационного набора данных (с шумом);

• Тестовые модели с помощью тестового набора данных (без шума).

В экспериментах, зависящих от класса, для p_sbr ∈ P и p_nsbr ∈ P мы делаем следующее для всех комбинаций p_sbr и p_nsbr:

• Создание шума для наборов данных обучения и проверки;

• Обучите модели логистической регрессии, наивного Байеса и AdaBoost, используя обучающий набор данных (с шумом).

• Настройте модели с помощью валидационного набора данных (с шумом);

• Тестовые модели с помощью тестового набора данных (без шума).

V. ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ

В этом разделе анализируются результаты экспериментов, проведенных в соответствии с методологией, описанной в разделе IV.

a) Производительность модели без шума в наборе обучающих данных: одним из вкладов этого документа является предложение модели машинного обучения для выявления ошибок безопасности с использованием только названия ошибки в качестве данных для принятия решений. Это позволяет обучать модели машинного обучения, даже если команды разработчиков не хотят предоставлять общий доступ к отчетам об ошибках в полном объеме из-за наличия конфиденциальных данных. Мы сравниваем производительность трех моделей машинного обучения при обучении с использованием только заголовков ошибок.

Модель логистической регрессии — это наиболее подходящий классификатор. Это классификатор с самым высоким значением AUC, равным 0,9826, показателем полноты 0,9353 при значении FPR 0,0735. Наивный байесовский классификатор демонстрирует несколько более низкую производительность, чем классификатор логистической регрессии, с AUC 0,9779 и полнотой 0,9189 для FPR 0,0769. Классификатор AdaBoost имеет более низкое производительность по сравнению с двумя ранее упомянутыми классификаторами. Он достигает AUC 0,9143, и отзыв 0,7018 для 0,0774 FPR. Область под кривой ROC (AUC) является хорошей метрикой для сравнения производительности нескольких моделей, так как она суммирует в одном значении отношение TPR и FPR. В последующем анализе мы ограничим наш относительный анализ значениями AUC.

A. Класс Noise: одноклассный

Можно представить сценарий, в котором все ошибки назначаются классу NSBR по умолчанию, и ошибка будет назначена только классу SBR, если есть эксперт по безопасности, проверяющий репозиторий ошибок. Этот сценарий представлен в экспериментальном условии одного класса, где предполагается, что p_nsbr = 0 и 0 < p_sbr< 0,5.

Из таблицы II мы наблюдаем очень небольшое влияние на AUC для всех трех классификаторов. AUC-ROC от модели, обученной при параметре p_sbr = 0, по сравнению с AUC-ROC модели, где параметр p_sbr = 0,25, отличается на 0,003 для логистической регрессии, на 0,006 для наивного Байеса и на 0,006 для AdaBoost. В случае p_sbr = 0.50, AUC, измеряемый для каждой модели, отличается от модели, обученной с p_sbr = 0, на 0.007 для логистической регрессии, на 0.011 для наивного Байеса и на 0.010 для AdaBoost. Классификатор логистической регрессии, обученный в присутствии одноклассового шума, показывает наименьшую изменчивость в своей метрике AUC, что свидетельствует о более надёжном поведении по сравнению с нашими наивными байесовскими классификаторами и классификаторами AdaBoost.

B. Класс Шум: независимый от конкретного класса

Мы сравниваем работу трех классификаторов для случая, когда набор данных для обучения поврежден шумом, не зависящим от класса. Мы измеряем AUC для каждой модели, обученной с разными уровнями p_br в обучающих данных.

В таблице III мы наблюдаем уменьшение AUC-ROC при каждом увеличении шума в эксперименте. AUC-ROC измерено от модели, обученной на бесшумных данных, по сравнению с AUC-ROC модели, обученной с класснезависимым шумом, при p_br = 0,25, отличается на 0,011 для логистической регрессии, 0,008 для наивного Байеса и 0,0038 для AdaBoost. Мы наблюдаем, что шум меток существенно не влияет на AUC классификаторов наивного Байеса и AdaBoost, когда уровни шума ниже 40%. С другой стороны, классификатор логистической регрессии оказывает влияние на меру AUC для уровней шума меток выше 30%.

Рис. 1. Вариация AUC-ROC в независимом от класса шуме. Для уровня шума p_br =0,5 классификатор действует как случайный классификатор, т. е. AUC≈0.5. Но мы можем наблюдать, что для более низких уровней шума (p_br ≤0,30) алгоритм логистической регрессии показывает лучшую производительность по сравнению с другими двумя моделями. Однако для 0,35≤ p_br ≤0,45 алгоритм наивного Байеса демонстрирует лучшие показатели AUCROC.

C. Шум класса: зависящий от класса

В последнем наборе экспериментов мы рассмотрим сценарий, в котором различные классы содержат разные уровни шума, т. е. p_sbr ≠ p_nsbr. Мы систематически увеличиваем p_sbr и p_nsbr независимо друг от друга на 0,05 в обучающих данных и наблюдаем изменение в поведении трех классификаторов.

Таблицы IV, V, VI показывают изменение AUC по мере увеличения шума на разных уровнях в каждом из классов: для логистической регрессии в Таблице IV, для наивного Байеса в Таблице V и для AdaBoost в Таблице VI. Для всех классификаторов мы замечаем влияние на метрику AUC, когда уровень шума в обоих классах превышает 30%. наивный Байес ведет себя более устойчиво. Воздействие на AUC очень незначительно, даже если 50% меток в положительном классе изменены, при условии, что отрицательный класс содержит 30% шумных меток или меньше. В этом случае падение в AUC равно 0,03. AdaBoost представляет наиболее надежное поведение всех трех классификаторов. Значительное изменение в AUC произойдет только для уровней шума, превышающих 45% в обоих классах. В этом случае мы начинаем наблюдать снижение AUC больше 0,02.

D. О присутствии остаточного шума в исходном наборе данных

Наши данные были промаркированы системами автоматизации на основе подписей и человеческими экспертами. Кроме того, все отчеты об ошибках были рассмотрены и закрыты человеческими экспертами. Хотя мы ожидаем, что объем шума в нашем наборе данных минимальный и не статистически значимый, наличие остаточного шума не делает недействительными наши выводы. Действительно, для иллюстрации предположим, что исходный набор данных поврежден независимым от класса шумом, равным 0 < p < 1/2, независимо и одинаково распределенным (н.о.р.) для каждой записи.

Если мы поверх исходного шума добавляем класс-независимый шум с вероятностью p_br i.i.d, результирующий шум на элемент будет p∗ = p(1 − p_br )+(1 − p)p_br. Для 0 < p,p_br< 1/2, фактический шум на метку p∗ строго больше, чем шум, который мы искусственно добавляем к набору данных p_br. Таким образом, производительность наших классификаторов была бы еще лучше, если бы они изначально были обучены на полностью бесшумном наборе данных (p = 0). В итоге существование остаточного шума в фактическом наборе данных означает, что устойчивость к шуму наших классификаторов лучше, чем представленные здесь результаты. Кроме того, если остаточный шум в нашем наборе данных был статистически релевантным, AUC наших классификаторов станет 0,5 (случайное предположение) для уровня шума строго менее 0,5. Мы не наблюдаем такое поведение в наших результатах.

VI. ВЫВОДЫ И БУДУЩИЕ РАБОТЫ

Наш вклад в эту статью двоякий.

Во-первых, мы показали, что возможность классификации отчетов об ошибках безопасности основана исключительно на названии отчета об ошибке. Это особенно важно в сценариях, когда весь отчет об ошибках недоступен из-за ограничений конфиденциальности. Например, в нашем случае отчеты об ошибках содержат частные сведения, такие как пароли и криптографические ключи, и недоступны для обучения классификаторов. Наш результат показывает, что идентификация SBR может выполняться с высокой точностью, даже если доступны только названия отчетов. Наша модель классификации, которая использует сочетание TF-IDF и логистической регрессии, достигает AUC 0,9831.

Во-вторых, мы проанализировали эффект ошибочно маркированных обучающей и проверочной данных. Мы сравнили три известных метода классификации машинного обучения (наивный Байес, логистическая регрессия и AdaBoost) с точки зрения их надежности по различным типам шума и уровням шума. Все три классификатора являются надежными для одноклассового шума. Шум в обучающих данных не имеет значительного эффекта в результирующем классификаторе. Уменьшение AUC очень незначительно (0,01) при уровне шума 50%. Для шумов, присутствующих в обоих классах и не зависящих от класса, модели наивного Байеса и AdaBoost демонстрируют значительные вариации в AUC только при обучении на наборе данных с уровнем шума выше 40%.

Наконец, шум, зависящий от класса, значительно влияет на AUC только в том случае, если в обоих классах наблюдается более чем 35% шум. AdaBoost показал большую надежность. Влияние на AUC незначительно, даже если 50% меток положительного класса оказываются шумными, при условии, что отрицательный класс содержит 45% или меньше шумных меток. В этом случае падение в AUC меньше 0,03. Насколько нам известно, это первое систематическое исследование влияния шумных наборов данных на идентификацию отчетов об ошибках в безопасности.

БУДУЩИЕ РАБОТЫ

В этом документе мы начали систематическое исследование последствий шума в производительности классификаторов машинного обучения для идентификации ошибок безопасности. Существует несколько интересных продолжений этой работы, в том числе: изучение эффекта шумных наборов данных при определении уровня серьезности ошибки безопасности, понимание влияния дисбаланса классов на устойчивость обученных моделей к шуму, а также понимание эффекта шума, который злонамеренно внесён в набор данных.

ССЫЛКИ

[1] Джон Анвик, Линдон Хию и Гейл C Мерфи. Кто должен исправить эту ошибку? В сборнике трудов 28-й международной конференции по инженерии программного обеспечения, страницы 361–370. ACM, 2006.

[2] Дикша Бел, Сахил Ханда и Ануджа Арора. Инструмент для выявления и анализа ошибок безопасности с использованием наивного Байеса и tf-idf. Международная конференция по оптимизации, надежности и информационной технологии (ICROIT), 2014, страницы 294–299. IEEE, 2014.

[3] Николас Беттенбург, Рахул Премрадж, Томас Циммерманн и Сунгхун Ким. Повторяющиеся отчеты об ошибках считаются вредными на самом деле? В сопровождении программного обеспечения: ICSM 2008, Международная конференция IEEE по, на страницах 337–345. IEEE, 2008.

[4] Андрес Фоллекко, Таги М Хошгофтаар, Джейсон Ван Халс, и Лофтон Буллард. Идентификация учащихся, устойчивых к данным низкого качества. В книге "Повторное использование информации и интеграция", 2008 год. IRI 2008. Международная конференция IEEE по, страницы 190–195. IEEE, 2008.

[5] Бенуа Френе. Неопределенность и шум меток в машинном обучении. Докторскую степень, Католический университет Лувина, Луван-ла-Нойве, Бельгия, 2013.

[6] Беноˆıt Frenay и Мишель Верлисен. Классификация в присутствии шума меток: опрос. Труды IEEE по нейронным сетям и системам обучения, 25(5):845–869, 2014.

[7] Майкл Гегик, Пит Ротелла и Тао Си. Определение отчетов об ошибках безопасности с помощью интеллектуального анализа текста: промышленное исследование. В репозиториях программного обеспечения интеллектуального анализа данных (MSR), 2010 7-й рабочей конференции IEEE по, страницам 11–20. IEEE, 2010.

[8] Кейтрина Goseva-Popstojanova и Джейкоб Тио. Идентификация отчетов об ошибках, связанных с безопасностью, с помощью интеллектуального анализа текста с использованием супервизируемой и несупервизируемой классификации. На 2018 IEEE International Conference on Software Quality, Reliability and Security (QRS), страницы 344–355, 2018.

[9] Ахмед Ламканфи, Серж Демейер, Эмануэль Джигер и Барт Гетальс. Прогнозирование серьезности сообщаемой ошибки. В репозитории программного обеспечения для анализа данных (MSR), на 7-й рабочей конференции IEEE, 2010 год, по, страницы 1–10. IEEE, 2010.

[10] Нареш Манвани и PS Sastry. Устойчивость к шуму в условиях минимизации рисков. транзакции IEEE по кибернетикам, 43(3):1146–1151, 2013.

[11] G Мерфи и D Cubranic. Автоматическая сортировка ошибок с помощью классификации текста. В Трудах шестнадцатой международной конференции по инженерии программного обеспечения & Knowledge Engineering. Citeseer, 2004.

[12] Печеницкий, Алексей Симбал, Сеппо Пууронен и Александр Печениски. Шум класса и защищенное обучение в медицинских доменах: эффект извлечения признаков. В null, страницы 708–713. IEEE, 2006.

[13] Шарлотта Пеллетьер, Сильвия Вальеро, Жорди Инглада, Николас Чемпион, Клэр Мараис Сикр и Жерар Дедье. Влияние шума меток классов обучения на производительность классификации при картировании земного покрытия с использованием временных рядов спутниковых изображений. дистанционное зондирование, 9(2):173, 2017.

[14] PS Sastry, GD Nagendra и Нареш Манвани. Команда непрерывно-действующих обучающихся автоматов для шумоустойчивого обучения полупространств. Труды IEEE по системам, человеку и кибернетике, часть B (Кибернетика), 40(1):19–28, 2010.

[15] Choh-Man Тенг. Сравнение методов обработки шума. В конференции FLAIRSстраницы 269–273, 2001.

[16] Думиду Wijayasekara, Милос Манич и Майлз Маккуин. Идентификация и классификация уязвимостей посредством текстового интеллектуального анализа баз данных ошибок. В Общество промышленной электроники, IECON 2014 - 40-я ежегодная конференция IEEE, страницы 3612–3618. IEEE, 2014.

[17] Синьли Ян, Дэвид Ло, Цзяо Хуан, Синь Сиа, и Джианлинг Сунь. Автоматическая идентификация отчетов об ошибках с высоким воздействием, используя несбалансированные стратегии обучения. В конференции по программному обеспечению и приложениям (COMPSAC), 2016 IEEE 40-я ежегодная, том 1, страницы 227–232. IEEE, 2016.

[18] Deqing Zou, Zhijun Deng, Zhen Li и Hai Jin. Автоматическое определение отчетов об ошибках безопасности с помощью анализа многотипных функций. На Australasian Conference on Information Security and Privacy, страницы 619–633. Springer, 2018.