Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Efficient conformal predictor ensembles
University of Borås, Sweden.
2020 (Engelska)Ingår i: Neurocomputing, ISSN 0925-2312, E-ISSN 1872-8286, Vol. 397, s. 266-278Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

In this paper, we study a generalization of a recently developed strategy for generating conformal predictor ensembles: out-of-bag calibration. The ensemble strategy is evaluated, both theoretically and empirically, against a commonly used alternative ensemble strategy, bootstrap conformal prediction, as well as common non-ensemble strategies. A thorough analysis is provided of out-of-bag calibration, with respect to theoretical validity, empirical validity (error rate), efficiency (prediction region size) and p-value stability (the degree of variance observed over multiple predictions for the same object). Empirical results show that out-of-bag calibration displays favorable characteristics with regard to these criteria, and we propose that out-of-bag calibration be adopted as a standard method for constructing conformal predictor ensembles.

Ort, förlag, år, upplaga, sidor
2020. Vol. 397, s. 266-278
Nyckelord [en]
Conformal prediction, Classification, Ensembles
Nationell ämneskategori
Datavetenskap (datalogi)
Forskningsämne
datalogi
Identifikatorer
URN: urn:nbn:se:su:diva-192612DOI: 10.1016/j.neucom.2019.07.113OAI: oai:DiVA.org:su-192612DiVA, id: diva2:1547119
Tillgänglig från: 2021-04-25 Skapad: 2021-04-25 Senast uppdaterad: 2022-02-25Bibliografiskt granskad
Ingår i avhandling
1. Nonconformity Measures and Ensemble Strategies: An Analysis of Conformal Predictor Efficiency and Validity
Öppna denna publikation i ny flik eller fönster >>Nonconformity Measures and Ensemble Strategies: An Analysis of Conformal Predictor Efficiency and Validity
2021 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Conformal predictors are a family of predictive models that associate with each of their predictions a measure of confidence, enabling them to provide quantitative information about their own trustworthiness. In risk-laden machine learning applications, where bad predictions may lead to economic loss, personal injury, or worse, such inherent quality control appears highly beneficial, if not required. While the foundations of conformal prediction were initially published some twenty years ago, their use, and further development, is still (at the time of writing this thesis) not widespread in the machine learning community, and several open questions remain regarding the proper design and use of conformal prediction systems. In this thesis, we attempt to tackle some of these questions, focusing our attention on three specific characteristics of conformal predictors. First, conformal predictors rely on so-called nonconformity functions, which are mappings from the object space onto the real line, typically based on traditional classification or regression models; here, we investigate properties of the underlying learning algorithm and characteristics of the resulting conformal predictor. Second, conformal predictors output predictions on a form that is distinct from traditional prediction methods, by supplying multi-valued prediction regions with a statistically valid coverage probability; we propose two procedures for post-processing the output from conformal classification models that provide interpretations more closely related to traditional predictive models, while still retaining meaningful confidence information. Finally, we provide contributions relating to the construction of conformal predictor ensembles, illustrating potential issues with existing ensemble procedures, as well as proposing and evaluating an alternative ensemble method.

Abstract [sv]

Avhandlingen behandlar områdetconformal prediction, som beskriver en fa-milj prediktiva modeller vars prediktioner associeras med ett konfidensmått,som låter modellerna själva uttrycka sig om sin egen tillförlitlighet. I hög-riskapplikationer, där dåliga prediktioner kan få allvarliga ekonomiska konse-kvenser, eller leda till personskada, tycks en sådan inbyggd säkerhetskontrollhögst värdefull, om inte nödvändig. Medan den teoretiska grunden till confor-mal prediction lades för cirka 20 år sedan, är forskningsområdet fortfaranderelativt ungt, och många öppna frågor kvarstår gällande design och använd-ning av conformal prediction-system. I avhandlingen behandlas några av des-sa öppna frågor, och fokus läggs på tre specifika karakteristika hos conformal-prediktorer. Först behandlas de så kallade icke-konformitetsfunktionerna (non-conformity functions) som ligger till grund för conformal prediction, och sam-bandet utforskas mellan egenskaper hos icke-konformitetsfunktionerna och deresulterande prediktorerna. även egenskaper hos de prediktioner som produ-ceras i en conformal predictor undersöks, och två post-processeringsmetoderpresenteras i ett försök att bistå med en mer intuitivt begriplig tolkning av des-sa prediktioner. Slutligen utforskas strategier för konstruktion av ensemblerav conformal prediction-modeller, där svagheter illustreras i vedertagna stra-tegier, följt av en presentation av en ny ensemblestrategi som ämnar adresseradessa svagheter.

Ort, förlag, år, upplaga, sidor
Stockholm: Department of Computer and Systems Sciences, Stockholm University, 2021. s. 62
Serie
Report Series / Department of Computer & Systems Sciences, ISSN 1101-8526 ; 21-001
Nyckelord
Data Science, Machine Learning, Conformal Prediction, Classification, Regression
Nationell ämneskategori
Datavetenskap (datalogi)
Forskningsämne
data- och systemvetenskap
Identifikatorer
urn:nbn:se:su:diva-192613 (URN)978-91-7911-502-9 (ISBN)978-91-7911-503-6 (ISBN)
Disputation
2021-06-14, online via Zoom, public link is available at the department website, Stockholm, 13:00 (Engelska)
Opponent
Handledare
Tillgänglig från: 2021-05-20 Skapad: 2021-04-25 Senast uppdaterad: 2022-02-25Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltext

Person

Linusson, Henrik

Sök vidare i DiVA

Av författaren/redaktören
Linusson, Henrik
I samma tidskrift
Neurocomputing
Datavetenskap (datalogi)

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 132 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf