en fr Probabilistic Graphical Model Structure Learning: Application to Multi-Label Classification Apprentissage de Structure de Modèles Graphiques Probabilistes: Application à la Classification Multi-Label Report as inadecuate




en fr Probabilistic Graphical Model Structure Learning: Application to Multi-Label Classification Apprentissage de Structure de Modèles Graphiques Probabilistes: Application à la Classification Multi-Label - Download this document for free, or read online. Document in PDF available to download.

1 DM2L - Data Mining and Machine Learning LIRIS - Laboratoire d-InfoRmatique en Image et Systèmes d-information

Abstract : In this thesis, we address the specific problem of probabilistic graphical model structure learning, that is, finding the most efficient structure to represent a probability distribution, given only a sample set D ∼ pv. In the first part, we review the main families of probabilistic graphical models from the literature, from the most common directed, undirected to the most advanced ones chained, mixed etc

Then we study particularly the problem of learning the structure of directed graphs Bayesian networks, and we propose a new hybrid structure learning method, H2PC Hybrid Hybrid Parents and Children, which combines a constraint-based approach statistical independence tests with a score-based approach posterior probability of the structure. In the second part, we address the multi-label classification problem, which aims at assigning a set of categories binary vector y to a given object vector x. In this context, probabilistic graphical models provide convenient means of encoding py|x, particularly for the purpose of minimizing general loss functions. We review the main approaches based on PGMs for multi-label classification Probabilistic Classifier Chain, Conditional Dependency Network, Bayesian Network Classifier, Conditional Random Field, Sum-Product Network, and propose a generic approach inspired from constraint-based structure learning methods to identify the unique partition of the label set into irreducible label factors ILFs, that is, the irreducible factorization of py|x into disjoint marginal distributions. We establish several theoretical results to characterize the ILFs based on the compositional graphoid axioms, and obtain three generic procedures under various assumptions about the conditional independence properties of the joint distribution px, y. Our conclusions are supported by carefully designed multi-label classification experiments, under the F-loss and the zero-one loss functions.

Résumé : Dans cette thèse, nous nous intéressons au problème spécifique de l’apprentissage de structure de modèles graphiques probabilistes, c’est-à-dire trouver la structure la plus efficace pour représenter une distribution, à partir seulement d’un ensemble d’échantillons D ∼ pv. Dans une première partie, nous passons en revue les principaux modèles graphiques probabilistes de la littérature, des plus classiques modèles dirigés, non-dirigés aux plus avancés modèles mixtes, cycliques etc

Puis nous étudions particulièrement le problème d’apprentissage de structure de modèles dirigés réseaux Bayésiens, et proposons une nouvelle méthode hybride pour l’apprentissage de structure, H2PC Hybrid Hybrid Parents and Children, mêlant une approche à base de contraintes tests statistiques d’indépendance et une approche à base de score probabilité postérieure de la structure. Dans un second temps, nous étudions le problème de la classification multi-label, visant à prédire un ensemble de catégories vecteur binaire y pour un objet donné vecteur x. Dans ce contexte, l’utilisation de modèles graphiques probabilistes pour représenter la distribution conditionnelle des catégories prend tout son sens, particulièrement dans le but minimiser une fonction coût complexe. Nous passons en revue les principales approches utilisant un modèle graphique probabiliste pour la classification multi-label Probabilistic Classifier Chain, Conditional Dependency Network, Bayesian Network Classifier, Conditional Random Field, Sum-Product Network, puis nous proposons une approche générique visant à identifier une factorisation de py|x en distributions marginales disjointes, en s’inspirant des méthodes d’apprentissage de structure à base de contraintes. Nous démontrons plusieurs résultats théoriques, notamment l’unicité d’une décomposition minimale, ainsi que trois procédures quadratiques sous diverses hypothèses à propos de la distribution jointe px, y. Enfin, nous mettons en pratique ces résultats afin d’améliorer la classification multi-label avec les fonctions coût F-loss et zero-one loss.

en fr

Keywords : Probabilistic graphical models Structure learning Multi-label classification

Mots-clés : Modèles graphiques probabilistes Apprentissage de structure Classification multi-label





Author: Maxime Gasse -

Source: https://hal.archives-ouvertes.fr/



DOWNLOAD PDF




Related documents