PRINCIPALES FONCTIONNALITES
Les principales fonctionnalités des logiciels NEURO ONE STANDARD, NEURO ONE EXPERT, NEURO PEX, NEURO CODE et NEURO PROBA sont listées dans le tableau ci-dessous. Cliquez sur le bouton
pour obtenir plus de détails ou une copie d'écran.
Le logiciel traite les problèmes non-linéaires statiques ou dynamiques d'ordre quelconque. Conçu pour Windows 98, NT, 200, XP, il lit les fichiers au format .db, .xls, .txt, .csv et toutes les bases de données qui disposent d'un driver ODBC. Il peut exploiter les enregistrements des bases de données évènementielles à intervalles de temps inégaux. Il peut apprendre avec très peu ou beaucoup de données : de 10 à 50.000 données d'apprentissage avec Neuro One, plus de 1.000.000 de données avec Neuro Code. Il détecte les variables d'entrée colinéaires. Il génère automatiquement et dans une interface conviviale des réseaux de neurones aux dimensions et aux caractéristiques indiqués par l'utilisateur. Il propose le nombre de neurones cachés nécessaire et peut travailler avec plusieurs sorties.Pour l'apprentissage, il utilise des algorithmes du second ordre (Levenberg-Marquardt, Quasi-Newton) qui assurent une convergence rapide vers la solution optimale. Il génère automatiquement un rapport sur le réseau construit, les conditions d'apprentissage et le résultat obtenu, ainsi qu'un code C transposable à d'autres applications et/ou d'autres systèmes d'exploitation.
Avec le module NEURO SHOP (version Neuro One Expert), il est possible de construire des réseaux complexes à plusieurs couches cachées adaptés à des cas spécifiques (environ 10% des cas recensés). Ceci concerne notamment les modèles multisortie mais aussi des modèles hybrides qui combinent dans un seul modèle un réseau neuronal de type boite noire et des équations physiques représentatives de la réalité physique étudiée. Une telle combinaison hybride permet :
le respect des conditions aux limites (ce que ne garantit pas un réseau neuronal seul) ;
Lorsque l'apprentissage est terminé, la structure du réseau de neurones et les paramètres sont enregistrés, l'utilisateur dispose de 3 moyens pour exploiter le réseau en condition réelle :
Sur certains points, le logiciel est novateur et très en avance sur la concurrence internationale, en particulier pour les modèles mixtes, le calcul dynamique, le calcul en mode inverse, l'estimation des intervalles de confiance.
L'utilisation du logiciel NEURO ONE peut être envisagée dans toute qui nécessite le traitement de données non-linéaires : statistique, mécanique, chimie, physique, astronomie, finance et tout le datamining en général.
Il est fréquent que l'utilisateur commence ses études avec les modules NEURO ONE, NEURO SHOP, NEURO FIT, puis au fur et à mesure de la spécialisation de son sujet, bascule vers les modules NDK et NEURO CODE.
Dans les domaines d'activités ou il y a peu d'expérience, NETRAL engage les recherches initiales, puis transfère le savoir-faire aux spécialistes du secteur. C'est ce type d'approche à privilégier lors des premiers contacts.
CONFIGURATION MATERIELLE
Neuro One fonctionne avec Windows 95/98/NT/Me/2000/XP et occupe après installation environ 40 Mo sur le disque dur de l'ordinateur, non compris les données utilisateur. Neuro One requiert au minimum 64 Mo de mémoire vive, éventuellement 96 ou 128 Mo pour le traitement des grosses bases de données. Les temps de calcul sont directement liés à la puissance du processeur mais donnent déjà des résultats satisfaisants avec des processeurs de type Pentium II 266 MHz.
Note : Neuro One peut fonctionner avec d'autres systèmes d'exploitation.
CHARGEMENT ET STOCKAGE DES DONNEES SOURCE
Les données à analyser dans Neuro One peuvent être chargées en mémoire vive selon plusieurs méthodes : par copier-coller, par lecture de fichier Ascii aux formats txt (séparation = tabulation), csv (séparation = point-virgule), dat (séparation = espace), par lecture de fichier Excel, par lecture de base de données à travers les interfaces ODBC. Si nécessaire, les données en mémoire sont enregistrées sur le disque dur dans le format db (base de données Paradox).
PRE-TRAITEMENT DES DONNEES
Absence de pré-traitement
Une option à manipuler avec précaution.
Normalisation des données
Par centrage et réduction. C'est l'option par défaut de Neuro One car elle est adaptée à la plupart des problèmes et optimise les conditions d'apprentissage des réseaux de neurones. L'affichage des données est conservé dans les formats et unités d'origine.
Analyse en composantes principales
Permet la réécriture des données dans la base des vecteurs propres ordonnée par valeurs propres décroissante, en vue d'une réduction dimensionnelle.
Analyse en composantes principales corrélées avec la sortie
Permet la réécriture des données dans la base des vecteurs propres ordonnée par valeurs de corrélation décroissante (en valeur absolue) entre les vecteurs propres et la sortie, en vue d'une réduction dimensionnelle.
Disjonction des données
Les réseaux de neurones travaillent sur des données numériques. En présence de données qualitatives, Neuro One disjoint celles-ci et les convertit en données numériques en rajoutant, si nécessaire, des champs supplémentaires.
Exemple : la colonne définie par les 3 critères " Bon ", " Moyen ", " Mauvais " est transformée en 3 colonnes à valeurs 0 ou 1 pour former les triplets (1,0,0), (0,1,0) et (0,0,1).
SELECTION DES VARIABLES
Une étape difficile mais cruciale en modélisation, notamment lorsqu'il y a abondance de variables explicatives (variables d'entrée). L'objectif est une réduction dimensionnelle sans perte d'information pertinente lors de la modélisation de la variable de sortie (variable à expliquer).
Neuro One propose 2 méthodes :
Algorithme de Gram-Schmidt plus sonde aléatoire
Cet algorithme classe en un ordre décroissant toutes les variables d'entrée disponibles selon leur contribution marginale à l'estimation de la variable de sortie (en supposant des modèles linéaires et des modèles polynomiaux du 2ème ordre). La sonde aléatoire évalue le rang du classement pour lequel l'information apportée n'est plus significative puis propose d'éliminer les variables d'entrées jugées non significatives.
Cet algorithme est performant et donne de bons résultats dans de nombreuses situations.
Analyse en composantes principales
Seuls les vecteurs propres les plus significatifs (selon leurs valeurs propres ou leurs niveaux de corrélation avec la sortie, cf.ci-dessus) sont conservés et utilisés comme entrées du réseau de neurones. La réduction dimensionnelle n'est que partielle : le nombre d'entrées et le nombre de coefficients du réseau de neurones sont certes réduits, mais toutes les variables initiales sont nécessaires et devront être disponibles ultérieurement.
Cette méthode semble donner de bons résultats en spectrométrie.
CONSTRUCTION DES RESEAUX DE NEURONES
Neuro One Standard
Neuro One Standard dispose d'un outil de création automatique des réseaux de neurones à 1 couche cachée et des modèles polynomiaux suivants :
Modèles linéaires
Modèles polynomiaux d'ordre 2, 3, 4, 5 et ordre supérieur
Réseaux de neurones de classification non-supervisée de Kohonen
Réseaux de neurones statiques de classification dirigée multi-classes (avec les options " 1 classe contre toutes " et " classe contre classe ")
Réseaux de neurones statiques de régression à 1 sortie (les plus fréquents)
Réseaux de neurones statiques de régression à plusieurs sorties
Réseaux de neurones statiques à série temporelles et retards temporels entièrement paramétrables
Réseaux dynamiques entrées-sorties (à bouclage simple ou multiple de la sortie vers les entrées)
Réseaux dynamiques d'états (à bouclage simple ou multiple de variables d'états internes vers les entrées)
Neuro One offre la faculté de passer très facilement d'un type de réseau à l'autre en quelques clics de souris et propose des représentations graphiques conviviales des différents réseaux.
Fonctions d'activation Neuro One Standard
Neuro One Standard permet de changer les fonctions d'activation des neurones de la couche cachée et de la couche de sortie. Sont disponibles les fonctions suivantes :
Tangente hyperbolique
Sigmoïde
Arctangente
Sinus
Gaussienne
Unité
Neuro One Expert
Neuro One Expert dispose en plus de Neuro One Standard d'un outil de création manuel et convivial pour créer des réseaux de neurones non-standards et/ou complexes :
Tous les réseaux conçus avec Neuro One Standard
Réseaux de neurones statiques ou dynamiques à plusieurs couches cachées
Réseaux dynamiques à bouclage différentiel d'Euler
Réseaux dynamiques à bouclage différentiel de Runge-Kutta d'ordre 2
Réseaux dynamiques à bouclage différentiel de Runge-Kutta d'ordre 4
Décadrage automatique des réseaux
Transformation de réseaux Séries temporelles en réseaux dynamiques
Fusion de réseaux statiques
Fusion de réseaux dynamiques
Modification des fonctions d'activation neurone par neurone, y compris les neurones d'entrée, avec les fonctions d'activation suivantes :
Fonctions d'activation Neuro One Expert
Tangente hyperbolique
Sigmoïde
Arctangente
Sinus
Gaussienne
Unité
Moment d'ordre 0
Moment d'ordre 1
Quadratique
Cubique
Exponentielle
Logarithmique
Inverse
Racine
Echelon
Complément à 1
Valeur absolue
Insertion de neurones non-standards (neurones multiplicateurs, neurones diviseurs et neurones additifs hors fonction d'activation)
Ajout et suppression manuels des synapses (liens entre neurones)
Synapses additives, multiplicatives et division
Fixation manuelle des valeurs de synapses
Construction de réseaux hybrides statiques ou dynamiques mélangeant modèle physique de connaissance et modèle neuronal
Sauvegarde des réseaux au format propriétaire Netral .net et au format texte .nml équivalent du format .xml
APPRENTISSAGE
Algorithmes d'apprentissage
Gradient simple
Gradient stochastique
Levenberg-Marquardt (par défaut)
Quasi-Newton
Initialisation des synapses (ou poids ou coefficients)
Initialisation aléatoire selon une Gaussienne centrée autour de 0 et d'écart-type paramétrable
Initialisation manuelle des synapses (à manipuler avec précaution)
Nombre d'apprentissages
Défini par l'utilisateur, de 1 à quelques dizaines, voir une centaine.
Dans le cas de modèles non-linéaires, il existe souvent plusieurs solutions correspondant à des minima locaux de la fonction de coût (cf. ci-dessous). Pour trouver le minimum global, il est nécessaire de lancer plusieurs apprentissages puis de sélectionner le meilleur.
COUT D'APPRENTISSAGE ET FONCTION DE COUT
Note : La fonction de coût est quelquefois appelée fonction d'erreur.
La conduite d'un apprentissage s'effectue par itérations successives afin de minimiser une erreur cumulée entre les valeurs calculées et les valeurs de référence des données composant l'ensemble d'apprentissage. Cette erreur cumulée est le plus souvent obtenue à partir de la fonction de coût " erreur quadratique ".
Dans certaines situations, il peut être judicieux d'utiliser d'autres fonctions de coût qui peuvent modifier substantiellement les résultats et accélérer les apprentissages vers les solutions optimales.
Fonctions de coût par défaut
Neuro One (Standard ou Expert) propose par défaut les fonctions de coût suivantes :
Erreur quadratique
Erreur quadratique relative
Erreur quadratique pondérée
Erreur quadratique gaussienne
Erreur logarithmique quadratique
Classement pondéré
Classement incorrect
Fonctions de coût dédiées
Neuro One (Standard ou Expert) permet de créer des fonctions de coût adaptées à des problèmes très spécifiques et de les intégrer dans le logiciel sous forme de DLL.
Pour ses propres études ou à la demande de ses clients, NETRAL a par exemple réalisé des :
- Fonctions de coût pour estimer les valeurs extrêmes de lois de probabilité à queues épaisses de type Pareto et des lois de probabilité quelconques mais non-Gaussiennes.
- Fonctions de coût adaptées à la détection de tendances (positives ou négatives) en trading boursier intra-day.
ENSEMBLE D'APPRENTISSAGE
Netral recommande des ensembles d'apprentissage ayant trois fois plus de données qu'il n'y a de paramètres à calculer dans le modèle.
ENSEMBLE DE VALIDATION CROISEE
Neuro One permet de sélectionner parmi les points de l'ensemble d'apprentissage un sous-ensemble de points appelé " ensemble de validation croisée ". Les points de l'ensemble de validation croisée permettent de vérifier l'absence de sur-apprentissage et d'indiquer le meilleur modèle minimisant la fonction de coût simultanément sur les 2 ensembles.
Les options de Neuro One sont :
Pas d'ensemble de validation croisée.
Ensemble de validation croisée définie par une séquence de points (position de la 1èrevaleur et longueur de la séquence).
Ensemble de validation croisée comportant un nombre de points choisis aléatoirement.
Ensemble de validation croisée comportant un nombre de points choisis selon la distance de Kulback-Leibler afin que les ensembles d'apprentissage et de validation croisée soient similaires en moyenne et en écart-type.
Fonctions de coût identiques ou différentes pour les ensembles d'apprentissage et de validation croisée.
La construction d'un ensemble de validation croisée est délicate et conduit quelquefois à des résultats aberrants lorsque les ensembles d'apprentissage et de validation croisée sont petits par rapport au nombre de coefficients à calculer (ratio inférieur à 1/3 voire 1/5).
Dans ces situations, Netral recommande des ensembles de validation croisée de taille comprise entre 10% et 16% du nombre total de points et l'utilisation de la distance de Kulback-Leibler pour optimiser l'ensemble de validation croisée.
COUT DE GENERALISATION
Le coût de généralisation est équivalent au coût de " Leave-One-Out simulé " et est calculé selon la méthode suivante :
Si N est le nombre de points disponibles, il est possible de construire N modèles différents utilisant N-1 points pour chaque ensemble d'apprentissage et 1 point pour chaque ensemble de validation croisée.
Le coût de généralisation est le coût des N modèles fusionnés calculé sur les N points.
Il caractérise le modèle le plus robuste, c'est à dire le modèle qui aura la meilleure précision (ou capacité de généralisation) sur des données tierces quelconques, différentes de celles de l'ensemble d'apprentissage (mais toujours en interpolation vis à vis de l'ensemble d'apprentissage).
La méthode du coût de généralisation est utilisable pour des modèles statiques, pour des modèles Séries temporelles, mais pas pour des modèles dynamiques.
En utilisant le coût de généralisation, il n'est plus nécessaire de construire ni d'utiliser d'ensemble de validation croisée.
Note : Cette méthode de calcul a été mise au point au cours de l'année 2000 et a fait l'objet d'une thèse et d'une publication scientifique. Voir :
LEVIERS
En fin d'apprentissage et pour chaque modèle de type statique ou Série temporelle, Neuro One calcule la contribution relative (ou " Levier ") de chaque exemple de l'ensemble d'apprentissage sur le modèle.
Si N est le nombre d'exemples (points) de l'ensemble d'apprentissage et Q le nombre de synapses (coefficients ou poids ou degrés de libertés) du modèle, alors :
Tous les leviers ont une valeur comprise entre 0 et 1.
La somme des leviers est égal à Q.
La moyenne des leviers est égal à Q/N.
Un bon ensemble d'apprentissage se caractérise par des points ayant le plus grand nombre de leviers proches de la moyenne Q/N, c'est à dire des points répartie de la manière la plus homogène possible dans l'ensemble d'apprentissage selon des critères non-linéaires.
Note : Il y a encore des incertitudes théoriques pour le calcul des leviers sur les modèles dynamiques.
INTERVALLES DE CONFIANCE
En fin d'apprentissage et pour les modèles de type statique ou Série temporelle, Neuro One fournit un intervalle de confiance autour de chaque sortie calculée. Cet intervalle de confiance dépend d'un seuil de probabilité paramétrable et fixé par défaut à 0,05 (5% en dehors de l'intervalle, soit 95% compris entre Y - IC et Y + IC).
Depuis la version 4 de Neuro One, l'intervalle de confiance est calculé à partir des leviers.
Important : Il faut vérifier au préalable que les données soient indépendantes et/ou puissent être modélisées par des variables aléatoires indépendantes.
SELECTION DU MEILLEUR MODELE
Neuro One dispose d'un outil d'analyse des résultats d'apprentissage et de sélection du meilleur modèle selon les critères suivants :
Meilleur coût sur l'ensemble d'apprentissage
Meilleur coût sur l'ensemble de validation croisée
Meilleur coût de généralisation
Meilleure homogénéité des leviers
ENREGISTREMENT DES MODELES
Format fichier
Les modèles sont enregistrés au format propriétaire Netral .net ou format universel .xml pour une réutilisation ultérieure.
Code C
Neuro One génère automatiquement et gratuitement le code C correspondant à chaque modèle neuronal. Ce code C peut ensuite être recopié dans des applications informatiques tierces fonctionnant sous Windows ou d'autres systèmes d'exploitation (VMS, Unix, Linux, MacIntosh, etc...).
Ce code C calcule la ou les sorties du réseau en fonction des entrées qui lui sont présentées (c'est la fonction de transfert).
Ce code C ne calcule ni les leviers ni les intervalles de confiance.
GRAPHIQUES
Image du réseau
Cette image indique à tout moment la structure du réseau (neuronal , polynomial, RBF), la nature des synapses et des fonctions d'activation.
Fonction de coût
Pour suivre la décroissance des coûts d'apprentissage et de validation croisée à chaque itération et chaque cycle d'apprentissage.
Tables de données
Vues 2D de tous les points disponibles des ensembles d'apprentissage et de validation croisée, des valeurs de sortie calculées, des résidus, des leviers, des intervalles de confiance.
Fonction Interpolation
Vues 2D, 3D et courbes de niveaux de(s) sorties et de leurs dérivées partielles en fonction des entrées, pour des valeurs quelconques prises par les entrées. Lorsqu'il y a plus de 2 entrées disponibles, Neuro One fige certaines entrées et en libère d'autres.
ACCES AUX DONNEES
Toutes les tables de données, vecteurs, matrices et autres données issues de calculs mathématiques sont accessibles sous Neuro One et peuvent être visualisés sous forme de tables puis Copier-Coller dans un autre logiciel.
ENSEMBLE DE TEST – ESTIMATION DE PERFORMANCE
Neuro One ne permet qu'un ensemble de validation croisée mais permet plusieurs ensembles de test pour lesquels sont calculés : valeur(s) estimée(s) pour la (les) sortie(s), résidus, leviers et intervalles de confiance.
Les ensembles de test fournissent des informations supplémentaires sur la validité d'un modèle
Veuillez nous contacter pour recevoir des informations supplémentaires.
Les principales fonctionnalités des logiciels NEURO ONE STANDARD, NEURO ONE EXPERT, NEURO PEX, NEURO CODE et NEURO PROBA sont listées dans le tableau ci-dessous. Cliquez sur le bouton
pour obtenir plus de détails ou une copie d'écran.| Fonctionnalités | Neuro One Standard |
Neuro One Expert |
Neuro Pex |
Neuro Code |
Neuro Proba |
Détails |
| Types de réseau et modèle | ||||||
| Modèles linéaires et polynomiaux |
 |
|
|
 |
|
|
| Fonctions à base radiale (RBF), Cartes de Kohonen | |
|
|
|
|
|
| Réseaux de neurones statiques standards Perceptrons 3/5 couches (sans/avec normalisation) non bouclés |
|
|
|
|
|
|
| Réseaux de neurones dynamiques standards Perceptrons 3/5 couches bouclés (sans/avec normalisation) à bouclage sortie-entrée ou à bouclage de un ou plusieurs états internes |
|
|
|
|
|
|
| Réseaux de neurones statiques non-standards et modèles non-linéaires statiques (non bouclés) Générateur symbolique (+ compilateur) et générateur graphique de modèles non-linéaires décrits par des expressions analytiques |
|
|
|
|
|
|
| Réseaux de neurones dynamiques non-standards et modèles non-linéaires dynamiques (bouclés) Modèles linéaires dynamique (ARMA, ARIMA), Réseaux de neurones non-standards, Séries temporelles non-linéaires (GARCH, NARMAX, etc...), Modèles non-linéaires décrits par des expressions analytiques |
|
|
|
|
|
|
| Modèles non-linéaires non-analytiques Equations différentielles ordinaires (EDO) et modèles implicites (nécessite la construction de DLL à partir de code source respectant un certain format) |
|
|
|
|
|
|
| Remarque : Fonctions d'activation pour les réseaux et modèles ci-dessus Tangente hyperbolique, Sigmoïde, Arctangente, Sinus, Gaussienne, Unité, Moment d'ordre 0, Moment d'ordre 1, Quadratique, Cubique, Exponentielle, Logarithmique, Inverse, Racine, Echelon, Complément à 1, Valeur absolue |
|
|
|
|
|
|
| Fusion de réseaux monoréponses en un modèle multiréponse Avec conservation des intervalles de confiance sur chaque réponse |
|
|
|
|
|
|
| Génération des modèles analytiques en code Excel et en code C Fonction de transfert sans intervalles de confiance de modèles statiques (non bouclés) ou dynamiques (bouclés) |
|
|
|
|
|
|
| Génération des modèles analytiques en code C Fonction de transfert de modèles statiques (non bouclés) ou dynamiques (bouclés), Intervalles de confiance au premier ordre, Algorithme d'apprentissage de Levenberg-Marquardt optimisé pour le modèle considéré et précis à 10 décimales. Les librairies générées (.c, .h, make, makefile) ont été recompilées avec succès avec 6 compilateurs différents en 16, 32 et 64 bits |
|
|
|
|
|
|
| Chargement des données | ||||||
| Fichier Ascii, txt, csv, xls | |
|
|
|
|
|
| Copie via la mémoire | |
|
|
|
|
|
| Lecture de bases de données externes (via ODBC) |
|
|
|
|
|
|
| Remarque sur les données pour modèles dynamiques Les séries temporelles peuvent être à intervalles de temps réguliers ou décrites sur évènement |
|
|
|
|
|
|
| Prétraitement des données, des variables ou des modèles | ||||||
| Normalisation des données et variables d'entrée Pas de normalisation, Normalisation par moyenne et écart-type Normalisation par composantes principales Normalisation par composantes de Gram-Schmidt |
|
|
|
|
|
|
| Normalisation des données et variables de sortie Pas de normalisation, Normalisation par moyenne et écart-type |
|
|
|
|
|
|
| Disjonction des données qualitatives |
|
|
|
|
|
|
| Réduction dimensionnelle - Sélection des variables pertinentes Analyse en composantes principales, Classification de Gram-Schmidt |
|
|
|
|
|
|
| Ensembles d'apprentissage et de validation - Sélection des exemples de validation Position prédéterminée dans l'ensemble d'apprentissage Sélection aléatoire des exemples de validation Sélection des exemples optimisée selon la distance de Kullback-Leibler |
|
|
|
|
|
|
| Apprentissage | ||||||
| Algorithme de Levenberg-Marquardt Initialisation automatique, Précision d'environ 10 décimales La rétropropagation est employée avec les modèles statiques L'apprentissage direct est employé avec les modèles dynamiques |
|
|
|
|
|
|
| Algorithme de BFGS (Quasi-Newton) Initialisation automatique, Précision d'environ 8 décimales La rétropropagation est employée avec les modèles statiques L'apprentissage direct est employé avec les modèles dynamiques |
|
|
|
|
|
|
| Algorithme du gradient simple Recommandé pour les modèles linéaires. Non recommandé pour les réseaux de neurones et modèles non-linéaires |
|
|
|
|
|
|
| Algorithme du gradient conjugué Recommandé pour les modèles linéaires. Non recommandé pour les réseaux de neurones et modèles non-linéaires |
|
|
|
|
|
|
| Pondération des exemples d'apprentissage Par une colonne supplémentaire dans la table des données d'apprentissage |
|
|
|
|
|
|
| Fonctions de coût Moindres carrés ordinaires, Moindres carrés pondérés, Entropie croisée, Delta-Log, etc... Possibilité de créer des fonctions de coût sur mesure via des DLL dédiées |
|
|
|
|
|
|
| Fonctions de coût spéciales pour Neuro Proba Optimisées pour l'apprentissage des fonctions de répartition et des fonctions de densité |
|
|
|
|
|
|
| Post-apprentissage : Calcul des leviers et intervalles de confiance Par linéarisation du modèle au premier ordre ou par méthode bootstrap (bootstrap des résidus) |
|
|
|
|
|
|
| Analyse des résultats d'apprentissage Tables et graphiques des résultats : Fonction de coût, Ecart-type d'apprentissage, Ecart-type sans biais, Ecart-type de validation (si ensemble de validation), PRESS (predictive residual error on sum of squares), Homogénéité, R, R2, Rang de la Jacobienne |
|
|
|
|
|
|
| Sélection du meilleur résultat Avec rafraichissement automatique des différents graphiques |
|
|
|
|
|
|
| Sauvegarde des résultats Format XML ouvert pour les projets et pour les modèles |
|
|
|
|
|
|
| Tables et Opérations sur table | ||||||
| Table des données d'origine | |
|
|
|
|
|
| Table de normalisation des entrées et des sorties | |
|
|
|
|
|
| Table des coefficients du modèle Egalement appelés poids, poids synaptiques, synapses, paramètres selon les diverses terminologie |
|
|
|
|
|
|
| Table des données internes Rang dans la table, Binaire apprentissage/validation, Entrées et Sortie(s) sélectionnées, Sortie calculée, Résidu, Levier, Intervalle de confiance. Selon les situations : Champ de pondération, Valeur des états dynamiques, Valeur d'initialisation des états |
|
|
|
|
|
|
Le logiciel traite les problèmes non-linéaires statiques ou dynamiques d'ordre quelconque. Conçu pour Windows 98, NT, 200, XP, il lit les fichiers au format .db, .xls, .txt, .csv et toutes les bases de données qui disposent d'un driver ODBC. Il peut exploiter les enregistrements des bases de données évènementielles à intervalles de temps inégaux. Il peut apprendre avec très peu ou beaucoup de données : de 10 à 50.000 données d'apprentissage avec Neuro One, plus de 1.000.000 de données avec Neuro Code. Il détecte les variables d'entrée colinéaires. Il génère automatiquement et dans une interface conviviale des réseaux de neurones aux dimensions et aux caractéristiques indiqués par l'utilisateur. Il propose le nombre de neurones cachés nécessaire et peut travailler avec plusieurs sorties.Pour l'apprentissage, il utilise des algorithmes du second ordre (Levenberg-Marquardt, Quasi-Newton) qui assurent une convergence rapide vers la solution optimale. Il génère automatiquement un rapport sur le réseau construit, les conditions d'apprentissage et le résultat obtenu, ainsi qu'un code C transposable à d'autres applications et/ou d'autres systèmes d'exploitation.
Avec le module NEURO SHOP (version Neuro One Expert), il est possible de construire des réseaux complexes à plusieurs couches cachées adaptés à des cas spécifiques (environ 10% des cas recensés). Ceci concerne notamment les modèles multisortie mais aussi des modèles hybrides qui combinent dans un seul modèle un réseau neuronal de type boite noire et des équations physiques représentatives de la réalité physique étudiée. Une telle combinaison hybride permet :
le respect des conditions aux limites (ce que ne garantit pas un réseau neuronal seul) ;
- un domaine élargi de validité du modèle ;
- un nombre plus réduit de paramètres inconnus et donc un nombre plus réduit de neurones ;
- un apprentissage simplifié car nécessitant moins d'exemples ;
- un temps de calcul diminué en conditions réelles d'opération.
Lorsque l'apprentissage est terminé, la structure du réseau de neurones et les paramètres sont enregistrés, l'utilisateur dispose de 3 moyens pour exploiter le réseau en condition réelle :
- utiliser le module NEURO FIT depuis Windows ;
- transposer le modèle dans Excel ou Matlab ;
- construire sa propre application Windows en utilisant le module NDK ;
- utiliser les codes C fournis par les modules NEURO ONE et NEURO CODE en les recompilant dans des applications spécifiques pas nécessairement Windows.
Sur certains points, le logiciel est novateur et très en avance sur la concurrence internationale, en particulier pour les modèles mixtes, le calcul dynamique, le calcul en mode inverse, l'estimation des intervalles de confiance.
L'utilisation du logiciel NEURO ONE peut être envisagée dans toute qui nécessite le traitement de données non-linéaires : statistique, mécanique, chimie, physique, astronomie, finance et tout le datamining en général.
Il est fréquent que l'utilisateur commence ses études avec les modules NEURO ONE, NEURO SHOP, NEURO FIT, puis au fur et à mesure de la spécialisation de son sujet, bascule vers les modules NDK et NEURO CODE.
Dans les domaines d'activités ou il y a peu d'expérience, NETRAL engage les recherches initiales, puis transfère le savoir-faire aux spécialistes du secteur. C'est ce type d'approche à privilégier lors des premiers contacts.
CONFIGURATION MATERIELLE
Neuro One fonctionne avec Windows 95/98/NT/Me/2000/XP et occupe après installation environ 40 Mo sur le disque dur de l'ordinateur, non compris les données utilisateur. Neuro One requiert au minimum 64 Mo de mémoire vive, éventuellement 96 ou 128 Mo pour le traitement des grosses bases de données. Les temps de calcul sont directement liés à la puissance du processeur mais donnent déjà des résultats satisfaisants avec des processeurs de type Pentium II 266 MHz.
Note : Neuro One peut fonctionner avec d'autres systèmes d'exploitation.
CHARGEMENT ET STOCKAGE DES DONNEES SOURCE
Les données à analyser dans Neuro One peuvent être chargées en mémoire vive selon plusieurs méthodes : par copier-coller, par lecture de fichier Ascii aux formats txt (séparation = tabulation), csv (séparation = point-virgule), dat (séparation = espace), par lecture de fichier Excel, par lecture de base de données à travers les interfaces ODBC. Si nécessaire, les données en mémoire sont enregistrées sur le disque dur dans le format db (base de données Paradox).
PRE-TRAITEMENT DES DONNEES
Absence de pré-traitement
Une option à manipuler avec précaution.
Normalisation des données
Par centrage et réduction. C'est l'option par défaut de Neuro One car elle est adaptée à la plupart des problèmes et optimise les conditions d'apprentissage des réseaux de neurones. L'affichage des données est conservé dans les formats et unités d'origine.
Analyse en composantes principales
Permet la réécriture des données dans la base des vecteurs propres ordonnée par valeurs propres décroissante, en vue d'une réduction dimensionnelle.
Analyse en composantes principales corrélées avec la sortie
Permet la réécriture des données dans la base des vecteurs propres ordonnée par valeurs de corrélation décroissante (en valeur absolue) entre les vecteurs propres et la sortie, en vue d'une réduction dimensionnelle.
Disjonction des données
Les réseaux de neurones travaillent sur des données numériques. En présence de données qualitatives, Neuro One disjoint celles-ci et les convertit en données numériques en rajoutant, si nécessaire, des champs supplémentaires.
Exemple : la colonne définie par les 3 critères " Bon ", " Moyen ", " Mauvais " est transformée en 3 colonnes à valeurs 0 ou 1 pour former les triplets (1,0,0), (0,1,0) et (0,0,1).
SELECTION DES VARIABLES
Une étape difficile mais cruciale en modélisation, notamment lorsqu'il y a abondance de variables explicatives (variables d'entrée). L'objectif est une réduction dimensionnelle sans perte d'information pertinente lors de la modélisation de la variable de sortie (variable à expliquer).
Neuro One propose 2 méthodes :
Algorithme de Gram-Schmidt plus sonde aléatoire
Cet algorithme classe en un ordre décroissant toutes les variables d'entrée disponibles selon leur contribution marginale à l'estimation de la variable de sortie (en supposant des modèles linéaires et des modèles polynomiaux du 2ème ordre). La sonde aléatoire évalue le rang du classement pour lequel l'information apportée n'est plus significative puis propose d'éliminer les variables d'entrées jugées non significatives.
Cet algorithme est performant et donne de bons résultats dans de nombreuses situations.
Analyse en composantes principales
Seuls les vecteurs propres les plus significatifs (selon leurs valeurs propres ou leurs niveaux de corrélation avec la sortie, cf.ci-dessus) sont conservés et utilisés comme entrées du réseau de neurones. La réduction dimensionnelle n'est que partielle : le nombre d'entrées et le nombre de coefficients du réseau de neurones sont certes réduits, mais toutes les variables initiales sont nécessaires et devront être disponibles ultérieurement.
Cette méthode semble donner de bons résultats en spectrométrie.
CONSTRUCTION DES RESEAUX DE NEURONES
Neuro One Standard
Neuro One Standard dispose d'un outil de création automatique des réseaux de neurones à 1 couche cachée et des modèles polynomiaux suivants :
Modèles linéaires
Modèles polynomiaux d'ordre 2, 3, 4, 5 et ordre supérieur
Réseaux de neurones de classification non-supervisée de Kohonen
Réseaux de neurones statiques de classification dirigée multi-classes (avec les options " 1 classe contre toutes " et " classe contre classe ")
Réseaux de neurones statiques de régression à 1 sortie (les plus fréquents)
Réseaux de neurones statiques de régression à plusieurs sorties
Réseaux de neurones statiques à série temporelles et retards temporels entièrement paramétrables
Réseaux dynamiques entrées-sorties (à bouclage simple ou multiple de la sortie vers les entrées)
Réseaux dynamiques d'états (à bouclage simple ou multiple de variables d'états internes vers les entrées)
Neuro One offre la faculté de passer très facilement d'un type de réseau à l'autre en quelques clics de souris et propose des représentations graphiques conviviales des différents réseaux.
Fonctions d'activation Neuro One Standard
Neuro One Standard permet de changer les fonctions d'activation des neurones de la couche cachée et de la couche de sortie. Sont disponibles les fonctions suivantes :
Tangente hyperbolique
Sigmoïde
Arctangente
Sinus
Gaussienne
Unité
Neuro One Expert
Neuro One Expert dispose en plus de Neuro One Standard d'un outil de création manuel et convivial pour créer des réseaux de neurones non-standards et/ou complexes :
Tous les réseaux conçus avec Neuro One Standard
Réseaux de neurones statiques ou dynamiques à plusieurs couches cachées
Réseaux dynamiques à bouclage différentiel d'Euler
Réseaux dynamiques à bouclage différentiel de Runge-Kutta d'ordre 2
Réseaux dynamiques à bouclage différentiel de Runge-Kutta d'ordre 4
Décadrage automatique des réseaux
Transformation de réseaux Séries temporelles en réseaux dynamiques
Fusion de réseaux statiques
Fusion de réseaux dynamiques
Modification des fonctions d'activation neurone par neurone, y compris les neurones d'entrée, avec les fonctions d'activation suivantes :
Fonctions d'activation Neuro One Expert
Tangente hyperbolique
Sigmoïde
Arctangente
Sinus
Gaussienne
Unité
Moment d'ordre 0
Moment d'ordre 1
Quadratique
Cubique
Exponentielle
Logarithmique
Inverse
Racine
Echelon
Complément à 1
Valeur absolue
Insertion de neurones non-standards (neurones multiplicateurs, neurones diviseurs et neurones additifs hors fonction d'activation)
Ajout et suppression manuels des synapses (liens entre neurones)
Synapses additives, multiplicatives et division
Fixation manuelle des valeurs de synapses
Construction de réseaux hybrides statiques ou dynamiques mélangeant modèle physique de connaissance et modèle neuronal
Sauvegarde des réseaux au format propriétaire Netral .net et au format texte .nml équivalent du format .xml
APPRENTISSAGE
Algorithmes d'apprentissage
Gradient simple
Gradient stochastique
Levenberg-Marquardt (par défaut)
Quasi-Newton
Initialisation des synapses (ou poids ou coefficients)
Initialisation aléatoire selon une Gaussienne centrée autour de 0 et d'écart-type paramétrable
Initialisation manuelle des synapses (à manipuler avec précaution)
Nombre d'apprentissages
Défini par l'utilisateur, de 1 à quelques dizaines, voir une centaine.
Dans le cas de modèles non-linéaires, il existe souvent plusieurs solutions correspondant à des minima locaux de la fonction de coût (cf. ci-dessous). Pour trouver le minimum global, il est nécessaire de lancer plusieurs apprentissages puis de sélectionner le meilleur.
COUT D'APPRENTISSAGE ET FONCTION DE COUT
Note : La fonction de coût est quelquefois appelée fonction d'erreur.
La conduite d'un apprentissage s'effectue par itérations successives afin de minimiser une erreur cumulée entre les valeurs calculées et les valeurs de référence des données composant l'ensemble d'apprentissage. Cette erreur cumulée est le plus souvent obtenue à partir de la fonction de coût " erreur quadratique ".
Dans certaines situations, il peut être judicieux d'utiliser d'autres fonctions de coût qui peuvent modifier substantiellement les résultats et accélérer les apprentissages vers les solutions optimales.
Fonctions de coût par défaut
Neuro One (Standard ou Expert) propose par défaut les fonctions de coût suivantes :
Erreur quadratique
Erreur quadratique relative
Erreur quadratique pondérée
Erreur quadratique gaussienne
Erreur logarithmique quadratique
Classement pondéré
Classement incorrect
Fonctions de coût dédiées
Neuro One (Standard ou Expert) permet de créer des fonctions de coût adaptées à des problèmes très spécifiques et de les intégrer dans le logiciel sous forme de DLL.
Pour ses propres études ou à la demande de ses clients, NETRAL a par exemple réalisé des :
- Fonctions de coût pour estimer les valeurs extrêmes de lois de probabilité à queues épaisses de type Pareto et des lois de probabilité quelconques mais non-Gaussiennes.
- Fonctions de coût adaptées à la détection de tendances (positives ou négatives) en trading boursier intra-day.
ENSEMBLE D'APPRENTISSAGE
Netral recommande des ensembles d'apprentissage ayant trois fois plus de données qu'il n'y a de paramètres à calculer dans le modèle.
ENSEMBLE DE VALIDATION CROISEE
Neuro One permet de sélectionner parmi les points de l'ensemble d'apprentissage un sous-ensemble de points appelé " ensemble de validation croisée ". Les points de l'ensemble de validation croisée permettent de vérifier l'absence de sur-apprentissage et d'indiquer le meilleur modèle minimisant la fonction de coût simultanément sur les 2 ensembles.
Les options de Neuro One sont :
Pas d'ensemble de validation croisée.
Ensemble de validation croisée définie par une séquence de points (position de la 1èrevaleur et longueur de la séquence).
Ensemble de validation croisée comportant un nombre de points choisis aléatoirement.
Ensemble de validation croisée comportant un nombre de points choisis selon la distance de Kulback-Leibler afin que les ensembles d'apprentissage et de validation croisée soient similaires en moyenne et en écart-type.
Fonctions de coût identiques ou différentes pour les ensembles d'apprentissage et de validation croisée.
La construction d'un ensemble de validation croisée est délicate et conduit quelquefois à des résultats aberrants lorsque les ensembles d'apprentissage et de validation croisée sont petits par rapport au nombre de coefficients à calculer (ratio inférieur à 1/3 voire 1/5).
Dans ces situations, Netral recommande des ensembles de validation croisée de taille comprise entre 10% et 16% du nombre total de points et l'utilisation de la distance de Kulback-Leibler pour optimiser l'ensemble de validation croisée.
COUT DE GENERALISATION
Le coût de généralisation est équivalent au coût de " Leave-One-Out simulé " et est calculé selon la méthode suivante :
Si N est le nombre de points disponibles, il est possible de construire N modèles différents utilisant N-1 points pour chaque ensemble d'apprentissage et 1 point pour chaque ensemble de validation croisée.
Le coût de généralisation est le coût des N modèles fusionnés calculé sur les N points.
Il caractérise le modèle le plus robuste, c'est à dire le modèle qui aura la meilleure précision (ou capacité de généralisation) sur des données tierces quelconques, différentes de celles de l'ensemble d'apprentissage (mais toujours en interpolation vis à vis de l'ensemble d'apprentissage).
La méthode du coût de généralisation est utilisable pour des modèles statiques, pour des modèles Séries temporelles, mais pas pour des modèles dynamiques.
En utilisant le coût de généralisation, il n'est plus nécessaire de construire ni d'utiliser d'ensemble de validation croisée.
Note : Cette méthode de calcul a été mise au point au cours de l'année 2000 et a fait l'objet d'une thèse et d'une publication scientifique. Voir :
LEVIERS
En fin d'apprentissage et pour chaque modèle de type statique ou Série temporelle, Neuro One calcule la contribution relative (ou " Levier ") de chaque exemple de l'ensemble d'apprentissage sur le modèle.
Si N est le nombre d'exemples (points) de l'ensemble d'apprentissage et Q le nombre de synapses (coefficients ou poids ou degrés de libertés) du modèle, alors :
Tous les leviers ont une valeur comprise entre 0 et 1.
La somme des leviers est égal à Q.
La moyenne des leviers est égal à Q/N.
Un bon ensemble d'apprentissage se caractérise par des points ayant le plus grand nombre de leviers proches de la moyenne Q/N, c'est à dire des points répartie de la manière la plus homogène possible dans l'ensemble d'apprentissage selon des critères non-linéaires.
Note : Il y a encore des incertitudes théoriques pour le calcul des leviers sur les modèles dynamiques.
INTERVALLES DE CONFIANCE
En fin d'apprentissage et pour les modèles de type statique ou Série temporelle, Neuro One fournit un intervalle de confiance autour de chaque sortie calculée. Cet intervalle de confiance dépend d'un seuil de probabilité paramétrable et fixé par défaut à 0,05 (5% en dehors de l'intervalle, soit 95% compris entre Y - IC et Y + IC).
Depuis la version 4 de Neuro One, l'intervalle de confiance est calculé à partir des leviers.
Important : Il faut vérifier au préalable que les données soient indépendantes et/ou puissent être modélisées par des variables aléatoires indépendantes.
SELECTION DU MEILLEUR MODELE
Neuro One dispose d'un outil d'analyse des résultats d'apprentissage et de sélection du meilleur modèle selon les critères suivants :
Meilleur coût sur l'ensemble d'apprentissage
Meilleur coût sur l'ensemble de validation croisée
Meilleur coût de généralisation
Meilleure homogénéité des leviers
ENREGISTREMENT DES MODELES
Format fichier
Les modèles sont enregistrés au format propriétaire Netral .net ou format universel .xml pour une réutilisation ultérieure.
Code C
Neuro One génère automatiquement et gratuitement le code C correspondant à chaque modèle neuronal. Ce code C peut ensuite être recopié dans des applications informatiques tierces fonctionnant sous Windows ou d'autres systèmes d'exploitation (VMS, Unix, Linux, MacIntosh, etc...).
Ce code C calcule la ou les sorties du réseau en fonction des entrées qui lui sont présentées (c'est la fonction de transfert).
Ce code C ne calcule ni les leviers ni les intervalles de confiance.
GRAPHIQUES
Image du réseau
Cette image indique à tout moment la structure du réseau (neuronal , polynomial, RBF), la nature des synapses et des fonctions d'activation.
Fonction de coût
Pour suivre la décroissance des coûts d'apprentissage et de validation croisée à chaque itération et chaque cycle d'apprentissage.
Tables de données
Vues 2D de tous les points disponibles des ensembles d'apprentissage et de validation croisée, des valeurs de sortie calculées, des résidus, des leviers, des intervalles de confiance.
Fonction Interpolation
Vues 2D, 3D et courbes de niveaux de(s) sorties et de leurs dérivées partielles en fonction des entrées, pour des valeurs quelconques prises par les entrées. Lorsqu'il y a plus de 2 entrées disponibles, Neuro One fige certaines entrées et en libère d'autres.
ACCES AUX DONNEES
Toutes les tables de données, vecteurs, matrices et autres données issues de calculs mathématiques sont accessibles sous Neuro One et peuvent être visualisés sous forme de tables puis Copier-Coller dans un autre logiciel.
ENSEMBLE DE TEST – ESTIMATION DE PERFORMANCE
Neuro One ne permet qu'un ensemble de validation croisée mais permet plusieurs ensembles de test pour lesquels sont calculés : valeur(s) estimée(s) pour la (les) sortie(s), résidus, leviers et intervalles de confiance.
Les ensembles de test fournissent des informations supplémentaires sur la validité d'un modèle
Veuillez nous contacter pour recevoir des informations supplémentaires.© Netral - Juin 2008