Dynamical System and Information Geometry A Complementary Approach to Complex Systems Masatoshi Funabashi

To cite this version: Masatoshi Funabashi. Dynamical System and Information Geometry A Complementary Approach to Complex Systems -. General Physics [physics.gen-ph]. Ecole Polytechnique X, 2010. English. NNT :. pastel-00556873 HAL Id: pastel-00556873 https://pastel.hal.science/pastel-00556873 Submitted on 18 Jan 2011

HAL

is 

a multi-disciplinary open access archive for the deposit and

disse

mination

of scientific research documents

,

whether they are published or not

.

The documents may

come from

teaching

and

research institutions in France or 

abroad,

or from public or

private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, 

éma

nant des établissements d’enseignement et de recherche français ou



étrangers,

des laborato

ires

publics ou privés.

Dynamical System and Information Geometry A Complementary Approach to Complex Systems - Masatoshi Funabashi Centre de Recherche en Epistémologie Appliquée Ecole Polytechnique THESE présenté pour l’obtention du grade de Docteur de l’Ecole Polytechnique Discipline: Science des Systèmes Complexes Octobre 2010

Reviewers Jean-Jacques Szczeciniarz Professor, Université Paris Diderot (Paris 7) Frank Nielsen Professor, Ecole Polytechnique Researcher at Sony Computer Science Laboratory, Japan Judges Jean Petitot Thesis supervisor Professor, Ecole Polytechnique Paul Bourgine Professor, Ecole Polytechnique Director of CREA Giuseppe Longo Professor, Ecole Normale Supérieure Paris Mario Tokoro President and CEO, Sony Computer Science Laboratories, Inc. (Japan) Day of the defense 15 October 2010 Every form in reality is empty, and emptiness is the true form. -Heart Sūtra

ABSTRACT

Recently emerging complex systems sciences tackle the systems where complex interactions between components lead to the manifestation of emergent property linking different levels of organization. This thesis aims to reveal the mechanism of emergent property in complex systems, both in concrete modeling as well as comparative analysis between different systems. We tackle various subjects in complex systems science with newly proposed unified theoretical framework, based on the dialectic between dynamical system theory and information geometry. The thesis has therefore two levels of objectives: 1) Modeling and understanding of concrete complex systems with the use of constructive and interaction-analytical methodologies, and 2) comparison between different complex systems to characterize universal structure of emergence. The thesis consists of 7 Parts, in which Part 2 to 6 correspond to the first objective, and the Part 7 to the second one: In Part 1, we review the historical context of complex systems science and propose a dialectical strategy between the constructive and interaction-analytical methodology, based on the dynamical system theory and information geometry, respectively. In Part 2, we treat a candidate model of brain cortex dynamics known as “chaotic itinerancy”, and incorporate the effect of autonomous learning seeking for the creativity of intelligence as emergent property of neural system. The interpretation of emergence in terms of the internal measurement theory is extended to derive the concept of “chaotic itinerancy as catalyst of learning”. In Part 3, the dynamics of chaotic neural network is applied to emergent collective behavior of robots, so that to realize optimal intermittent search of sporadic information. The effectiveness of the collective infotaxis is analyzed on a simulator basis. In Part 4, we define novel complexity measures from information geometrical point of view and apply to the analysis of social network data. The established complexity measures play a key role in comparative analysis between different systems in Part 7. In Part 5, we apply the dialectical strategy between dynamical system and information geometry toward the understanding of morphogenesis during zebrafish embryogenesis. Theoretical propositions are tested with tentative experimental data from two european projects, Embryomics and BioEMERGENCES. In Part 6, complex systems related to linguistics are investigated. We discovered novel invariants and geometrical relation between japanese vowels, as a system-level emergent property. Ecological modeling approach to multilingual environment is also proposed along the dialectical strategy between linguistic theory and mathematical modeling. In Part 7, we review the obtained results in previous Parts with comparative perspective, seeking for a characterization of universal structure of emergence in terms of the organization of interactions that does not explicitly depend on the property of components. Comparison between Part 2 and 4, as well as 5 and 6, derived candidate qualitative dynamics of emergence and its detection strategy as the dynamics and constraint between functors and meta-functors. Further possibility of the proposed strategy is discussed. 5 Système Dynamique et Géométrie Informationnelle -Une Approche Complémentaire aux Systèmes Complexes- RÉSUMÉ

Un des défis majeurs de la science de complexité se situe à l’investigation de l’émergence, où les interactions entre les composants microscopiques d’un système produisent la propriété globale, et réciproquement, la dynamique globale influence le bas niveau. Cette thèse a comme ambition de 1) élucider le mécanisme sous-jacent des systèmes complexes par la modélisation concrète des systèmes réels, et aussi 2) comparer entre les différents modèles proposés pour détecter la condition universelle de l’émergence. Pour cela, nous développons la nouvelle méthodologie basé sur l’interaction entre la théorie des systèmes dynamiques et la géométrie informationnelle, afin d’avoir la dialectique entre la modélisation constructive/déterministe et l’analyse des interactions sous la formalisation stochastique. La thèse se compose de 7 Parties, parmi lesquelles la Partie 2 à 6 correspondent au premier objectif, et la Partie 7 au seconde. Dans la Partie 1, nous allons réviser l’histoire de la science de la complexité et proposer la stratégie dialectique entre les méthodologies constructive et interactionsanalytique, basé sur la théorie de système dynamique et la géométrie informationnelle. En Partie 2, nous traitons un modèle de réseau neuronal avec le comportement chaotique nommé “l’itinérance chaotique” comme un candidat de la dynamique du cortex cérébral, et analysons l’effet de l’apprentissage autonome sans superviseur comme une source de créativité qui est la propriété émergente du système neuronal. La théorie de la mesure intérieure est étendue afin de interpréter l’émergence des nouveaux attracteurs par “le chaos comme le catalyseur d’apprentissage.” En Partie 3, nous avons appliqué la dynamique du réseau neuronal cha aux robots qui manifestent la dynamique de recherche collective de manière émergente, au défi de la détection optimale des informations sporadiques. L’efficacité de la recherche collective est évaluée avec un simulateur virtuel. En Partie 4, nous développons les nouvelles mesures de la complexité du point de vue de la géométrie informationnelle, et analysons les données des réseaux sociaux. Les mesures de la complexité jouera un rôle principal dans la Partie 7. En Partie 5, nous appliquons la stratégie dialectique entre le système dynamique et la géométrie informationnelle vers la compréhension de la morphogenèse lors de l’embryogenèse chez le poisson zèbre. Quelques propositions théoriques sont établies et testées avec les données tentatives dérivées des projets européens Embryomics et BioEMERGENCES. En Partie 6, nous analysons les systèmes complexes liés au linguistique. Nous avons découvert les nouveaux invariants et la composition géométrique entre les voyelles japonaises, qui sont les propriétés émergentes au niveau du système. Nous développons aussi la modélisation écologique de l’environnement multilingue dans un contexte de la dialectique entre la théorie linguistique et la modélisation mathématique. En Partie 7, nous révisons les résultats obtenus dans les Parties précédentes sous une perspective comparative, en vue de détecter la structure universelle de l’émergence comme l’organisation des interactions qui ne dépende pas explicitement sur la propriété des composants. Surtout la comparaison entre les Parties 2 et 4, ainsi 5 et 6, nous indique la typologie et la stratégie de détection de la dynamique de l’émergence comme la relation et le contraint entre les foncteurs et méta-foncteurs. D’autre possibilité d’application de la stratégie établie est mise en discussion.

6 Résumé des Chapitres Partie I Introduction Générale

Chapitre 1 Qu’est-ce que sont les systèmes complexes? Nous introduisons les concepts des systèmes complexes et les termes épistémologiques en révisant l’histoire de la science et de la modélisation. Nous proposons ainsi une nouvelle approche complémentaire basé sur les thé ories de système dynamique et géométrie informationnelle. Cette méthodologie jouera un rôle principal et transversal dans l’ensemble de cette thèse. Mots clés: Système complexe, émergence, système dynamique de haute dimension, chaos, observation intérieure, méthodologie constructive, méthodologie interaction-analytique

Chapitre 2 Préliminaires de système dynamique

Préliminaires de système dynamique. Mots clés: Système dynamique à temps discret, bifurcation, crise d’attracteur, itinérance chaotique, exposant de Lyapunov

Chapitre 3 Préliminaires de géométrie informationnelle

Préliminaires de géométrie informationnelle. Mots clés: Variété statistique, métrique Riemannien, α-connexion, coordonnés double-plat, Kullback-Leibler divergence, théorème de Pythagore étendu

Partie II Modélisation synthétique avec réseau neuronal chaotique Chapitre 4 Modélisation synthétique de l’apprentissage autonome avec réseau neuronal chaotique

Nous étudions un modèle de réseau neuronal chaotique (CNN) qui manifeste la dynamique intermittente et chaotique nommée l’itinérance chaotique, en interaction avec les règles d’apprentissage autonome sans superviseur. Premièrement, nous analysons la stabilité du modèle de manière hiérarchique selon la structure des espaces invariants. La transition irrégulière entre les ruines d’attracteur est observée avec le valeur positif de l’exposant de Lyapunov, provoqué par la blowout bifurcation des sous-espaces où les attracteurs sont situés. Cette crise est associée de la génération de la structure ridée des bassins. Ensuite, nous modélisons 2 sortes d’apprentissage autonome avec les règles classiques, de Hebb et STDP, afin d’observer l’effet de la dynamique de l’itinérance chaotique sur l’apprentissage. L’apprentissage de Hebb a augmenté le temps de résidence aux ruines d’attracteur et le degré de synchronisation entre les neurones, en produisant la modularité uniforme dans la dynamique et réalisa l’émergence des nouveaux attracteurs dans l’espace convergé des ceux mémorisés auparavant. L’apprentissage avec STDP a contrairement réduit le temps de résidence aux ruines d’attracteur, mais introduit une large variété de périodicité aux attracteurs émergents, indiquant la possibilité de l’apparition des attracteurs étranges. Les deux règles d’apprentissage autonome ont détruit et préservé les espaces invariants du modèle de manière sélective mais différente, selon les règles et la dynamique de synchronisation des neurones sur les sous-espaces où les orbites sont situées. Mots clés: Itinérance chaotique, espace invariant, blowout bifurcation, bassin ridé, apprentissage de Hebb, apprentissage de STDP. Méthodologie: Modélisation des apprentissages autonomes avec CNN comme un système dynamique → Analyse de stabilité linéaire de CNN comme un système dynamique → Analyse de corrélation neuronale émergente par la géométrie informationnelle 7

Chapitre 5 Mesure intérieur de l’itinérance chaotique comme catalyseur d’apprentissage

Nous révisons et étendre la “théorie orientée à la mesure” de Y.-P, Gunji, afin d’interpréter le processus émergent des nouveaux attracteurs dans le CNN étudié au chapitre précédent. Les résultats peuvent être interprétés avec une extension d’un fameux concept du “chaos comme catalyseur d’apprentissage,” qui trouve aussi le lien avec la théorie de la mesure intérieure. L’émergence des nouveaux attracteurs peuvent être considérés comme un processus vers la réalisation de pseudo-solution, qui se génère de la dynamique d’apprentissage autonome basée sur la mécanisme intrinsèque du système, et qui effectue la modification de l’interface au sens de la mesure intérieure afin de résoudre l’état de contradiction que représente l’itinérance chaotique. Mots clés: Mesure intérieure, physique orienté à la mesure, pseudo-solution Méthodologie

:

Formalisation du chaos dans le

s

ystème dynamique

comme un observateur intérieur →

Formalisation

du CNN comme un observateur intérieur → Inter

pré

tation des résultats des apprentissages autonomes avec la théorie orientée à la mesure

Partie III Application de réseau neuronal chaotique en robotique émergente Chapitre 6 Introduction de neurorobotique

Nous introduisons le concept de “neurorobotique” comme une source d’invention technologique et le champs de recherche interdisciplinaire situé entre les neurosciences et la robotique. Le contexte des projets de la partie 3. Mots clés: Neurosciences, robotique, énaction

Chapitre 7 Équilibration entre l’ autonomie et la réponse à l’ environnement avec la dynamique chaotique hiérarchique

La structure hiérarchique entre les espaces invariants de la dynamique chaotique déterministe du CNN est analysée et mise en application dans la robotique. Il s’est révélé que la dynamique intrinsèque de l’ itinérance chaotique du CNN permet de contrôler la synchronisation d’activité des neurones de manière sélective à la hiérarchie, aussi de réagir rapidement aux entrés sensoriels extérieurs. Avec les configurations des paramètres appropriées, le robot a réalisé le mouvement chaotique de recherche entre tous les combinaisons possibles des trois directions par le simple contrôle de synchronisation partielle des neurones. L’ entré extérieur faible est montré suffisant pour avoir le dérive macroscopique à la direction visée avec la fluctuation chaotique. Le robot a démontré la capacité de contourner les obstacles par la simulation virtuelle. Mots clés: Réseau neuronal chaotique, espace invariant

, itinérance chaotique Mét

hodologie: Modélisation d’

un

robot itin

érant

utilisant

la dynamique hiérarchique

du

CNN comme

le



s

ystème

dynamique complètement déterministe

→ Analyse stochastique du comport

ement

et la répon

se

à l’ entré extérieur du système

Chapitre 8 Recherche intermittente optimale avec le robot chaotique itinérant et infotaxis par l’interaction collective

Nous allons appliquer le robot modélisé au chapitre précédent à la recherche collective des informations dans leur environnement. Un modèle stochastique de recherche en 2 phases basé sur le comportement des animaux est étendu à la recherche des informations sporadiques sur la surface de 2 dimensions. Le réseau de contacte entre les robots est analysé, à partir duquel nous modélisons la recherche collective en partageant les informations détectés dans l’environnement par la communication locale entre les robots. L’efficacité de la collective est examiné sur un simulateur virtuel. Mots clés: Recherche d’information sporadique en 2 phase, infotaxis, interaction collective, partage d’information

8 Méthodologie: Modélisation de la recherche en 2 phase du robot comme le système dynamique complètement déterministe basé sur l’analyse stochastique du chapitre précédent →

Analyse des paramètres optimales sur un simulateur virtuel sous la formalisation stochastique → Modélisation et simulation de la recherche collective des informations comme un ensemble des systèmes dynamiques complètement déterministes → Construction de la théorie d’évaluation de la recherche avec la géométrie informationnelle

Partie IV Mesures de la complexité et application à l’analyse de la dynamique de réseau social Chapitre 9 Dynamique des corrélations ordonnées dans bases de données de texte

Nous appliquons la géométrie informationnelle pour l’analyse de cooccurrence du réseau des mots au-delà de la corrélation de seconde ordre. Afin de traiter tous les informations hiérarchiques contenu dans l’ensemble de corrélation entre les variables, la dynamique du méta-niveau est considéré. Le résultat de l’analyse des weblogs politiques démontre qu’ il existe une structure riche de la dynamique à la fois au niveau de l’ordre de corrélation et aussi au méta-niveau de corrélation. Mots clés: Clustering hiérarchique, géométrie informationnelle, réseau de cooccurrence, weblog politique, communauté épistémique

Méthodologie: Définition des corrélations à chaque ordre comme contexte et ses méta-contextes avec la géométrie informationnelle → Analyse des tendances de la dynamique des contextes et méta-contextes comme système dynamique → Analyse de la carte de retour et de la stabilité locale des contextes et méta-contextes avec la formalisation du système dynamique

Chapitre 10 Décomposition de réseau: Une approche de la théorie informationnelle

Nous considérons la représentation du graphe des modèles stochastiques avec en général n variables binaires, et construisons un cadre théorique qui nous permet de mesurer tous les degrés des interactions existants entre tous les sous-systèmes, aussi bien ceux représentés par chaque lien entre les noeuds. L’étude de cas sur les weblogs politiques est démontré. Mots clés: Géométrie informationnelle, réseau complexe, clustering hiérarchique Méthodologie: Formalisation de la décomposition du système et le coupure du lien par la géométrie informationnelle → Analyse des tendances des weblogs politiques comme système dynamique

Chapitre 11 Reconstruction des liens de graphe comprenant les interactions ordonnées et substantives en référence multinoeuds

Nous étudions de nouveau les informations représentées par les liens du réseau définies comme “l’information du lien” dans le chapitre précédent, afin de reconstruire le réseau à grande échelle à partir des données. La définition de l’information du lien est étendue afin de distinguer les interactions de chaque ordre entre corrélation positive et négative, de manière compatible avec le théorème de Pythagore. Pour résumer, une nouvelle définition de l’information du lien qui réuni ses décompositions est établie. Du côté de la reconstruction du réseau à grande échelle, nous proposons une stratégie pour la réduction du temps de calcul en limitant les combinaisons des variables à ceux qui contient les interactions substantives. Les mesures de l’information du lien et la méthodologie de la reconstruction efficace du réseau sont mis en application avec les jeux de donnée des weblogs politiques. Mots clés: Géométrie informationnelle, interaction de chaque ordre, information du lien, réduction des paramètres, weblog politique, réseau social

9

Méthodologie: Décomposition de l’information du lien à chaque ordre de l’interaction et formalisation de la reconstruction du réseau de corrélation en référence multi-échelle par la géométrie informationnelle → Application à l’analyse des weblogs politiques comme système dynamique

Chapitre 12 Mesures de la complexité par rapport à la facilité de décomposition de système

Plusieurs mesures de la complexité de point de vue de la théorie d’information sont inventées jusqu’à présent, qui sont en principe les produits arithmétiques des informations. Nous considérons une nouvelle classe de mesure de la complexité basé sur les produits géométriques du KL divergence, par nécessité de évaluer la facilité de la décomposition du système stochastique à plusieurs critères, la décompositionabilité du système. Cette nouvelle classe de complexité remplit aussi la condition aux limites des mesures de la complexité arithmétique, qui disparaı̂t à l’état complètement déterministe ou aléatoire, et en outre par la présence d’un sous-système complètement indépendant. L’analyse du réseau sociale reconstruit des weblogs politiques a révélé la dynamique de chaque sous-système en relation avec le comportement global associé à l’augmentation de la complexité totale. Nous proposons une hypothèse théorique que la décompositionabilité de chaque sous-système peut être conçue une fonction de potentiel sur la variété statistique, qui caractérise certain aspect de la dynamique actuelle des données. Mots clés: Mesure de la complexité, condition aux limites, décompositionabilité du système, moyen géométrique Méthodologie: Définition des nouvelles mesures de la complexité par rapport à la décompositionabilité du système basé sur la géométrie informationnelle → Analyse des tendances des weblogs politiques comme système dynamique → Considération théorique sur les nouvelles mesures de la complexité comme le potentiel du flux géodésique avec le perspective système dynamique

Partie V Reconstruction d’embryogenèse Chapitre 13 Description du projet

Le contexte du travail de la partie 5 qui est réalisé au sein des projets européens, Embryomics et BioEMERGENCES est présenté. Ce chapitre résume le défi des projets, et la stratégie globale qui définissent l’ objectif des études développées dans cette partie. Mots clés: Embryogenèse, poisson zèbre, reconstruction phénoménologique, reconstruction théorique

Chapitre 14 Vers la définition dynamique de tissu: Détection des corrélations signifiantes dans le déplacement de cellule

Nous établissons la définition du “tissu dynamique” qui se fond sur les paramètres dynamiques de résolution cellulaire dérivé des projets Embryomics et BioEMERGENCES, en contraste du concept traditionnel du “tissu statique” basé principalement sur les traits morphologiques et anatomiques. Pour ce but, nous construisons la théorie de test statistique par la géométrie informationnelle, afin de détecter les corrélations signifiantes et la non-uniformité dans le champs de vecteur de déplacement des cellules. Le résultat provisoire sur les jeux de donnée de l’embryon de poisson zèbre est obtenu, qui nous donne l’information sur la mode coordonnée de migration des cellules pour la futur reconstruction théorique. La mesure de la stabilité temporelle est aussi développée théoriquement à la base du tissu dynamique. Mots clés: Tissu statique, tissu dynamique, déplacement de cellule, test statistique Méthodologie: Définition du tissu dynamique par la géométrie informationnelle traitant les jeux de donnée expérimentals comme système dynamique → Analyse des jeux de donnée → Considération théorique sur la durée temporelle du tissu dynamique 10 avec le perspective système dynamique

Chapitre 15 Vers la caractérisation multi-échelle d’embryogenèse: Incorporation des variables biologiques dans clustering sémi-paramétrique

Nous considérons la stratégie qui fait le lien entre la reconstruction phénoménologique et théorique, par l’ investigation du modèle phénoménologique avec les variables biologiques. Nous proposons une méthode de clustering basée sur les “descripteurs minimums” qui incorporent l’intérêt biologique pour caractériser la dynamique de l’embryogenèse. Les résultats provisoires sont obtenu, et la théorie pour la mesure de la variation interindividuelle est développée à multi-échelle en extension spatiale et temporelle, afin d’évaluer l’effet du traitement des drogues sous condition expérimentale. Mots

c

lés: Descripteur minimum, algorithme EM, variation individuelle Méthodologie: Définition du descripteur minimum pour la caractérisation des données primaires comme système dynamique à grande échelle → Clustering avec les descripteurs minimums de manière compatible à algorithme em de géométrie informationnelle → Proposition théorique pour la mesure de la variation individuelle des embryons basé sur la distance informationnelle et le perspective de système dynamique

Chapitre 16 Étude sur l’ entropie morphogénétique par géométrie informationnelle

Nous développons l’analyse de l’arbre de lignage des cellules par la géométrie informationnelle. Nous considérons la probabilité de chaque cellule à devenir chaque champ morphogénétique, basé sur le concept de “l’ entropie morphogénétique” défini par Miguel A. Luengo-Oroz, qui représente la quantité d’information nécessaire à spécifier complètement le profile de la futur différentiation d’ une cellule. Telle mesure de différentiation est utile à comparer entre deux arbres de lignage avec différentes conditions comme avec/sans traitement des drogues. Nous démontrons théoriquement comment évaluer l’effet extérieur entre deux groupes qui chaqu’ un est soumis des traitements différents, et proposons une série de quantité avec KL divergence, nommée “l’ entropie morphogénétique relative” qui nous permet d’évaluer l’effet du traitement extérieur propagé à chaque génération. Ce chapitre est limité à l’étude purement théorique. Mots clés: Entropie morphogénétique, entropie morphogénétique relative, arbre de lignage cellulaire, traitement polydrogue, géométrie informationnelle, KL divergence, information mutuelle Méthodologie: Définition de l’entropie morphogénétique relative utilisant la distance informationnelle sur l’arbre de lignage cellulaire comme une mesure de la différentiation de cellule

Développement théorique de la décomposition de l’effet extérieur à chaque génération par la géométrie informationnelle Partie VI Systèmes complexes dans linguistique Chapitre 17 Invariance dans le système des voyelles

Nous modélisons le système des voyelles de la langue japonaise en appliquant la géométrie informationnelle de la distribution normale aux deux premiers formants. Nous étudions la distribution de KL divergence à plusieurs échelles et la relation entre les composants séparés par l’ordre de statistique, afin de détecter le trait invariant au niveau systémique. Le résultat implique que malgré l’existence d’une forte fluctuation au niveau individuel, la distribution de KL divergence au niveau de population converge à la distribution log-normale, de manière invariante entre homme et femme. Cette distribution de population peut être donc considéré comme la distribution invariante des locuteurs du japonais standard. En outre, nous montrons que la relation entre les composants logarithmique du moyen et de la variance de KL divergence est linéaire au niveau de population. La signification de cettes invariances est contextualisée par l’étude bibliographique dans la discussion.

11 Mots clés: Géométrie informationnelle, formant de voyelle, distribution Gaussienne 2-dimensionelle, distribution log-normale, KL divergence

Méthodologie: Formalisation par la géométrie informationnelle de la distribution des formants du système des voyelles → Analyse de la distance informationnelle entre les voyelles et ses composants de chaque ordre de statistique Chapitre 18 Étude sur la composition géométrique de système des voyelles

Nous continuons l’étude sur le système des voyelles du côté de dépendance statistique par le moyen de géométrie informationnelle. Commençant par l’analyse de corrélation, la dépendance sur la m-géodésique entre les voyelles est examinée qui correspond au chemin de projection de KL divergence au chapitre précédent. Nous montrons que les cinq voyelles du japonais se situent approximativement dans une surface de deux dimensions dans l’espace des coordonnés η, et la fluctuation du circoncentre défini sur la m-géodésique entre les voyelles contient le bruit incorrélé des voyelles. La localisation des circoncentres sur les coordonnés θ est examinée par rapport au valeur du déterminant |S| dans la distribution des formants. Le résultat démontre l’origine de la distribution log-normale invariante de KL divergence découvert au chapitre précédent, qui implique la condition cognitive liée à la dépendance quadratique entre les voyelles sur les coordonnés η. Mots clés: Géométrie informationnelle, formant de voyelle, circoncentre, déterminant de la distribution de formant Méthodologie: Analyse de la composition géométrique sur les coordonnés doubleplat de géométrie informationnelle → Définition du circoncentre entre les pairs des voyelles par géométrie informationnelle → Analyse de la composition géométrique et la fluctuation des circoncentres sur les coordonnés double-plat de géométrie informationnelle

Chapitre 19 Méthodologie pour la dialectique entre théorie linguistique et modélisation mathématique et application à la modélisation d’ environnement multilingue avec processus de contacte

Nous cherchons le point de synergie entre la modélisation mathématique et la théorie conceptuelle des sciences humaines, notamment l’écolinguistique. Nous proposons deux étapes de l’interaction qui intègrent les deux côtés: Premièrement, nous formalisons la théorie linguistique de manière compatible à la modélisation mathématique en symbolisant proprement les observables comme les variables primaires, et ses fonctions avec suffisamment de profondeur logique. Ensuite, on étudie le modèle par le moyen mathématique et de simulation, et déduit les variables secondaires sur la dynamique simulée afin de étendre la théorie linguistique au niveau conceptuel. Un exemple de cette modélisation dialectique est établi avec le processus de contacte, en vue de modéliser l’acquisition des langages dans un état multilingue. La dynamique de simulation a reproduit les patterns spatio-temporels de la propagation des états multilingues, qui contient les corrélations fortement signifiants de hauts ordres entre les langues. L’instabilité relative de l’état bilingue est observé. Les résultats trouvent s points d’interprétation sur l’hypothèse de travail pour l’acquisition multilingue exercée par le Hippo Family Club. Mots clés: Processus de contacte, environnement multilingue, multilinguisme, acquisition naturelle de langage, écologie Méthodologie: Formalisation de la stratégie dialectique entre la théorie linguistique et la modélisation mathématique, de manière compatible à la modélisation avec le système dynamique et l’analyse par la géométrie informationnelle → Modélisation de l’environnement multilingue avec le processus de contacte comme le système dynamique stochastique → Analyse provisoire du processus de contacte sur la corrélation par la géométrie informationnelle → Développement théorique sur l’analyse de la propagation 12 de probabilité avec la perspective du système dynamique et la géométrie informationnelle

Partie VII Discussion générale Chapitre 20 Discussion générale

Nous révisons les résultats d’étude effectué dans cette thèse et examinons les points de contribution au science des systèmes complexes par rapport à la stratégie complémentaire entre système dynamique et géométrie informationnelle introduit à la partie 1(Introduction Générale). Nous prenons comme exemples représentatifs la comparaison de la propriété émergente entre les organisations neuronales et sociales. La discussion est développée avec le perspective au plus large, en mettant l’accent sur la possibilité d’ application y compris hors des sujets traités et la nouveauté de la stratégie proposée. Les résultats impliquent l’efficacité et le potentiel riche de cette stratégie au défi de la caractérisation universelle de l’émergence du point de vue relationnel. Mots clés: Méthodologie constructive, méthodologie interaction-analytique, foncteur, méta-foncteur, organisation des interaction

Chapitre 20 Méthodologie dialectique entre système dynamique et géométrie informationnelle : Vers une typologie transversale des systèmes complexes

Ce chapitre résume en français la contribution méthodologique et métathéorique de cette thèse. Nous étudions d’ abord l’ ensemble des interactions possibles du système qui deviennent les paramètres dominants par rapport à l’ augmentation de sa taille. Ensuite, nous développons la méthodologie dialectique entre la théorie de système dynamique et géométrie informationnelle afin de analyser l’ effet des interactions comme origine des phénomènes émergentes. Application de cette méthode aux plusieurs systèmes à différentes échelles implique la possibilité de construire la typologie transversale de l’ émergence, basé sur la nature statistique et la dynamique de l’ organisation des interactions qui ne dépendent pas explicitement de la propriété des composants. To mother nature, who offered me a son and gave birth to my wife. Remerciements Je me permets de rédiger cette petite partie de thèse en français, la langue que j’ai vécu avec pendant la plupart de mon étude et qui était le moyen principal de la discussion au labo. Tout d’abord, merci à Paul de m’ avoir initialement accepté de venir au CREA, j’étais heureux d’être dans ton équipe qui me laisse le maximum de liberté de pensé et de la choix, qui m’a permit de établir l’identité de chercheur et mener la recherche en grande autonomie. Je te trouve un représentant des trois valeurs de la république, le troisième étant le plus fort. Je remercie sincèrement à mon directeur de thèse, Jean, de m’ avoir aidé à accomplir ce travail toujours divergent jusqu’ à la , tout en montrant le plaisir de théoricien. Entre les sciences et l’ épistémologie, j’ai pu pleinement apprécié la richesse intellectuelle du CREA. Je m’exprime ma plus grande gratitude aux chers membres de jurys, qui ont littéralement donné la peine de lire le manuscrit et élaborer la discussion lors de la soutenance et de la pré-soutenance. Vos critiques et confiances m’ont donné le plus de courage à franchir ma carrière dans les domaines scientifiques. Je devrais noter sur la vraie dualité de cette thèse maintenant, d’une part la mode de recherche sérieux et intensif, et d’autre part l’ambiance conviviale et fêtard, qui restaient toujours “invariant” entre mes collègues. S’il y a l’universalité à la définition de l’humanité, mon hypothèse est de trouver des traits qui ne changent pas par ses profiles socioculturels. Les gens aiment savoir sur la différence, par exemple entre le Japon et la France, mais l’essentiel est ce qui ne changent pas entre les japonais et les français, les qualités que je trouve au profond d’un individu. Je remercie donc vivement à mes collègues au CREA qui m’ ont laisser vivre ses moments de l’humanité universelle ou le méta-foncteur de l’humanité si je le formalise, plus particulièrement: A David Chavalarias pour ta générosité océanique, à Jean-Philippe pour me faire découvrir les argots, parfumés de cynisme à la hauteur de l’élégance, à Camille, ton esprit pénétrant qui ne manque pas d’humeur, à Carla, le grand voyage en Amérique latine et le rhapsodie à Berlin est mon meilleur souvenir. A David Colliaux pour ta fascination au japon, j’espère que j’ai pas trop démistifié mon pay. A Raphael pour ta transformation totale avant / après la visite au japon. A Emmanuel pour tes bonnes humeurs fulgurantes et l’apaisement de culpabilité quand j’ai manqué l’avion à Malaga, à Benoı̂t Lombardot pour nos rendez-vous chaotique à Shanghai, à Thierry pour tes bisous un peu piquants. Merci Lionel de partager discrètement le moment de concentration, à Gabriel et Dorothée pour les séances de cinéma. Un grand merci aux équipes des projets Embryomics et BioEmergences, Louise, à tes petits oursins, à Sophie pour tes humeurs éclatantes, à Benoı̂t Maury à ton aventure à Bratislava, à Miguel pour ta gentillesse et curiosité gourmande, et à Nadine d’avoir dirigé nous les grands gamins. D’akujem, molto grazie, muchas gracias, les équipes de Bratislava, Bologne, et Malaga pour les nuits blanches. Je remercie également les collègues de l’ISC-PIF, Les habitants et les visiteurs qui ont discuté ensemble, surtout aux membres du projet MOMA et TINA d’avoir s’ occuper de Enzo, et à René pour sa direction au bouteur anglo-saxon. Merci les membres de Gdt-ELA pour les jolis souvenirs à l’ı̂le de Berder, à Frédéric pour ta terminologie sportivement philosophique, à Alexandra pour ta charme, à Sven pour ta modestie hors-norme, et à Nadège pour les “étoiles toi et moi”. Je remercie collectivement les secrétariats du CREA et l’ISC-PIF de m’avoir soutenir du côté de l’administration et du voyage en mission, nottament à Marie-Jo pour ton encouragement chaleureux, à Nadiège à ta patience et ta sincérité, à Noemi pour ta caprice italienne, à Geneviève pour ton accueil toujours souriant et généreux. Je remercie personnellement les amis hors de l’étude, les amis de mes parents, Francis Pavé, Marie-Christine Pouchelle, pour ses amitiés trans-générationelles, les dı̂ners chez vous ont littéralement nourrit ma thèse et la compréhension sur la culture française. Arigatou les amis de Hippo en France, pour me faire découvrir les régions et m’ avoir invité chez eux comme un membre de la famille. Merci les résidents de la Maison du Japon, le moment de jouer au foot avec gamins de quartier était la meilleure détente et une source d’inspiration importante. Sincère gratitude à mes parents de soutenir ma traversée nomade, à mon grand-père qui depuis ma naissance préparait mon compte pour accomplir mes études. 15 Mille mercis à Chizuru et Enzo d’être à côté. 16 Acknowledgement I would like to acknowledge the grants and projects, and express my sincere gratitude to members out of french community that supported this study. This study was supported by the long term study abroad support program of the university of Tokyo for the first 3 years, and by the French government (Promotion Simone de Beauvoir) for the first 2 years. Other short-term contracts of CNRS were provided from CREA for the rest of the working period, and several trip supports were provided from CROUS. Works in Part III are the fruits of collaboration with Syunsuke Aoki, and were financially supported by Information-technology Promotion Agency in JAPAN. Part IV was partially supported by MOMA, TINA projects at ISC-PIF and an ANR grant ’Webflunce’ #SYSC-009-03. The study in Part VI was greatly inspired by the discussion with Yo Sakakibara and members of Dragon Project. Discussion with Hiroto Kuninaka brought important insight on the origin of the observed lognormal distribution. Author would also thank members of Hippo Exchange Club in Singapore for answering to the questionnaire, Masanobu Shiratori for the blueprint of the questionnaire, Nobuko Yokokawa, Yeo Choon Hin Melvin, KK Lew, Shea Nee, Steve Lau, Akiko Okada and Hiroyasu Kawakami for supporting the survey, Yukiko Sakakibara, Tomoyuki Nogita and Eiichiro Osawa for the summary of data.

Contents I General Introduction

1 1 What are Complex Systems? 1.1 What are Complex Systems?............................ 1.1.1 Multi-scale Hierarchy of the World...................... 1.1.2 Hierarchy in Sciences.............................. 1.1.3 Complex Systems Paradigm.......................... 1.1.4 Emergent Property of a System........................ 1.1.5 The Limit of Linear Approximation in Complex Systems.......... 1.1.6 High-Dimensional Dynamical Systems and Modeling of Complex Systems 1.2 Internal Observation.................................. 1.2.1 Introduction of Internal Measurement.................... 1.2.2 Reconsidering Measurement.......................... 1.2.3 Local Interaction of Components and Internal Measurement........ 1.2.4 Mathematical Closure of Open System and Internal Measurement.... 1.3 Complex Systems Treated in

this Thesis...................... 1.4 Methodologies toward the Understanding of Complex Systems..........

1.4.1 Constructive Methodology........................... 1.4.2 Interaction-Analytical Methodology..................... 1.4.3 Dialectic Between Constructive and Interaction-Analytical Methodologies 1.5 Conclusion.......................................

3 3 3 3 5 7 7 8 9 9 10 10 11 12 12 12 14 16 19 2 Preliminaries of dynamical system 2.1 Introduction.......

................ 2.2 Discrete-Time Dynamical System: Map....... 2.3 Bifurcation of Periodic Point in Discrete-Time Map. 2.4 Bifurcation List of 2-Dimensional Map........ 2.5 Chaotic Itinerancy as Crisis-Induced Intermittency. 2.6 Lyapunov Exponent.................. 23 23 23 24 25 27

27

3

P

reliminaries

of Information Geometry

3.1 Introduction................. 3.2 Space of Probability Distributions.... 3.3 Neighborhood of a Point: Euclidian Space 3.4 Connecting Euclidian space........ 3.5 α-connection................ 3.6 Flat Space.................. 3.7 Dual Coordinates.............. 3.8

Subspace

and Projection.......... 29 29 29 30 32

32 33 34

35 II. Synthetic Modeling with Chaotic Neural Network 4 Synthetic Modeling of Autonomous Learning with CNN

4.1

Introduction........................................

i

39

41

41



ii

CONT

ENTS

4.2 4.3 4.4 4.5 Dynamics of Chaotic Neural Network.......................... 4.2.1 Definition of Chaotic Neural Network..................... 4.2.2 Invariant Subspaces............................... 4.2.3 Periodicity Analysis............................... 4.2.4 Deviation Rate from Attractor Ruins.................

..... 4.2.5 Linear Stability Analysis............................. 4.2.6 Temporal Dynamics of Chaotic Itinerancy State...............

Synthetic Modeling of Autonomous Learning..................... 4.3.1 Autonomous Learning with Hebb’s Learning Rule.............. 4.3.2 Autonomous Learning with STDP Rule.................... Simulation Result and Discussion............................ 4.4.1 Periodicity of Emergent Attractors....................... 4.4.2 Spatial Configuration of Emergent Attractors................. 4.4.3 Modification of Invariant Subspaces...................... 4.4.4 Change of Residence Time Distribution.................... 4.4.5 Change of System Decompositionability

by Hebbian Learning........ 4.4.6 Computational Rationale of Autonomous Learning in Relation to Topological Psychology.................................... Conclusion........................................ 5 Internal Measurement of CI as Catalyst of Learning

5.1 Introduction of Measurement-Oriented Physics............ 5.1.1 Cartesian Cut.......................... 5.1.2 Genesis of Contradiction and Pseudo-Solution......... 5.1.3 Groundlessness of Interface................... 5.1.4 Dynamical Model of Internal Measurement.......... 5.1.5 Emergence as Pseudo-Solution of Contradiction....... 5.1.6 Selection from outside of selective region........... 5.1.7 Toward Measurement-Oriented Theory............. 5.2 Internal Measurement of Chaos as Catalyst of Learning....... 5.2.1 Chaos as Catalyst of Learning.......

.......... 5.2.2 Internal Measurement Formalization.............. 5.3 Internal Measurement of CI as Catalyst of Learning......... 5.3.1 Internal Measurement of Chaotic Itinerancy in CNN..... 5.3.2 Internal Measurement Formalization of Autonomous Learning 5.4 Conclusion................................

42 42 44 46 46 48 53 59 59 59 60 60 60 62 64 65 67 71. 73 73 73 74 75 75 75 76 78 79 79 79 81 81 81 82 Applications of Chaotic Neural Network in Emergent Robotics 85 6 Introduction of Neurorobotics 6.1 Introduction: Context of work.............................. 6.2 Neurorobotics as the Interdisciplinary Domain between Neuroscience and Robotics 87 87 87 7 Balancing Autonomy and Environmental Response

7.1 Introduction...................................... 7.2 System Description.................................. 7.2.1 Chaotic Neural Network.......................... 7.2.2 Projection of Phase Space to Motor Outputs.......

........ 7.3 Dynamics of Chaotic Neural Network........................ 7.3.1 Deviation Rate from the Memorized Attractors............. 7.3.2 Invariant Subspace............................. 7.3.3 Wandering range of retrieval dynamics and corresponding hierarchy of variant subspace............................... 7.3.4 Effective Dimension of Dynamics...................... 7.4 Simulation Result...................................

89 89 90 90 91 92 92 92 III................. in...... 94 95 96 CONTENTS iii. 96 98 99 100 100 101

8 Optimal Intermittent Search by Collective Interaction 8.1 Introduction.................................. 8.2 2-phase Search with Chaotic Roving Robot..

..............