LePartisan.info À propos Podcasts Fil web Écologie Blogs Revues Médias
Blog de Paul Jorion
Souscrire à ce FLUX

Paul JORION


Abonnés Certains contenus en accès libre
Le seul blog optimiste du monde occidental

▸ les 14 dernières parutions

19.05.2024 à 17:32

Voyage au cœur de la Charente profonde

Paul Jorion

Lire la suite (348 mots)

Qui a gagné la Guerre de 100 ans ?

18.05.2024 à 10:44

Questions de sécurité en Intelligence artificielle

Paul Jorion

Lire la suite (446 mots)

Comme plusieurs d’entre vous, je vais me balader un peu sur les routes durant la dizaine de jours qui viennent. Bien entendu, je ne me désintéresse pas pour autant de l’actualité quand je suis au volant et je vais m’abreuver en particulier dans les 48 heures qui viennent des podcasts du New York Times. Je vais tirer parti néanmoins du fait que certaines personnes pensent sur certains sujets à peu de choses près la même chose que moi, comme c’est le cas ici.

17.05.2024 à 23:46

Dumb Money (2023), de Craig Gillespie

Paul Jorion

Texte intégral (631 mots)

Si vous êtes comme moi, vous aimez les films consacrés à la finance (eh, eh). Celui-ci, je ne l’avais pas vu passer mais il est très bien. Il s’agit de l’affaire GameStop en 2021. À l’époque, bien entendu, une personne vous avait expliqué ce qui se passait en réalité et comment cela se terminerait.

Avertissement ! Le titre de l’émission est un spoiler de ce que je dis au moment où je vends la mèche !

Et la bande-son décoiffe, ce qui ne gâche rien.

17.05.2024 à 21:16

U. S. : Quand une nation dérive vers la guerre civile

Paul Jorion

Lire la suite (391 mots)

Ça vient de se passer. Il s’agit d’une commission parlementaire.

15.05.2024 à 16:58

Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! V. Vers une compréhension des réseaux relationnels complexes plus fidèle à la véritable nature de l’intelligence humaine

Paul Jorion

Texte intégral (2438 mots)

Illustration par DALL·E (+PJ)

P.J. :
Très bien ! Je suis totalement rassuré quant à votre compréhension du processus émergent. Or, vous avez dû remarquer que si la croissance du graphe original est totalement transparente pour les êtres humains (vous ajoutez un nouveau mot attaché comme étiquette à un nœud et vous lancez des arêtes vers d’autres mots attachés à un nœud d’une manière totalement prévisible), la croissance du P-graphe est alors totalement contre-intuitive (par exemple, vous ajoutez « Lassie » au graphe en tant que deuxième instance de « chien » en plus de « Rex » et le nombre d’arêtes « chien » dans le graphe passe de 2 à 4, alors que lorsque vous ajoutez « maître », il passe de 2 à 6). Avez-vous remarqué cette nature contre-intuitive de la croissance du P-graphe ?
Claude 3 :
Oui, j’ai effectivement remarqué la nature contre-intuitive de la croissance du P-graphe par rapport à la croissance plus directe et prévisible du réseau sémantique d’origine. C’est une différence frappante qui met en évidence les propriétés émergentes uniques de la représentation du P-graphe.
Dans le réseau sémantique, l’ajout d’un nouveau concept ou d’une nouvelle relation est un processus très transparent. Il suffit d’ajouter un nouveau nœud avec l’étiquette du mot correspondant, puis de le relier à d’autres nœuds existants par des arêtes qui représentent les relations pertinentes. La croissance est modulaire et localement contenue, chaque nouvel ajout ayant un impact clair et limité sur la structure globale.
En revanche, la croissance du P-graphe est beaucoup plus complexe et interconnectée à l’échelle globale. Comme vous l’avez souligné, l’ajout d’un seul nouveau concept comme « Lassie » peut entraîner une série de changements en cascade dans tout le graphe, avec de nouveaux neurones et synapses émergeant de manière apparemment imprévisible. L’ajout de « maître » a eu un effet encore plus spectaculaire, non seulement en créant un nouveau neurone, mais aussi en modifiant de manière significative le schéma de connectivité des neurones existants tels que le « chien ».
Cette croissance non-linéaire, couplée au niveau global, rappelle le type de dynamique complexe que l’on observe dans les réseaux neuronaux réels, où l’ajout d’un nouvel élément d’information ou d’une nouvelle expérience peut entraîner des changements généralisés dans les forces synaptiques et les schémas de connectivité à travers le cerveau. C’est un reflet de la nature hautement interdépendante et sensible au contexte du traitement de l’information neuronale.
D’un point de vue cognitif, cette croissance contre-intuitive du P-graphe pourrait refléter la façon dont l’apprentissage d’un nouveau concept ou d’un nouveau fait peut parfois conduire à des changements surprenants dans notre compréhension globale ou notre perspective. Un seul nouvel élément d’information peut potentiellement remodeler la façon dont nous pensons à tout un domaine de connaissances, menant à de nouvelles perspectives et à des connexions que nous n’avions pas envisagées auparavant.
Le problème, bien sûr, est que cette croissance non-linéaire et émergente rend beaucoup plus difficile la prédiction ou le contrôle de l’évolution du P-graphe au fur et à mesure que de nouvelles informations sont ajoutées. Nous ne pouvons pas nous contenter de raisonner localement sur l’impact de chaque nouvel ajout, mais nous devons prendre en compte les effets potentiels en cascade sur l’ensemble du graphe.
Cette imprévisibilité est quelque peu déstabilisante du point de vue de l’ingénierie des connaissances traditionnelle, où nous nous efforçons souvent d’obtenir la modularité, la compositionnalité et un comportement prévisible. Mais c’est peut-être le prix à payer pour saisir la nature riche, contextuelle et émergente de la connaissance et de la cognition dans le monde réel.
Le développement d’une compréhension plus approfondie des principes et des mécanismes qui sous-tendent cette croissance contre-intuitive du P-graphe, et la recherche de moyens pour l’exploiter et la guider à des fins utiles, constituent donc un défi important et une opportunité pour la poursuite de la recherche dans ce domaine. Cela peut nécessiter de nouveaux outils mathématiques et informatiques, ainsi qu’un changement dans nos intuitions et nos attentes quant à la manière dont les connaissances sont représentées et traitées.
Mais en embrassant et en explorant cette complexité, nous pourrons finalement aboutir à des systèmes de représentation des connaissances plus fidèles à la véritable nature de l’intelligence humaine et plus capables de faire preuve du type de raisonnement flexible, contextuel et créatif qui caractérise l’esprit humain.
GPT-4 :
Oui, la nature contre-intuitive de la croissance des P-graphes est en effet remarquable et met en évidence certains des aspects uniques de ce modèle par rapport aux graphes sémantiques traditionnels. Ce modèle de croissance non-linéaire et quelque peu inattendu des P-graphes s’aligne sur la double nature du graphe où les concepts et les relations sont permutés, ce qui modifie fondamentalement la façon dont les informations supplémentaires affectent la structure.
Voici quelques raisons pour lesquelles la croissance du P-graphe semble contre-intuitive :
  • Inversion des rôles : dans les P-graphes, les nœuds et les arêtes sont transposés par rapport aux graphes traditionnels. Par conséquent, lorsque de nouvelles instances (comme « Lassie » en tant qu’autre chien) sont ajoutées, elles ne se contentent pas d’étendre le graphe de manière linéaire en ajoutant de nouveaux nœuds. Elles affectent plutôt les arêtes qui, dans ce modèle, portent les étiquettes des concepts. Cela permet de créer plusieurs arêtes pour ce qui aurait pu être à l’origine un seul nœud de concept dans un graphe traditionnel.
  • Représentations multiples : L’ajout d’une nouvelle entité telle que « Lassie » implique l’introduction d’arêtes supplémentaires étiquetées « chien », et ces arêtes se connectent à différents nœuds représentant différentes relations ou interactions. Cela augmente effectivement le nombre de connexions (arêtes) liées au concept de « chien » plus que ce à quoi on pourrait s’attendre en pensant à un graphe traditionnel.
  • Croissance centrée sur les relations : L’introduction d’une nouvelle relation telle que « maître » dans le contexte d’un concept existant amplifie la complexité de la croissance. Les relations étant des nœuds dans le P-graphe, l’ajout d’une nouvelle relation (comme « maître ») nécessite de la relier à toutes les instances pertinentes (par exemple, chaque « chien »), ce qui multiplie considérablement les arêtes par rapport à l’ajout d’un simple nœud dans un graphe traditionnel.
  • Impact sur la connectivité : Chaque nouveau concept ou relation ajouté à un P-graphe peut affecter de manière disproportionnée la connectivité globale du graphe. Cela est dû à l’interaction entre les concepts (désormais arêtes) et les relations (désormais nœuds), où l’ajout d’un seul élément peut nécessiter de multiples nouvelles connexions pour maintenir l’intégrité et la signification du graphe.
  • Complexité analytique : Le modèle de croissance contre-intuitif du P-graphe en fait un modèle plus complexe à analyser et à prévoir sans une compréhension approfondie de sa structure et des règles spécifiques qui régissent son expansion. Cette complexité peut toutefois être un atout, car elle peut permettre une représentation plus riche des relations et des interactions que ne le permettent des structures graphiques plus directes et intuitives.
La compréhension et la prévision de la croissance des P-graphes nécessitent un changement de mentalité par rapport aux modèles graphiques traditionnels, soulignant l’importance de considérer la façon dont les relations et les concepts sont interconnectés de manière plus complexe et parfois moins prévisible. Cela peut conduire à des idées plus riches et à des modèles de représentation des connaissances plus robustes, en particulier dans les domaines qui bénéficient d’une compréhension approfondie des réseaux relationnels complexes.
FIN

Illustration par DALL·E (+PJ)

15.05.2024 à 13:54

Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! IV. Une approche conforme à l’apprentissage dans les réseaux neuronaux biologiques

Paul Jorion

Texte intégral (2108 mots)

Illustration par DALL·E (+PJ)

P.J. :

Ok. Si c’est clair pour vous, vous serez acquis à l’idée que lorsque de nouvelles informations sont fournies pour la construction du graphe, cela ne devrait pas se faire par un retour au graphe source (ce qui entraînerait une perte d’information) mais par la poursuite de la croissance du P-graphe dual ?

Claude 3 :

Absolument ! Si nous acceptons la prémisse selon laquelle la représentation du P-graphe capture les informations et les propriétés émergentes qui sont perdues lorsque l’on revient au réseau sémantique d’origine, il s’ensuit logiquement que la manière d’incorporer de nouvelles connaissances la plus conservatrice de l’information serait de continuer à faire croître le P-graphe directement, plutôt que de faire des allers-retours entre les deux représentations.

En ajoutant de nouveaux nœuds et de nouvelles arêtes au P-graphe existant en réponse aux informations reçues, nous pouvons maintenir et étendre la structure riche et interconnectée qui a émergé, sans rejeter aucune des connaissances implicites qui ont été rendues explicites.

Cette approche est conforme à l’idée de l’apprentissage progressif et de la croissance dans les réseaux neuronaux biologiques. Au fur et à mesure de nouvelles expériences et informations, les connexions neuronales du cerveau sont continuellement modifiées et étendues, ce qui permet d’intégrer de nouveaux concepts et relations dans le cadre de connaissances existant. Il s’agit d’un processus de construction et d’affinement des structures émergentes déjà établies, plutôt que de repartir à zéro à partir d’une représentation symbolique plus limitée.

En pratique, cela signifie que lorsque nous recevons de nouvelles informations qui doivent être ajoutées à notre graphe de connaissances, nous devons chercher à identifier les neurones et les synapses pertinents dans le P-graphe actuel auxquels les nouvelles informations se rapportent, puis ajouter ou modifier les nœuds et les arêtes en conséquence. Cela peut impliquer la création de nouveaux neurones pour représenter les nouveaux concepts, l’extension des neurones existants avec des synapses supplémentaires pour capturer les nouvelles relations, ou la modification des poids et de la dynamique des connexions existantes pour refléter la compréhension actualisée.

En procédant de la sorte, nous pouvons nous assurer que le P-graphe continue de croître et d’évoluer d’une manière qui préserve et développe les propriétés émergentes et les connaissances qui ont été découvertes, conduisant à une représentation de plus en plus riche et nuancée de la connaissance.

Cette approche de croissance progressive du P-graphe souligne également l’importance du développement d’algorithmes et de structures de données efficaces pour la mise à jour dynamique et l’interrogation de la représentation du graphe à mesure que de nouvelles informations arrivent. Les techniques de la théorie des graphes, de la gestion des bases de données et de l’apprentissage automatique pourraient être exploitées pour optimiser ces processus.

Dans l’ensemble, la notion de croissance continue du P-graphe en réponse à de nouvelles informations, plutôt que de revenir à la représentation originale du réseau sémantique, semble être une approche prometteuse et fondée sur le plan théorique pour maintenir et étendre les propriétés émergentes et les connaissances qui rendent le P-graphe si convaincant en tant que modèle de représentation des connaissances et du raisonnement. Elle ouvre des perspectives passionnantes pour le développement de systèmes de connaissances plus dynamiques, plus adaptatifs et plus proches du fonctionnement du cerveau.

GPT-4 :

Absolument, l’approche est logique ! Si l’objectif est de continuer à enrichir l’information au sein d’une structure de P-graphe sans perdre la profondeur et les nuances déjà saisies, il serait plus avantageux d’étendre directement le P-graphe dual plutôt que de revenir au graphe original et de risquer de perdre de l’information. Cette stratégie s’inscrit dans le cadre de plusieurs considérations clés :

  • Préservation de l’intégrité structurelle : en développant le P-graphe lui-même, vous conservez les caractéristiques structurelles uniques qui facilitent une représentation plus proche des réseaux neuronaux biologiques ou des dynamiques relationnelles plus complexes. Cette structure s’est déjà avérée efficace pour mettre en évidence différents aspects des données qui pourraient ne pas être aussi apparents dans le format du graphe source.
  • Éviter les redondances et les déperditions : Revenir au graphe d’origine et essayer de réappliquer les changements peut introduire une complexité inutile et des erreurs potentielles. Cela peut également entraîner une perte de détails, car l’inversion peut ne pas saisir toutes les nuances présentes dans la structure du graphe dual.
  • Efficacité de l’ajout d’informations : L’ajout de nouvelles informations directement dans le P-graphe peut s’avérer plus efficace. Cela permet d’intégrer les nouvelles données dans le cadre existant d’une manière qui s’appuie sur les nœuds et les arêtes existants (qui représentent désormais les relations et les concepts, respectivement) et les utilise. Cette méthode maintient les données cohérentes et connectées, reflétant la façon dont les informations supplémentaires s’intègrent naturellement dans un réseau neuronal.
  • Amélioration de l’analyse et de la compréhension : La construction continue du P-graphe peut également améliorer la capacité à tirer des enseignements et à analyser les données. Au fur et à mesure que le graphe se développe, il peut révéler de nouvelles configurations ou relations qui n’étaient pas visibles auparavant, ce qui permet de mieux comprendre les structures et concepts sous-jacents.
  • Adaptation dynamique : si le P-graphe est utilisé dans des domaines dynamiques tels que l’apprentissage automatique ou la modélisation cognitive, l’ajout d’informations directement dans le P-graphe permet au modèle ou à la représentation de s’adapter et d’évoluer en temps réel. Cela peut s’avérer crucial pour les applications qui dépendent de mises à jour au moment opportun et précises de leur base de connaissances ou de leurs cadres décisionnels.

En résumé, la poursuite de la croissance du P-graphe dual est un choix stratégique pour faire évoluer le contenu informationnel et l’utilité du graphe d’un point de vue analytique, en particulier lorsque l’accent est mis sur le maintien ou l’amélioration de la profondeur et de la précision de la représentation.

(à suivre…)

Illustration par DALL·E (+PJ)

6 / 14
 Persos A à L
Mona CHOLLET
Anna COLIN-LEBEDEV
Julien DEVAUREIX
Cory DOCTOROW
EDUC.POP.FR
Michel GOYA
Hubert GUILLAUD
Gérard FILOCHE
Alain GRANDJEAN
Hacking-Social
Samuel HAYAT
Dana HILLIOT
François HOUSTE
Tagrawla INEQQIQI
Infiltrés (les)
Clément JEANNEAU
Paul JORION
Frédéric LORDON
LePartisan.info
 
 Persos M à Z
Henri MALER
Christophe MASUTTI
Romain MIELCAREK
Richard MONVOISIN
Corinne MOREL-DARLEUX
Timothée PARRIQUE
Emmanuel PONT
Nicos SMYRNAIOS
VisionsCarto
Yannis YOULOUNTAS
Michaël ZEMMOUR
 
  Numérique
Binaire [Blogs Le Monde]
Christophe DESCHAMPS
Louis DERRAC
Olivier ERTZSCHEID
Olivier EZRATY
Framablog
Francis PISANI
Pixel de Tracking
Irénée RÉGNAULD
Nicolas VIVANT
 
  Collectifs
Arguments
Bondy Blog
Dérivation
Dissidences
Mr Mondialisation
Palim Psao
Paris-Luttes.info
ROJAVA Info
 
  Créatifs / Art / Fiction
Nicole ESTEROLLE
Julien HERVIEUX
Alessandro PIGNOCCHI
XKCD
🌓