On n’a pas congé aujourd’hui dans le monde entier et Trump poursuit inébranlablement son entreprise de destruction du capitalisme : c’est la Federal Reserve Bank, la banque centrale des États-Unis, qui est tout particulièrement dans son collimateur aujourd’hui.

« Vas-y Donny, t’es le plus fort : ce que Marx n’a pas su faire, tu es en passe de l’accomplir ! ».

Illustration par ChatGPT 4o

Un peu plus tard, mais toujours au bord de la piscine .

P.J. :

Ne pensez-vous pas que les humains continueront de penser que les règles capturent mieux l’essence-même des choses, tandis que les corrélations constituent une approximation grossière et basique, ce qui implique que les LLM passent à côté de quelque chose en n’extrayant pas les « règles sous-jacentes » qui, en réalité, régissent le monde : qu’ils perdent certaines informations pertinentes ? Ne peut-on défendre le point de vue opposé, à savoir que les règles sont des esquisses qui, par nécessité, ne peuvent saisir la complexité « indisciplinée » des choses ; en d’autres termes, ce serait l’expression sous forme de règles qui évacuerait une partie de l’information. Qu’en pensez-vous ?

Thought for 12 seconds

ChatGPT o3 :

Une façon utile de cadrer le débat

Pourquoi les règles sont des croquis comprimés

1. La compression est leur raison d’être
   Une règle est une réduction drastique de dimension : elle jette la majeure partie de la variation réelle pour isoler quelques variables essentielles. Ce gain explicatif implique une perte d’information.
2. Les systèmes complexes résistent aux règles fermées
   Climat, repliement protéique ou évolution linguistique présentent des interactions d’ordre élevé qui échappent aux formulations symboliques élégantes. Dans ces domaines, les meilleurs prédicteurs actuels sont souvent data‑driven ou basés sur la simulation, non sur des règles.
3. Point de vue de la complexité de Kolmogorov
   Le « programme » qui génère le monde peut être irrémédiablement long. Toute règle concise que nous écrivons est donc une approximation. Un modèle massif à millions de paramètres peut se rapprocher, en longueur de description, de ce programme irréductible mieux qu’un petit ensemble d’équations.

Pourquoi les corrélations ratent quand même quelque chose

1. La manipulation causale exige de la structure
   Pour intervenir (concevoir un médicament, un pont) il faut des leviers contrefactuels : si je change X, Y varie ainsi. La pure corrélation ne fournit pas ces poignées ; d’où l’intérêt de combiner apprentissage à grande échelle et modules de graphes causaux ou de simulateurs.
2. Généralisation hors distribution
   Quand l’environnement change, une règle parcimonieuse encodant de véritables invariants (conservation de l’énergie, grammaire compositionnelle) généralise souvent mieux qu’une surface de corrélations entraînée sur l’ancien régime.
3. Interprétabilité et confiance humaines
   Les systèmes sociaux exigent des justifications (« Pourquoi devrais‑je te croire ? »). Les règles servent de jalons vérifiables. Un tenseur de 300 milliards de paramètres est plus difficile à auditer.

Vers une synthèse : « la règle après l’apprentissage »

• Utiliser des modèles denses et voraces en données pour absorber la richesse chaotique.
• Sonder, distiller et extraire des règles provisoires de ces modèles (interprétabilité mécaniste, régression symbolique, découverte causale).
• Traiter ces règles non comme des vérités finales, mais comme des interfaces — résumés concis à raisonner, réviser ou écarter quand ils cessent de fonctionner.

Mon point de vue

• Règles et corrélations forment un continuum de compression.
  Plus la description est courte, plus on perd d’information.
• Les LLM montrent qu’un espace riche en corrélations peut surpasser des règles élégantes sur de nombreuses tâches, précisément parce qu’il conserve des nuances que ces règles élaguent.
• Mais les systèmes purement corrélatifs restent handicapés pour l’intervention délibérée, la preuve de sûreté et l’explication.
  Il faut donc des techniques permettant d’aller dans les deux sens : expansion vers l’espace corrélatif pour capturer la réalité, puis contraction vers des abstractions de type règle pour le contrôle et la compréhension.

En ce sens, aucun camp ne « gagne ».
Les règles sont nécessaires mais jamais suffisantes ; les corrélations sont puissantes mais jamais complètes. Les avancées viennent de l’ingénierie du dialogue entre les deux.

Garçon ! Un autre svp ... avec beaucoup de glaçons !

Illustration par ChatGPT 4o