Sur le processus de découverte ou d’invention mathématique

Le processus de découverte ou d’invention mathématique a été étudié par deux mathéma- ticiens célèbres : Poincaré et Hadamard. Ils en ont donné une description à partir de réflexions sur leurs propres expériences. Cela a donné lieu à deux publications : un article de Poincaré (1908) intitulé L’invention mathématique et un Essai sur la psychologie de l’invention dans le domaine mathématique, rédigé par Hadamard (1945)². A la même époque, un périodique suisse, l’Enseignement Mathématique, a lancé une grande enquête intitulée : « Enquête sur la méthode de travail des mathématiciens ». De nombreux mathématiciens ont répondu à ce questionnaire et apportent également des éléments de réponses sur le processus de décou- verte. Dans cette partie, nous présentons dans un premier temps les ouvrages de Poincaré et Hadamard en exposant leur description du processus de découverte mathématique en quatre étapes ainsi que leur position quant au choix du sujet d’étude. Dans un second temps, nous présentons l’enquête de l’Enseignement Mathématique en revenant sur le processus de re- cherche et le choix du sujet d’étude, mais aussi en montrant d’autres aspects de l’activité du mathématicien. Dans un troisième temps, nous confrontons ces références à des textes plus récents où des mathématiciens contemporains donnent leur point de vue sur les différents as- pects de l’activité mathématique discutés dans les premières parties. Nous avons ainsi étudié le livre de Nimier (1989)Entretiens avec des mathématiciens, un dossier du périodique Pour la Science intitulé « Les mathématiciens » (1994) et un article de Thurston (1995). Enfin, dans un quatrième temps, nous faisons référence au dernier ouvrage de Villani (2012), qui livre un témoignage de sa vie de chercheur en mathématiques à travers l’histoire de la genèse d’un théorème.

a. Poincaré et Hadamard

Les deux auteurs commencent par définir l’invention en mathématiques par une produc- tion de combinaison d’idées. Poincaré précise que l’invention mathématique ne consiste pas

« à faire de nouvelles combinaisons avec des être mathématiques déjà connus. [...] Inven- ter, cela consiste précisément à ne pas construire les combinaisons inutiles et à construire celles qui sont utiles et qui ne sont qu’une minorité. Inventer, c’est discerner, c’est choi- sir » (Poincaré, 1993, p. 143). Pour inventer, il faut donc choisir les « bonnes » associations d’idées, c’est-à-dire les combinaisons utiles et fécondes. Si toute invention ne peut avoir lieu sans volonté de découvrir, les auteurs précisent que ce choix est guidé par l’esthétique des mathématiques : « les combinaisons utiles, ce sont précisément les plus belles, je veux dire celles qui peuvent le mieux charmer cette sensibilité spéciale que tous les mathématiciens connaissent » (Ibid. p. 149). Poincaré définit cette sensibilité par « le sentiment de la beauté mathématique, de l’harmonie des nombres et des formes, de l’élégance géométrique » (Ibid.

p. 148). Pour lui, c’est « un vrai sentiment esthétique ». Hadamard évoque une « beauté scientifique »(Hadamard, 1993, p. 38). A travers cette définition de l’invention, nous pouvons remarquer deux aspects du processus d’invention ou de découverte mathématique décrit par Hadamard et Poincaré : une phase d’action consciente — « volonté de découvrir » — et une phase d’action inconsciente — guidée par ce « vrai sentiment esthétique ». Ainsi leurs ou- vrages détaillent « la coopération » (Hadamard, 1993, p. 47) du conscient et de l’inconscient à travers quatre étapes du processus de découverte ou d’invention mathématique.

2. Dans la suite, nous nous référons à l’édition Jacques Gabay de 1993 de ces deux textes : (Poincaré, 1993) et (Hadamard, 1993).

Les quatre étapes

1. La préparation ou le travail conscient initial.

L’étude d’une question commence par la mobilisation d’idées afin de créer des liens entre elles dans le but de construire la solution désirée : « Depuis quinze jours, je m’ef- forçais de démontrer qu’il ne pouvait exister aucune fonction analogue à ce que j’ai appelé depuis les fonctions fuchsiennes ; j’étais alors fort ignorant ; tous les jours, je m’asseyais à ma table de travail, j’y passais une heure ou deux, j’essayais un grand nombre de combinaisons et je n’arrivais à aucun résultat » (Poincaré, 1993, p. 144).

Cette phase de travail alterne progrès, échecs et reprises comme le décrit Hadamard :

« après avoir travaillé sur un sujet et ne voyant plus de progrès possible, on l’abandonne et on essaie autre chose, mais cela de façon provisoire avec l’intention de la reprendre après un intervalle de quelques mois » (Hadamard, 1993, p. 58). Si cette phase de travail est incertaine concernant la production de résultats, elle permet de bien comprendre le problème et ses difficultés « tous mes efforts ne servirent d’abord qu’à mieux faire connaître la difficulté, ce qui était déjà quelque chose » (Poincaré, 1993, p. 145). De plus, comme le précise Hadamard le travail préparatoire « donne l’impulsion au travail inconscient » (Hadamard, 1993, p. 57) dans le sens où les combinaisons formées pendant le travail conscient portent potentiellement en elles celle qui sera révélée par l’illumina- tion comme féconde et utile. A ce propos, Poincaré précise que les seules combinaisons qui ont une chance de se former sont celles où au moins un des éléments a été mobilisé par notre volonté.

2. L’incubation ou le rôle du travail inconscient.

A la suite de ce travail conscient, où les efforts semblent avoir été infructueux, vient fréquemment une période d’abandon du problème. Hadamard et Poincaré décrivent un moment où ils pensent à autre chose : « dégoûté de mon insuccès, j’allai passer quelques jours au bord de la mer, et je pensai à tout autre chose » (Poincaré, 1993, p.

145). Mais ce repos serait « rempli par un travail inconscient » qui a « non seulement la tâche compliquée d’édifier les diverses combinaisons d’idées, mais aussi la tâche délicate et essentielle de choisir celles qui satisfont notre sens de la beauté et qui ont donc des chances d’être utiles » (Hadamard, 1993, p. 39). Le rôle du travail inconscient, guidé par une « beauté scientifique », serait d’exercer un certain tri dans les diverses combinaisons établies et de rendre uniquement celles qui sont utiles au conscient :

« les idées choisies par mon inconscient sont celles précisément qui parviennent à mon conscient [...] celles qui sont en accord avec mon sens esthétique » (Hadamard, 1993, p. 45). Cette phase d’incubation et de travail inconscient est ainsi nécessaire mais non suffisante. Non suffisante car elle ne peut avoir lieu sans travail préparatoire conscient en amont et nécessaire afin de provoquer l’étape suivante : l’illumination.

3. L’illumination.

L’illumination est la « conséquence de ce travail inconscient plus ou moins intense et long » (Hadamard, 1993, p. 49). Poincaré qualifie cette étape des caractères suivants : brièveté, soudaineté et certitude immédiate. En effet, l’illumination ne dure pas et elle est imprévue. Elle survient sans qu’on s’y attende, occupé parfois par autre chose comme en témoigne ces trois citations de Poincaré (1993, p. 145) :

– Un jour, en me promenant sur la falaise, l’idée me vint.

– Au moment où je mettais le pied sur le marche-pied, l’idée me vint, sans que rien dans mes pensées antérieures parût m’y avoir préparé.

– Un jour, en traversant le boulevard, la solution de la difficulté qui m’avait arrêté m’apparut tout à coup.

Quant au caractère de certitude immédiate, c’est une impression forte mais pas une démonstration, une vérification est ainsi nécessaire par la suite comme le précise Poin- caré « je ne fis pas la vérification [...] mais j’eus tout de suite une entière certitude. De retour à Caen, je vérifiai le résultat » (Ibid. p. 145).

4. Le travail conscient ultérieur.

Dans un premier temps, il s’agit de vérifier l’idée de l’illumination. Même s’il y a un sentiment de certitude, il se peut que cette idée soit fausse. Ainsi il faut l’intervention de la raison afin de vérifier le résultat comme le précise Poincaré « je vérifiai le résultat à tête reposée pour l’acquit de ma conscience ». Puis vient un second temps de finition pour exposer les résultats avec précision « j’avais tous les éléments, je n’avais qu’à les rassembler et à les ordonner » (Ibid. p. 146). Cela vise également à exposer les résultats oralement ou par écrit. Enfin un dernier temps de cette étape doit être consacré à la continuation du travail. Il ne doit pas être considéré comme la fin d’une recherche mais plutôt comme une étape, de sorte qu’il faut réfléchir aux conséquences des résultats, à leurs applications. Hadamard qualifie alors ces résultats de résultats-relais, ouvrant sur une nouvelle piste de recherche ou une nouvelle question. Poincaré l’explique ainsi :

« Je réfléchis sur ce résultat et j’en tirai les conséquences. Je vis que je pouvais leur appliquer la théorie des séries thétafuschiennes » (Poincaré, 1993, p. 145).

Pour résumer la coopération du travail conscient et inconscient dans le processus de dé- couverte ou d’invention mathématique, citons Poincaré : « le travail inconscient n’est possible et en tout cas il n’est fécond que s’il est d’une part précédé, et d’autre part suivi d’un période de travail conscient » (Ibid. p. 146). Les auteurs mentionnent également une autre différence entre ces différentes phases de travail. Les trois premières phases sont davantage guidées par l’intuition et il y a une certaine liberté dans la création alors que la quatrième phase est davantage dirigée par la rigueur et la logique. Poincaré dit ainsi que « c’est par la logique qu’on démontre, c’est par l’intuition qu’on invente » (Poincaré, 1924) et Hadamard énonce un fait général « que la logique intervient à la suite d’une intuition initiale » (Hadamard, 1993, p. 106).

Le choix du sujet et motivation

Hadamard précise qu’il y a deux conceptions de l’invention : l’une qui consiste, le but étant donné, à trouver les moyens d’y parvenir et l’autre qui consiste, au contraire, à dé- couvrir un fait puis à imaginer à quoi il pourrait servir. Pour les recherches mathématiques étant « inspirées par le désir de savoir et de comprendre » (Hadamard, 1993, p. 116), les mathématiciens ne connaissent que le second type d’invention. Il pose alors la question du choix des sujets de recherche. Pour lui, c’est « un choix délicat, un point des plus impor- tants de la recherche » qui se fait comme celui des moyens de la découverte, par « le sens de la beauté, cette sensibilité esthétique spéciale » (Ibid. p. 117) également mentionnée par Poincaré. Il écrit ainsi « nous sentons que telle direction de recherche vaut la peine d’être suivie, nous sentons que la question mériteen elle-même l’intérêt » (Ibid. p. 118, souligné par l’auteur). Il illustre ensuite ces propos avec un exemple : « j’avais été attiré par une question d’Algèbre (sur les déterminants). En la résolvant, je ne soupçonnais pas qu’elle put avoir un usage défini, me contentant de sentir qu’elle méritait l’intérêt » (Ibid. p. 118, souligné par l’auteur). Ainsi pour lui, le seul moteur utile à la découverte ou l’invention mathématique est le sens de la beauté, le même qui guide l’inspiration et provoque l’illumination. Cependant il note une différence entre ces deux interventions de cette sensibilité : « cette fois [dans le choix du sujet], nous nous y référons consciemment alors que, dans l’inconscient, ce sens tra- vaille à nous donner l’inspiration » (Ibid. p. 120). Hadamard se pose ensuite la question de l’existence d’autres raisons qui pourraient influencer la direction de la recherche. S’il réfute

une intervention de causes émotionnelles, il accepte que le mathématicien puisse être « attiré par une question simplement parce qu’elle a été négligée jusque là » (Ibid. p. 122). Il précise même que cela a été souvent son cas, abandonner un travail après s’être rendu compte que plusieurs auteurs cherchaient dans la même direction. Cependant il conclut en insistant sur l’importance de la sensibilité : « que ce soit dans le choix des questions ou dans la manière de les traiter, un homme dépourvu d’un certain amour de la science ne pourrait réussir, car il serait incapable de choisir » (Ibid. p. 122).

Analyse critique des témoignages de Poincaré et Hadamard sur le processus de découverte mathématique

Dans ce paragraphe, nous faisons une analyse critique des témoignages de Poincaré et Ha- damard sur le processus de découverte ou d’invention mathématique, notamment en mettant en évidence certains aspects qui nous semblent omis.

1. Récit rationaliste après coup ?

La première remarque que l’on peut faire sur les récits d’Hadamard et Poincaré, c’est qu’ils proviennent de réflexions personnelles. Ils étudient introspectivement leurs propres processus mentaux lors de leurs recherches mathématiques. Ils doivent donc penser et observer leur pensée en même temps. La première difficulté est que ces deux actions peuvent se gêner et la seconde est que l’observateur peut déformer le phénomène qu’il étudie. Cela peut alors conduire à un récit rationaliste lors de la retranscription. Ha- damard est conscient de ces difficultés et s’excuse auprès du lecteur « j’utiliserai les résultats de l’introspection, les seuls dont je me sente qualifié pour parler. Dans notre cas, ces résultats sont assez clairs pour mériter, me semble-t-il, un certain degré de confiance » (Hadamard, 1993, p. 14).

2. L’aspect esthétique, seul moteur et seul mécanisme ?

Hadamard rapporte une objection de Wallas sur la conférence de Poincaré : il pense qu’« il est extrêmement improbable que l’instinct esthétique seul ait été le “moteur”

actionnant le “mécanisme” de sa pensée » (1993, p. 44). Hadamard explique alors que Wallas confond moteur et mécanisme et qu’il ne comprend finalement pas très bien cette objection. Comme nous l’avons vu précédemment, pour Hadamard, le rôle de l’es- thétique est primordial dans le choix du problème comme dans la manière de le traiter.

Nous rejoignons l’avis de Wallas dans le sens où nous pensons que d’autres facteurs influencent le processus de découverte ou d’invention mathématique. Si nous faisons référence à certains sentiments comme la frustration ou le plaisir, nous pensons qu’un élément entre toujours en compte : le bagage mathématique, tant notionnel qu’heuris- tique. Poincaré y fait référence dans son récit de la découverte des fonctions fuschiennes où il mentionne que « l’analogie avec les fonctions elliptiques le[me] guidait » (Poincaré, 1993, p. 144). Cependant aucun des deux auteurs ne mentionne ses connaissances et sa pratique de la recherche comme éléments le guidant pour trouver des combinaisons et surtout les trier et choisir les « bonnes ». En suivant leur hypothèse, on ne pourrait pas

« apprendre » à chercher un problème. En effet si inventer c’est choisir et que le choix n’est guidé que par notre sensibilité, comment intervenir sur la sensibilité d’autrui ? D’ailleurs Hadamard explique qu’il base son jugement sur les étudiants en recherche sur leur choix de sujet. Si ces derniers demandent un conseil sur le choix de leurs sujets, Hadamard a « tendance à les classer [...] dans les gens de second ordre » (1993, p. 117).

Ils doivent choisir eux-mêmes, guidés par leur sensibilité, pas par celles des autres.

3. Travail entre pairs.

Les travaux d’Hadamard et Poincaré visaient à décrire les processus mentaux lors d’une

découverte ou invention mathématique. C’est en ce sens qu’ils se sont appuyés sur leurs propres réflexions. Cependant nous pouvons remarquer qu’ils font peu allusion au travail entre pairs tels que les échanges qu’ils ont pu avoir avec d’autres mathématiciens dans des séminaires, conférences, correspondances, ou via des communications. Les expériences de découverte ou invention qu’ils relatent semblent avoir été vécues seuls.

Est-ce la réalité ou est-ce pour ne décrire que leurs processus mentaux qu’ils l’ont omis ? Nous pouvons nous poser la question notamment en ce qui concerne l’appropriation du travail des autres qui pourrait être décrit, nous semble-t-il, comme un élément du processus mental. A ce propos, Hadamard mentionne juste l’existence de deux cas de figures : ceux qui s’intéressent fortement à la lecture des œuvres de leurs prédécesseurs avant de commencer tout travail de recherche et ceux qui, au contraire, préfèrent étudier directement les problèmes par eux-mêmes. Il précise qu’il appartient à cette seconde catégorie.

4. Méthode de la découverte ?

Comme le remarque Lefebvre (1999), la description de Hadamard et Poincaré n’est

« qu’illustrative et incitative à la réflexion ». Leur objectif n’était pas, en effet, de donner une méthode de la découverte mathématique. Ce sera l’objectif de Pólya, qui en 1945 publira un ouvrage Comment poser et résoudre un problème, où il donne des explications et des conseils en tenant compte du contexte scolaire et en proposant un petit dictionnaire heuristique.

Pour conclure, les travaux de Poincaré et d’Hadamard décrivent les différentes phases du processus d’invention ou de découverte mathématique. Ils mettent en évidence l’importance de l’intuition, liée à une certaine beauté scientifique que tous les mathématiciens connaissent.

Cette sensibilité intervient aussi bien dans le choix des problèmes de recherche que dans la manière de les traiter. Cependant elle intervient consciemment dans le choix d’un sujet de recherche alors qu’elle apparaît inconsciemment pour provoquer l’inspiration et l’illumina- tion. Les auteurs s’attachent particulièrement à expliquer cette coopération du conscient et de l’inconscient dans le processus de découverte. Ainsi la « découverte ne peut être produite uniquement par le hasard » (Hadamard, 1993, p. 50), le travail conscient avant et après les phases d’incubation et d’illumination est indispensable. Nous verrons par la suite que de nombreux mathématiciens partagent ces points de vue sur la découverte ou l’invention ma- thématique. Nous avons également mis en évidence quelques écueils dans leurs travaux tels l’existence d’autres facteurs que le sens de la beauté influençant le processus de découverte ou d’invention. Les auteurs ne mentionnent pas, par exemple, l’importance du bagage mathéma- tique ou le travail collaboratif en recherche. Enfin nous avons souligné que ces travaux étaient issus de réflexions personnelles et que cela pouvait induire un risque de récit rationaliste.

b. L’enquête de l’Enseignement Mathématique

Pour atténuer le biais introduit par la dimension personnelle des deux savants, Hadamard et Poincaré, par ailleurs illustres, nous nous référons à une enquête menée sur la méthode de travail des mathématiciens par le périodique l’Enseignement Mathématique au début des années 1900. Poincaré mentionne cette enquête en précisant qu’il avait déjà écrit sa confé- rence lorsqu’il a pris connaissance des résultats. Cependant il précise que « la majorité des témoignages confirment ses [mes] conclusions » (Poincaré, 1993, p. 140). Hadamard fait réfé- rence à cette enquête dans son essai et en réalise une analyse critique. Il publie également les trente questions de cette enquête en annexe de son ouvrage. Dans un premier paragraphe, nous décrivons succinctement l’enquête et le type de questions posées. Dans une seconde partie, nous présentons des résultats relatifs à certaines questions portant sur le processus de

découverte ou d’invention mathématique ainsi que sur le choix des sujets de recherche. Enfin, dans un troisième paragraphe nous faisons une analyse critique de cette enquête.

Description de l’enquête

Cette enquête a été initiée par Maillet³ dans une lettre publiée dans le périodique l’En- seignement Mathématique en 1901. Son objectif est « d’ouvrir une sorte d’enquête auprès des savants connus ; il s’agirait d’obtenir de chacun d’eux quelques renseignements personnels sur sa méthode de travail et de recherche, ses habitudes, l’hygiène générale qu’il juge la plus propre pour faciliter son travail intellectuel, la manière de conduire le plus efficacement ses lectures et d’en tirer le meilleur parti etc. » (Maillet, 1901). Il précise quelques lignes plus loin que l’enquête ne doit pas « se borner aux savants illustres » mais qu’elle doit comprendre

« le plus grand nombre de mathématiciens ayant quelque notoriété ». Il pense que cela serait très utile aux jeunes mathématiciens. Les directeurs de la revue, Laisant et Fehr, indiquent en note de cette lettre que ce projet est très intéressant et proposent que les personnes in- téressées soumettent des questions qu’ils choisiront et mettront sous forme de questionnaire ensuite. En 1902 la revue publie le premier questionnaire composé de vingt-huit questions (Fehr & Laisant, 1902). En 1904 un questionnaire complété (trente questions) à l’aide no- tamment de deux psychologues Flournoy et Claparède, est publié avec un appel à réponses (Fehr & Laisant, 1904). Les directeurs de la revue invitent toutes les personnes intéressées à se procurer le questionnaire et le formulaire de réponses. A partir de 1905 et jusqu’en 1908 la revue publie régulièrement une analyse des réponses reçues, question par question, dans l’ordre du questionnaire (Fehr, 1905 ; Flournoy, 1905 ; Fehr, 1906a, 1906b, 1906c ; Flournoy, 1906 ; Claparède, 1907 ; Fehr, 1907b, 1907a ; Flournoy, 1907a, 1907b ; Claparède, 1908). Fehr (1908) publie un ouvrage regroupant ces différentes réponses⁴.

Le questionnaire est composé de trente questions réparties en trois thèmes : – 21 questions générales d’ordre philosophique.

– 7 questions particulières relatives au mode de vie du mathématicien.

– 2 questions intituléesObservations finales.

Les premières questions ont un caractère introspectif, on demandait par exemple aux mathé- maticiens s’ils s’intéressaient fortement à la lecture des œuvres de leurs prédécesseurs ou si, au contraire, ils préféraient étudier directement les problèmes par eux-mêmes, s’ils avaient l’ha- bitude d’abandonner un problème pendant un temps et le reprendre plus tard, s’ils pouvaient décrire la genèse de leurs principales découvertes, etc. Les questions suivantes sont davan- tage générales, on demandait par exemple l’influence de l’environnement immédiat tel que les bruits, les conditions météorologiques sur leur travail ou s’ils considéraient comme utiles ou nuisibles les activités littéraires ou artistiques, etc. Les dernières questions sont d’ordre psychologique, pour connaître plus précisément les images mentales ou les mots internes dont se servent les mathématiciens.

Concernant les réponses reçues, les directeurs del’Enseignement Mathématique précisent qu’ils en ont reçu plus d’une centaine, provenant de « mathématiciens appartenant pour la plupart, au temps présent, mais parmi lesquels figurent aussi quelques-uns des grands géomètres décédés, depuis les Bernouilli jusqu’à Lie » (Fehr, 1905, p. 387). Ils précisent qu’ils ont étudié les résultats de l’enquête question par question sans chercher de conclusions générales sur l’ensemble des réponses. En effet, la diversité des questions et leur grand nombre

3. Maillet (1865-1938) était un mathématicien français, président de la Société Mathématique de France en 1918. Ses travaux portent, entre autres, sur la théorie des nombres transcendants. Il a écrit un ouvrage sur le rêve mathématique (Maillet, 1902).

4. L’impression de ce livre étant de mauvaise qualité, nous avons travaillé avec les articles en ligne de l’Enseignement Mathématique. Ce sont ces références qui seront citées dans le texte.