Raisonner au moyen d’ensembles en mathématiques est devenu aujourd’hui si ordinaire qu’on pourrait, dans la pratique quotidienne de sa discipline, oublier qu’il n’en alla pas toujours ainsi. Considérer des collections d’objets n’est pas une simple commodité de langage. L’introduction du concept d’ensemble par les mathématiciens de la seconde moitié du xixe siècle, parmi lesquels Georg Cantor (1845-1918), a d’abord correspondu à une nécessité : pouvoir embrasser par la pensée des suites infinies d’éléments, en les voyant comme des totalités achevées. Ce geste, aux implications philosophiques fortes, revient à dire que l’infini peut être en acte, et ne désigne pas simplement une potentialité (étant donné une ligne, je peux toujours la prolonger). Il a entre autres permis à Cantor d’élaborer une théorie parmi les plus mystérieuses des mathématiques, permettant de penser la pluralité des infinis, autrement dit, l’existence d’infinis de taille différente. Les nombres transfinis, qui généralisent la notion intuitive de cardinal d’un ensemble pour des collections infinies, servent à désigner ces divers degrés, et nous enseignent donc, intuitivement, qu’il existe une infinité de manières d’être "infini".

Le présent article ne prétend pas donner un exposé complet de toute la théorie du transfini, des premières publications de Cantor sur le sujet en 1872, jusqu’à la version finale qu’il donne de ses découvertes en 1895-97, ni étudier la généalogie des concepts qu’il a formés — en particulier celui d’ensemble, Menge en allemand — et l’évolution de sa terminologie (nous renvoyons pour cela aux travaux cités dans la bibliographie). Il se contentera, plus modestement, après avoir exposé quelques-uns des problèmes élémentaires relatifs aux ensembles de nombres usuels qui ont conduit à Cantor à construire sa théorie du transfini, de présenter celle-ci, en restant, chaque fois que cela est possible, proche des termes employés par son auteur lui-même, pour montrer ce qu’elle nous apprend du travail du mathématicien.

1  Aux origines de la théorie, quelques mystères

Très tôt après avoir travaillé sur la décomposition des fonctions périodiques en séries trigonométriques, sur invite d’un collègue plus âgé de l’université de Halle où il enseignait depuis 1872, Eduard Heine (1821-1881), Cantor pose à son ami Dedekind, avec qui il correspond régulièrement depuis un an, un problème qu’il n’a pas encore résolu :

Prenons l’ensemble (Inbegriff) de tous les individus entiers positifs \(n,\) et représentons-le par \((n)~;\) puis considérons l’ensemble de toutes les grandeurs numériques réelles positives \(x,\) et représentons-le par \((x)~;\) la question est simplement de savoir si \((n)\) peut être mis en correspondance avec \((x)\) de telle manière qu’à chaque individu d’un des ensembles corresponde un individu et un seul de l’autre. À première vue, on se dit que ce n’est pas possible, car \((n)\) est composé de parties discrètes, tandis que \((x)\) forme un continu. ¹

Comme le remarque aussitôt Cantor, la dernière objection n’est pas recevable, parce qu’il est aisé de démontrer que l’ensemble des rationnels positifs (qui s’écrivent sous la forme d’une fraction irréductible \(p/q),\) bien que « continu », peut être placé en correspondance univoque avec \((n).\) La démonstration qu’il communique alors à Dedekind, reprise dans un article publié en 1878 au Journal de Crelles ² (qui existe encore aujourd’hui sous le nom de Journal für die reine und angewandte Mathematik, Journal de mathématiques pures et appliquées, fondé en 1826 par August Leopold Crelle), porte sur les seuls rationnels compris entre 0 et 1. Tous admettent, indique Cantor, une unique écriture irréductible \(p/q,\) où \(p\) et \(q\) sont premiers entre eux et positifs. Pour tout nombre \(N\) entier et positif, le nombre de fractions \(p/q\) telles que \(p+q=N\) est fini. On peut donc classer les rationnels en fonction de la valeur de \(N~:\) \[\frac {0}{1} \: ; \: \frac {1}{1} \: ; \: \frac {1}{2} \: ; \: \frac {1}{3} \: ; \: \frac {1}{4} \: ; \frac {2}{3} \: ; \: \frac {1}{5} \: ; \: \frac {1}{6} \: ; \: \frac {2}{5} \: ; \: \frac {3}{4}...\]

On est sûr ainsi d’épuiser tous les nombres rationnels compris entre 0 et 1 (dans un ordre toutefois différent de l’ordre usuel), c’est-à-dire qu’on a mis cet ensemble en correspondance avec celui des entiers naturels.

Aujourd’hui, on a coutume de formuler la démonstration comme suit, en la généralisant à l’ensemble \(\mathbb{Q}^{*}_{+}\) de tous les rationnels positifs. L’ensemble \(\mathbb{Q}^{*}_{+}\) (nombres admettant une écriture \(p/q,\) où \(p\) et \(q\) sont premiers entre eux et strictement positifs) est équivalent au sous-ensemble \(Q_0\) de l’ensemble \(\mathbb{N}^2\) formé des couples d’entiers premiers entre eux. Or, \(\mathbb{N}^2\) est assimilable à l’ensemble \(A\) des points d’un repère de coordonnées \((p,q)\) entières.

Dedekind se montra sensible au problème posé par Cantor et offrit à son tour une démonstration, que nous ne reproduirons pas ici, de la correspondance entre l’ensemble \((n)\) des entiers et l’ensemble des nombres algébriques (racines des polynômes à coefficients entiers).

Le problème restait encore ouvert pour l’ensemble « continu » des réels, mais fut résolu par Cantor, qui prouva une première fois en 1873 ³ qu’il n’est pas dénombrable. Il en donna ensuite une seconde solution, plus simple selon lui, en 1891. L’argument prouvant la non-dénombrabilité de l’ensemble des réels (ou, plus exactement, de l’ensemble [0,1], et donc a fortiori de \(\mathbb{R}),\) est connu sous le nom de procédé diagonal, que nous présentons ici avec les notations utilisées par Cantor. Supposons par l’absurde que le segment d’entiers [0,1] se laisse ordonner en une suite infinie \(\omega_1, \: \omega_2, \: ...\) et notons

\[\omega_1= \overline{0,a_{1,1}a_{1,2}...a_{1,\nu}...} \] \[\omega_2= \overline{0,a_{2,1}a_{2,2}...a_{2,\nu}...}\] \[…\] \[\omega_\mu= \overline{0,a_{\mu,1}a_{\mu,2}...a_{\mu,\nu}...}\] \[…\]

les écritures décimales de ces nombres réels. Le nombre dont l’écriture décimale est \(\omega= \overline{0,b_1b_2...},\) où \(b_i=1\) si \(a_{i,i}\neq1\) et \(b_i=2\) sinon (il est donc formé en considérant les décimales situées sur la « diagonale » du schéma précédent) ne figure pas dans la liste précédente. En effet, pour tout \(\mu,\) la \(\mu\)-ième décimale de \(\omega_\mu\) est distincte de \(b_\mu.\) Par l’absurde on conclut que le segment [0,1] n’est pas en bijection avec l’ensemble \((n)\) des entiers.

Ce résultat était déjà acquis à Cantor en 1873 et lui semblait tout à fait conforme à l’intuition. Une dernière propriété des ensembles infinis ne laissa par contre pas, elle, de l’étonner, tant elle lui paraissait contre-intuitive. L’ayant prouvée, en juin 1877, dans une lettre à Dedekind, il lui faisait part de son incrédulité, en s’écriant, en français, « Je le vois, mais je ne le crois pas. » ⁴ Il s’agit de la correspondance univoque entre le « segment » continu \([0,1]\) et le « carré » \([0,1]^2,\) c’est-à-dire, graphiquement, entre une ligne et une surface : tous les points d’un carré peuvent être « envoyés » bijectivement sur un segment. Soit en effet deux valeurs réelles comprises entre 0 et 1, \(x_1\) et \(x_2,\) de développements décimaux \(\overline{0,a_{1}a_{2}...a_{\nu}...}\) et \(\overline{0,b_{1}b_{2}...b_{\nu}...}\) (visuellement, ce sont les coordonnées \((x_1,x_2)\) d’un point dans le carré). On définit alors la grandeur \(y= \overline{0,a_{1}b_{1}a_{2}b_{2}...a_{\nu}b_{\nu}...} ,\) en alternant les décimales. La correspondance entre \((x_1,x_2)\) et \(y\) est injective et \(y\) ne prend que des valeurs entre 0 et 1 (elle ne les prend pas toutes, comme le fait remarquer Dedekind à Cantor, puisque le nombre \(y=0,1219191919\) devrait être formé à partir de \(x_1= 0,11111...\) et \(x_2=0,299999…,\) dont le développement décimal est en fait 0,300000…, et a donc plutôt donné naissance à \(y=0,1310101010… ).\) En tout cas, cela montre bien qu’il existe un sous-ensemble de [0,1] en bijection avec \([0,1]^2.\) Il suffit ensuite de construire une bijection entre ce sous-ensemble et [0,1] (ce que Cantor fait dans une seconde lettre) pour conclure.

Tous les constats opérés par Cantor dans les premières années, et dont nous avons cherché à restituer ici la teneur, l’ont été sans recourir à une notion d’ensemble autre que l’idée intuitive de « rassemblement » (Inbegriff). Le terme de puissance (Mächtigkeit) a été utilisé pour désigner la caractéristique commune des ensembles en correspondance univoque (c’est-à-dire l’équivalent du cardinal, pour des ensembles infinis), mais c’est la seule nouveauté lexicale introduite pour ces démonstrations. Cantor était dans un premier temps effrayé de penser que l’idée de dimension, sur laquelle repose une partie de la géométrie des courbes et des surfaces, fût erronée, puisqu’une figure à deux dimensions pouvait être décrite à l’aide d’une seule coordonnée. C’est pourquoi il craignait de faire part d’une découverte qui ruinerait selon lui toutes les « déductions philosophiques ou mathématiques » ⁵ s’appuyant sur ce concept. Son ami Dedekind le mit en garde, faisant observer, dans une lettre du 2 juillet 1877 ⁶, que la bijection qu’il avait construite entre le carré et la ligne était « nécessairement partout discontinue », « à donner le vertige », et qu’en raison de cette particularité elle n’avait peut-être aucune conséquence ruineuse pour la géométrie, qui pouvait quant à elle continuer de s’appuyer sur l’idée de dimension — ce qu’elle fait toujours : les applications pertinentes entre surfaces en géométrie sont les homéomorphismes, bijections particulièrement régulières puisqu’au minimum continues. De fait, après avoir publié quelques articles sur la topologie de la surface et des lignes, Cantor a orienté ses découvertes dans une autre direction : la construction de nombres représentant les divers « degrés » dans l’infini. C’est notamment dans un livre paru en 1883 ⁷ que Cantor a présenté au public cette nouvelle voie, au moyen de la notion d’ensemble, entendu cette fois comme réalité mathématique. Devant les réticences de certains de ses collègues, et notamment de Kronecker, il a cessé un temps de publier dans les revues mathématiques, pour réfléchir aux enjeux philosophiques et théologiques de ses théories, avant, en 1895-97, d’offrir, en deux articles parus aux Mathematische Annalen ⁸, une synthèse de ses travaux antérieurs. C’est sur elle que nous nous fondons pour l’exposé qui suit.

2  Les nombres cardinaux transfinis : une première suite de nombres plus grands que le fini

Lorsque Cantor publie ses travaux, la théorie des ensembles et son formalisme moderne (dus entre autres à Zermelo et Fraenkel, qui la pourvurent, au début du xxe siècle, d’un système d’axiomes), n’existent pas encore et l’ensemble est chez lui seulement défini, dans l’exposé de 1895, « une réunion \(M\) [pour Menge en allemand] de certains objets \(m\) bien distincts présents à notre vision ou à notre pensée, qui forment un tout » ⁹. Étant donné un ensemble (fini ou non) ordonné, on peut, en faisant abstraction de la « texture » (Beschaffenheit), c’est-à-dire des qualités, et de l’ordre des objets qui le composent, déduire la notion de cardinal ou puissance (Mächtigkeit), c’est-à-dire du nombre d’éléments qui les composent, de sorte que deux ensembles « équivalents » (dont les éléments correspondent un à un, ou bien encore entre lesquels il existe une correspondance biunivoque) ont la même puissance. Les cardinaux sont selon Cantor des nombres, et l’on peut définir sur eux un ordre (un cardinal \(a\) est inférieur à un autre \(b\) lorsqu’il existe un ensemble de cardinal \(a\) pouvant être envoyé injectivement dans un ensemble de cardinal \(b)\) et les opérations usuelles ¹⁰. Par exemple, si \(M\) et \(N\) sont des ensembles de cardinaux respectifs \(a\) et \(b,\) \(a+b\) est le cardinal de la réunion de \(M\) et \(N\) et \(a.b\) le cardinal du produit cartésien \(M \times N.\) Le cardinal des applications de \(N\) à valeurs dans \(M\) ne dépend que des cardinaux de \(M\) et \(N\) et se note \(a^b.\) Le cardinal de l’ensemble \(\{1, 2,…, \nu\}\) est le nombre entier \(\nu~;\) et les ensembles dont le cardinal n’est pas un nombre fini sont dits transfinis. ¹¹ Cela posé, Cantor introduit alors la notation \(\aleph_{0}\) (de \(\aleph,\) première lettre de l’alphabet hébreu, choisie sans doute davantage pour des raisons de commodité, puisqu’elle ne désigne rien d’autre en mathématiques, que, comme on le dit parfois sans fondement certain, en référence au nombre un, que désigne aussi cette lettre dans la numération hébraïque) pour dénoter le cardinal de l’ensemble \(\{\nu\}\) formé de tous les nombres cardinaux finis (identifiable à l’ensemble \(\mathbb{N}).\) Il est clair que \(\aleph_{0}\) ne peut être fini car l’ensemble \(\mathbb{N} \cup \{e_0\}\) (où \(e_0\) est un élément quelconque), qui contient un élément de plus que \(\mathbb{N},\) peut être aisément placé en bijection avec ce dernier (au moyen de l’application associant \(e_0\) à 1, puis 1 à 2, 2 à 3, etc., \(\nu+1\) à \(\nu)\) ; or, il est aisé de prouver que deux ensembles finis sont en bijection si et seulement si ils ont le même cardinal. La bijection mise en évidence prouve par ailleurs que \(\aleph_{0}+1= \aleph_{0}\) (au sens de l’égalité entre cardinaux). C’est à ce point que l’on commence à percevoir toute l’originalité de la théorie de Cantor : \(\aleph_{0}\) est un nombre, transfini certes, mais un nombre, et les opérations définies sur les cardinaux (addition, multiplication et puissance) étendent les opérations naturelles sur les nombres entiers. Il est alors facile de prouver que \(\aleph_{0}+\nu=\aleph_{0},\) où \(\nu\) est un cardinal fini, et la bijection construite dans la première partie entre \(\mathbb{N}\) et \(\mathbb{Q}\) (qui est équivalent à \(\mathbb{N}^2)\) montre que \(\aleph_{0}.\aleph_{0}=\aleph_{0}.\) Plus généralement, \(\aleph_{0}^\nu=\aleph_{0}.\) En outre, \(\aleph_{0}\) est le plus " petit " des nombres transfinis (c’est-à-dire que tout ensemble infini contient un sous-ensemble de cardinal \(\aleph_{0}).\) Il n’est cependant pas le seul. Comme on l’a vu dans la première partie, l’ensemble des nombres réels compris entre 0 et 1, qui n’est pas fini, n’est pas non plus équivalent à \(\mathbb{N},\) ce qui interdit d’y voir un ensemble de cardinal \(\aleph_{0}.\) Précisons alors le cardinal l’ensemble [0,1]. Comme tout nombre réel du segment [0,1] est représenté par un unique développement en base 2 (de la forme \(\overline{0,11010110111...})\), et qu’un développement binaire est bien déterminé par une fonction de \(\mathbb{N}\) dans \(\{ 0,1 \}\) (l’image de l’entier \(n\) donne la valeur du \(n\)-ième chiffre après la virgule), il existe une bijection entre [0,1] et l’ensemble des applications de \(\mathbb{N}\) dans \(\{0,1\},\) dont le cardinal est noté, d’après ce qui précède \(2^{\aleph_{0}}.\) Ce dernier nombre cardinal est différent de \(\aleph_{0},\) et il lui est supérieur: on peut donc écrire que \(2^{\aleph_{0}}>\aleph_{0}.\) L’ensemble des applications de \(\mathbb{N}\) dans \(\{0,1\}\) étant équivalent à l’ensemble des parties de \(\mathbb{N},\) on peut itérer le procédé (considérer l’ensemble des parties de [0,1]) pour obtenir un ensemble de cardinal strictement supérieur à \(2^{\aleph_{0}},\) et ainsi de suite.

En résumé, \(\aleph_{0}\) est le premier cardinal transfini, celui de \(\mathbb{N}\) et de \(\mathbb{Q}.\) L’ensemble \(\mathbb{R},\) équivalent à [0,1] et donc à l’ensemble \(P(\mathbb{N})\) des parties de \(N,\) a pour cardinal \(2^{\aleph_{0}}.\) L’ensemble de ses parties, \(P(\mathbb{R}),\) équivalent à \(P(P(\mathbb{N})),\) a pour cardinal \(2^{2^{\aleph_{0}}},\) etc.

3  La génération de cardinaux transfinis au moyen des types ordinaux infinis : la suite des \(\aleph\)

Cantor propose cependant une autre méthode pour construire des cardinaux infinis aussi grands que souhaité, cette fois-ci au moyen du concept de nombre ordinal. On se souvient que le cardinal était le fruit d’une double abstraction à partir d’un ensemble ordonné : perte de la texture et perte de l’ordre. Le type d’ordre (Ordnungstypus ¹²) est quant à lui l’ensemble considéré indépendamment de sa texture, mais en tenant compte de l’ordre de ses éléments. De manière rigoureuse, et en utilisant le langage des applications, on dirait que deux ensembles ordonnés \((M, \le)\) et \((N, \le)\) ont le même type d’ordre lorsqu’il existe entre eux une bijection \(f\) croissante, c’est-à-dire telle que, si \(x\le y\) sont deux éléments de \(M,\) alors \(f(x) \le f(y).\) Il suit aussitôt que deux ensembles ayant le même type d’ordre ont aussi le même cardinal, puisque le cardinal s’obtient par une abstraction supplémentaire.

On peut définir sur les types d’ordre les opérations usuelles. Pour deux ensembles \(M\) et \(N\) de types d’ordre \(\alpha\) et \(\beta,\) on note \((M, N)\) l’ensemble formé des éléments de \(M\) et \(N\) en conservant les ordres respectifs des éléments de chaque ensemble, et en faisant que tous les éléments de \(M\) aient un rang inférieur à tous ceux de \(N,\) ce qui revient intuitivement à juxtaposer les éléments de \(M,\) suivis de ceux de \(N.\) L’ensemble ainsi formé est ordonné, et son type d’ordre ne dépend que du type d’ordre des ensembles de départ. On peut donc le noter \(\alpha + \beta.\) De même se définit le produit : on remplace, en maintenant l’ordre, chaque élément \(n\) de \(N\) par un ensemble \(M_n\) ayant le même type que \(M,\) et on considère l’ensemble \(S\) formé de tous les éléments ainsi mis bout à bout (c’est la suite des éléments contenus dans chacun des \(M_n,\) dans l’ordre), qui est tel que deux éléments issus du même \(M_n\) gardent entre eux le même ordre de succession qu’ils avaient dans \(M_n,\) mais deux éléments de \(S\) issus de deux \(M_n\) différents ont entre eux le même ordre que les indices. Si, par exemple, \(M=\{1,2,3\}\) et \(N=\{4,5\},\) l’ensemble S est \(\{1_4, 2_4, 3_4, 1_5, 2_5, 3_5\}.\) Le type d’ordre de cet ensemble se note \(\alpha . \beta.\) On montre aisément que ces opérations sont associatives et que le produit est distributif par rapport à la somme.

On notera à ce point du développement que l’exposé de Cantor manque quelquefois de clarté faute d’un formalisme adéquat. L’ensemble-produit que nous venons de considérer est en réalité, du point de vue des types d’ordres, identique au produit cartésien \(M \times N,\) muni de l’ordre lexicographique : \((m,n)\le(m',n')\) lorsque \(m < m'\) ou \(m=m'\) et \(n \le n’.\) Les opérations d’abstraction, elles-mêmes, que Cantor demande à son lecteur d’accomplir pour parvenir au concept de types d’ordre ou de cardinal, pourraient être rigoureusement décrites en termes de classes d’équivalence : le cardinal \(\aleph_0\) serait alors la classe d’équivalence de \(\mathbb{N}\) pour la relation « deux ensembles sont équivalents lorsqu’il existe entre eux une correspondance biunivoque ». Quant aux types d’ordre, ce sont les classes d’équivalence pour la relation « deux ensembles ordonnés sont équivalents lorsqu’il existe entre eux une bijection respectant l’ordre ». De telles définitions n’ont cependant pas la force évocatrice de celles de Cantor : le seul vocabulaire qu’il emploie (les « types d’ordre » faisant référence à la manière, empirique, de classer les éléments d’un ensemble) montre bien la genèse de son raisonnement, assez imagé. Le dialogue permanent qui s’opère chez le mathématicien avec son intuition du monde sensible reste, en dépit de l’axiomatisation et de la formalisation des théories (qui semblent, de l’extérieur, réduire les mathématiques à des opérations purement logiques), sa principale source d’inspiration, quitte à ce que le procès d’abstraction du sensible, de réduction des propriétés observées à quelques-unes, le conduise à des résultats dépassant son intuition.

Donnons à présent quelques exemples illustrant le concept, peu formalisé chez Cantor, de type d’ordre. Les ensembles \(M=\{1, 3, 5\}\) et \(N=\{1, 6, 4\},\) munis de l’ordre naturel, ont le même type d’ordre : il suffit de faire correspondre 1 à 1, 3 à 4 et 5 à 6. Plus généralement, deux ensembles finis de même cardinal ont aussi le même type d’ordre. C’est pour les ensembles infinis que les types d’ordre présentent un réel intérêt. Cantor nomme \(\omega\) le type d’ordre de l’ensemble \(\mathbb{N}.\) L’ensemble \(\{f, 0, 1, 2, 3, 4, …\},\) où l’on a ajouté un élément plus petit que 0 au « début » de l’ensemble, a alors le même type d’ordre (il suffit d’associer \(f\) à 0, 0 à 1, 1 à 2 et ainsi de suite, pour indexer les éléments de cet ensemble avec ceux de \(\mathbb{N},\) dans l’ordre) : ainsi, \(1+\omega=\omega.\) À l’inverse, l’ensemble \(\{0, 1, 2, …, f\},\) formé de tous les entiers naturels non nuls, plus, « en dernier », un élément \(f\) considéré maintenant comme plus grand que tous les autres a un type d’ordre différent, car il est impossible de réindexer ses éléments avec ceux de \(\mathbb{N}\) tout en respectant l’ordre (\(f\) devrait avoir un indice entier naturel plus grand que tous les autres). Cela montre, dans les termes de Cantor, que \(\omega+1\) est un ordinal distinct de \(\omega.\) De même, l’ensemble \(\{e_1, e_2, …, e_\nu, … ; f_1, f_2, …, f_\nu, …\},\) dont le type d’ordre est, par définition, \(\omega.2,\) n’a pas le même type que l’ensemble \(\{e_1, f_1, e_2, f_2, …\},\) dont le type se note \(2.\omega\) par définition et dont il est facile de voir qu’il a le même type que \(\mathbb{N}.\) Ainsi, \(2.\omega=\omega,\) mais \(\omega.2\) est un ordinal distinct. Les opérations sur les ordinaux ne sont pas commutatives.

Cantor nomme ordinaux de première classe tous ceux des ensembles finis ordonnés, et ordinaux de deuxième classe ¹³ ceux des ensembles bien ordonnés (c’est-à-dire tels que toute partie non vide admette un plus petit élément) dont le cardinal est \(\aleph_{0}.\) Un ordre peut être alors être défini sur les ordinaux des ensembles bien ordonnés. Avec les notations du savant allemand: si \(\alpha\) et \(\beta\) sont les types de deux ensembles bien ordonnés \(F\) et \(G,\) on dit que \(\alpha \le \beta\) lorsque \(\alpha = \beta\) ou, sinon (\(\alpha \neq \beta,\) les deux ensembles n’ont pas le même type), lorsqu’il existe un segment ¹⁴ de l’ensemble \(G\) ayant le type de \(F.\) De même, \(\alpha > \beta\) lorsqu’il existe un segment de \(F\) ayant le type de \(G.\) Cantor prouve que cette définition ne dépend pas des ensembles \(F\) et \(G,\) et que tous les cas sont bien épuisés.

Cantor prouve alors que \(\omega\) est le plus petit ordinal de la deuxième classe, et que \(\omega+1\) est exactement le suivant. Que \(\omega + 1\) (type de l’ensemble \(\{0, 1, 2, …, f\},\) noté \((N,f))\) soit strictement supérieur à \(\omega\) découle en effet de ce que l’ensemble \(\{0, 1, 2, …\},\) noté \(N,\) est un segment de \((N,f).\) En outre, si \(\gamma\) est un ordinal strictement compris entre \(\omega\) et \(\omega+1,\) il est le type d’un segment de \((N,f),\) qui doit lui-même contenir un segment de même type que \(N,\) c’est-à-dire \(N.\) C’est donc soit \(N\) soit \((N,f),\) ce qui est absurde.

Par des raisonnements similaires, on montre que les ordinaux de la première et de la deuxième classe sont décrits par la suite (croissante) :

\[1,2,...,n,...,\omega,\omega+1,...,\omega+\omega=\omega.2,...,\omega.n..., \omega.\omega=\omega^2,...,\omega^k,...\]

Considérons alors l’ensemble \(E\) formé de tous ces ordinaux. Il s’agit d’un ensemble bien ordonné, et, pour tout ordinal \(\alpha \in E,\) l’ensemble \(\{\xi \in E / \xi \le \alpha \}\) a pour type d’ordre \(\alpha.\) Tout élément de \(E\) est donc le type d’ordre d’un de ses segments stricts, et ne peut être, par conséquent, le type d’ordre de \(E\) lui-même. Autrement dit, l’ordinal \(\alpha\) de \(E\) est strictement supérieur à chacun des ordinaux de première et de deuxième classe. Le cardinal de l’ensemble \(E\) n’est donc pas \(\aleph_{0}\) (cardinal commun des ensembles dont l’ordinal est dans la deuxième classe). On définit alors \(\aleph_{1}\) comme le cardinal de \(E.\)

En itérant le procédé (donc en considérant l’ensemble formé de tous les ordinaux des ensembles de cardinal \(\aleph_{1}),\) on engendre une suite infinie des alephs : \(\aleph_{0}, \aleph_{1},....\) C’est ainsi qu’on démontre à nouveau l’existence d’une infinité de degrés dans l’infini. En outre, les \(\aleph,\) tout comme les ordinaux, sont des nombres sur lesquels une structure d’anneau (somme et produit distributif) a été définie, ce qui permet d’élargir un certain nombre de propriétés arithmétiques à ces nombres transfinis. La construction de Cantor revient donc à faire des infinis, non plus un procès (on peut toujours trouver une grandeur finie plus grande qu’une grandeur donnée), non plus des abstractions inaccessibles à l’entendement fini de l’humain, non plus une qualité de la substance infinie qu’est Dieu, mais des totalités en acte tout à fait saisissables par la pensée. C’est ce que la théorie de Cantor contenait de diabolique, qui laissa plusieurs de ses collègues perplexes.

4  L’hypothèse du continu

Les raisonnements précédents ont mis en évidence deux suites de cardinaux infinis :

1°. \(\aleph_0, \aleph_1,..., \aleph_i,...,\) où \(\aleph_{i+1}\) est le cardinal de l’ensemble des ordinaux des ensembles de cardinal \(\aleph_i~;\)

2°. \(\aleph_0, 2^{\aleph_0}, 2^{2^{\aleph_0}},...\) et , où chaque terme est cardinal de l’ensemble des parties d’un ensemble de cardinal le terme précédent.

Naturellement, on peut se demander si ces deux suites sont identiques, c’est-à-dire si \(\aleph_1=2^{\aleph_0}\) (au sens de l’égalité entre cardinaux), etc. Comme \(2^{\aleph_0}\) est la puissance du segment [0,1], que Cantor nomme ensemble continu, on appelle « hypothèse du continu » la propriété \(\aleph_1=2^{\aleph_0},\) qui revient à dire, intuitivement, que \(\mathbb{R}\) (équivalent à [0,1]) est le "premier" ensemble plus grand que \(\mathbb{N}.\) Cantor était convaincu de la véracité de cette hypothèse, et s’est efforcé, jusqu’au bout de sa vie, d’en donner une démonstration, comme le montre sa correspondance avec Dedekind, sans succès… ¹⁵ La hauteur de l’enjeu posé par le problème du continu fut en tout cas perçue par Hilbert, qui le plaça en tête de la liste des vingt-trois problèmes appelés à marquer le xxe siècle, énoncée en 1900 au deuxième Congrès international des mathématiciens (dans la création duquel Cantor s’était beaucoup impliqué). On sait aujourd’hui que le problème ne peut être résolu : Gödel a montré en 1938 la compatibilité de l’hypothèse avec les axiomes habituels de la théorie des ensembles, et, en 1963, Paul Cohen a prouvé qu’elle était indécidable (c’est-à-dire que l’on peut ni l’affirmer ni l’infirmer, ou, plus exactement, que la supposer ou non n’a aucune incidence sur le reste de la théorie).

Ainsi était clos le feuilleton de l’infini ouvert par Cantor (et par quelques travaux précurseurs, comme les Paradoxes de l’infini de Bolzano, publiés en 1851) près d’un siècle auparavant. Ce feuilleton, c’est d’abord celui d’un mathématicien brillant, audacieux, pour ne pas se laisser intimider par des problèmes semblant dépasser l’entendement, curieux, pour ne pas choisir des domaines de recherches dont l’utilité paraît plus immédiate, incompris, car il n’a pas trouvé, de son vivant de chercheur, toute la reconnaissance qu’il aurait méritée. Mais c’est surtout le feuilleton d’une expérience profondément humaine, celle de la tension du sujet mathématique connaissant, qui, à la fois, découvre, conduit vers des vérités inattendues par une nécessité le dépassant, et construit, c’est-à-dire qu’il élabore, par un geste libre, un monde de concepts et de définitions reliés entre eux. C’est cela qu’exprimait Cantor, en 1883, dans les Grundlagen : « Les mathématiques sont entièrement libres dans leur développement et s’imposent cette seule retenue, que leurs concepts soient dépourvus de contradiction en eux-mêmes et qu’ils entretiennent avec les concepts construits auparavant, déjà présents et assurés, des relations fixes et ordonnées par des définitions. » ¹⁶ La voie suivie par Cantor pourrait bien, si exceptionnel son cheminement intellectuel fût-il, si tragique sa fin, être paradigmatique de celle du chercheur en mathématiques. Happé, dominé par ses découvertes incroyables, si contraires à l’intuition, il a dépassé le stade du seul étonnement ou de la crainte, pour élaborer, « entièrement libre », les concepts qui devaient lui permettre de tirer le parti le plus abouti de ce qu’il lui avait été donné de voir, bien au-delà de ce qu’il avait vu. C’est cela, ce mixte de déductions sans cesse questionnées par l’intuition pour en élaborer d’autres, qui, loin des querelles abstraites entre les partisans du réalisme ou de l’idéalisme des objets mathématiques, constitue peut-être l’essence même de l’activité mathématique.

5  Bibliographie

Les travaux mathématiques de Cantor ont été réunis dans un volume : Georg Cantor, Gesammelte Abhandlungen mathematischen und philosophischen Inhalts, éd. Ernst Zermelo, Berlin, Springer, 1932 (cité GA). Il n’existe pas de traduction complète en français, mais, pour les « Beiträge zur Begründung der transfiniten Mengenlehre » de 1895-97, on dispose de celle de F. Marotte, Sur les fondements de la théorie des ensembles transfinis, Bordeaux, Jacques Gabay, 1899. La correspondance entre Cantor et Dedekind a été éditée : Georg Cantor, Richard Dedekind, Briefwechsel Cantor-Dedekind, éd. Jean Cavaillès et Emmy Noether, Paris, Hermann, 1937. Une traduction en est donnée dans Jean Cavaillès, Philosophie mathématique, Paris, Hermann, 1962, p. 177-251 (cité Cavaillès (éd)). Sur l’œuvre de Cantor, la bibliographie est considérable. On consultera pour une approche commode, les ouvrages de Jean-Pierre Belna, Cantor, Paris, Les Belles Lettres, 2000 et Joseph W. Dauben, Georg Cantor. His Mathematics and Philosophy of the Infinite, Princeton, Princeton University Press, 1979.

1

Lettre du 29 novembre 1873, Cavaillès (éd.), p. 187-188.

2

"Ein Beitrag zur Mannigfaltigkeitslehre", Crelles Journal für Mathematik, t. 84, 1878, p. 242-258, réimpr. dans GA, p. 119-133, spclt. p. 126.

3

Lettres à Dedekind des 7 et 9 décembre 1873, Cavaillès (éd.), p. 189-191.

4

Lettre du 29 juin 1877, Cavaillès (éd.), p. 211.

5

Ibid., p. 211.

6

Cavaillès (éd.), p. 215.

7

Grundlagen einer allgemeinen Mannigfaltigkeitslehre, Leipzig, Teubner, 1883.

8

« Beiträge zur Begründung der transfiniten Mengenlehre » (tr. fr. F. Marotte, Bordeaux, 1899), repris dans Id., Gesammelte Abhandlungen..., p. 282-356.

9

" Beiträge ", GA, p. 282.

10

GA, p. 285 sq.

11

On remarquera que Cantor, n’ayant pas donné de définition rigoureuse du cardinal (en termes de classes d’équivalence), évoque l’égalité entre cardinaux sans définir en quel sens. Précisons donc que deux cardinaux sont égaux lorsqu’il existe des ensembles, ayant ces cardinaux, et en bijection.

12

GA, p. 298 sq.

13

GA, p. 325 sq.

14

Dans la terminologie de Cantor, un segment d’un ensemble bien ordonné est le sous-ensemble des éléments inférieurs à un élément donné de cet ensemble.

15

Et ce même en supposant, ce que fait Cantor inconsciemment, l’axiome du choix, sous la forme équivalente du théorème du bon ordre (« tout ensemble peut être bien ordonné »), qui n’est pas toujours inclus dans les axiomes de la théorie des ensembles.

16

GA, p. 182, nous traduisons.

Ce document a été traduit de L^AT_EX par H^EV^EA

Source des images pour le site : www.gecif.net

* Florian Reverchon est membre du groupe d'auteurs CM-ENS Paris.