La peine que Jacques Chardonne a connue pendant la jeunesse est plus forte que celle qu’il a vécue dans son enfance. Comme il la décrit, sa « jeunesse vint comme un malaise plein de torpeur et d’angoisse ».⁸³⁰ « J’ai été rongé, ajoute-t-il, d’un singulier désespoir pareil à une migraine, qui ne m’a pas quitté pendant vingt ans. Ce n’était pas l’ennui exactement, car j’étais très actif, et je ne nommerai pas ce mal tristesse ; elle est moins aiguë et suppose plus de maturité. C’était un chagrin lancinant, agriffé à la poitrine, sur quoi je m’endormais et me réveillais tous les jours. Mes amis l’ont ignoré ; j’avais trop de vie auprès d’eux. »⁸³¹ En fait, ses amis n’ont pas pu supposer ces idées noires en lui. Il leur apparaissait comme le plus vivant, le plus ardent qui soit possible. Cependant, ceux qui ont vécu près de Chardonne pendant cette phase de sa vie ont observé la douleur du jeune homme qu’il a été. D’une lettre inédite de Geneviève Fauconnier, Liliane Fénech cite ce paragraphe :

Monsieur Boutelleau s’est aperçu du chagrin de son fils. Son silence l’inquiétait ; mais il ne lui en a rien dit.

Les souvenirs amers de l’enfance se montrent à la vue de Chardonne comme des images spectrales. Il les rappelle bien. Il en parle ; mais comme quelqu’un qui s’efforce de ne pas leur permettre de laisser une trace dans ses écrits. Ils viennent succincts et dispersés. Mais pourquoi ce silence sur le malheur dont il souffre ? Est-ce un des principes de l’éducation de sa famille : « l’interdiction de se plaindre »⁸³³ ? Ou est-ce une tendance pour oublier le malaise de son passé ? À vingt ans, Chardonne est une autre personne : «  la vie a calmé tout [en lui] ; ce qui était trop violent et débordant s’est éteint ou résorbé. La vie est venue comme un baume qui étouffe les excès destructeurs. C’est alors que l’enfant est mort tout entier ; ou bien il est endormi. »⁸³⁴

« Le souvenir d’une certaine image n’est que le regret d’un certain instant »⁸³⁵ une citation deProust avec laquelle Chardonne commence Demi-Jour. Dans le même livre et sous le titre Souvenirs, notre écrivain cherche à démontrer que Proust est dans l'erreur : « si cette proposition était juste, écrit Chardonne, je n’aurais pas de souvenirs, ne regrettant aucun instant de ma vie. » Il reprend, pourtant, en ajoutant : « il y en a peu sûrement. »⁸³⁶ Cela sans doute parce que la vie humaine n’est pas exempte de désespoirs. « Elle est une succession de peines et de satisfactions alternatives et de joies coupées par les deuils. »⁸³⁷ Mais d’où vient ce peu de regret de notre écrivain ? Si l'on cherche dans ce qu’il a écrit de soi et dans les souvenirs qu’il a évoqués, en excluant le malaise et la souffrance de l’enfance, il semble clair que ce que Chardonne regrette, ce qui le rend malheureux au moment de se le rappeler, ne le concerne pas toujours directement. De ce qui le concerne directement, il regrette d’abord, semble-t-il, son absence au moment de la mort de son père : « il est mort doucement, écrit Chardonne, dans son fauteuil devant la cheminée, tenant la main de sa fille et de sa femme. Où était le fils ce jour là ? Ce fils qui a été sa désolation. »⁸³⁸ En parlant des souvenirs de son père, Chardonne a eu hontede ce qu’il était ; de sa frivolité et de son indifférence à l'égard de la peine de son père, surtout au moment de la ruine de la famille. Rappelant cette période il écrit :

Chardonne a toujours suivi ses penchants. Il en a eu de bons et de mauvais. Mais s’il lui est arrivé de faire le mal par une contrainte de sa nature, « ce ne fut jamais avec plaisir, écrit-il. J’en éprouvais aussitôt le dommage sur moi-même »⁸⁴⁰. Deux événements de sa vie passée demeurent vifs et sont pour lui  "ses pires souvenirs". Il regrette de les avoir faits : deux fois, Chardonne fut contraint de nuire à autrui ; de faire un grave tort, tantôt à une femme - nous en reparlerons -, tantôt à un homme, P.-V. Stock, le directeur et propriétaire de la maison d’édition où Chardonne a commencé comme secrétaire. Celui-là, maître au poker et qui se distinguait à l’aviron, avait le goût de sa propre perte : il gagnait et perdait chaque nuit beaucoup d’argent au Cercle de la Presse. « Les intérêts dont [Chardonne] avait la garde l’ont contraint de retirer à cet homme qu’il estimait l’entreprise qu’il tenait de sa famille. Ce devoir, dans lequel [Chardonne] « voyait le salut du grand nombre »⁸⁴¹, est devenu un poids sur sa conscience dont il fut longtemps gêné. Ce "sentiment de culpabilité", si on a le droit de le nommer ainsi, Bertrand Russell le définit comme « une des causes psychologiques sous-jacentes qui provoquent le plus souvent le malheur dans la vie de l’adulte. »⁸⁴² Pour se délivrer de ce sentiment, Chardonne se défend en écrivant : « j’ai agi par devoir, du moins je l’ai cru »⁸⁴³. Puis devenus successeurs de P.-V. Stock, Maurice Delamain et lui-même ont pris soin de la victime puis de sa veuve.

Parmi le "peu" qu’il regrette aussi et qui lui serre le cœur en le rappelant, c’est la mort de Lily, la première fille qu’il a aimée, et la disparition des filles qu’il a connues « qui l’appelaient Jacques avec un accent du cœur que depuis il n’a jamais entendu tout au long de sa vie. »⁸⁴⁴ En plus, Chardonne « regrette de n’avoir pas vu davantage [ses amis], quand il a donné tant d’heures à des riens. […] Ceux qu’il a connus étaient plus grands dans leur personne vivante, et en mourant ils ont disparu presque entièrement comme tout le monde. »⁸⁴⁵ L’absence des amis et la perte des camarades font de lui un être solitaire : « souvent, à mon âge, écrit-il, on devient exigeant, peut-être implacable ; on est trop éveillé, trop sensible ; vite gêné par la médiocrité. Je resterai seul, sans même un camarade ».⁸⁴⁶ Ces événements qu’on peut classer sous la catégorie du regret, Chardonne s’efforce de les garder pour lui : du malheur qu’il ressentit pour la mort de Lily, il ne dit rien, « respect pour le souvenir. » ⁸⁴⁷ Des filles qu’il a connues et de ses amis, « les êtres accaparent d’exquises vertus »⁸⁴⁸, il ne veut rien dire ; « trop secrets, tous. »⁸⁴⁹

La disparition d’une société dans laquelle il a connu le vrai bonheur est une autre douleur qu’on peut ressentir entre les lignes. En en parlant, il semble qu’elle fait son malheur. Une visite à Barbezieux, où il n’est pas retourné depuis quarante ans, emplit le cœur de Chardonne de tristesse. Au lieu de la cité de son bonheur, il trouve une société "décapitée", « une petite ville découronnée  et je touche, écrit-il, le tuf de la province, le fond desséché de ce Français qui dans un pays comblé ne goûte rien, ne veut rien voir, mais retiré en lui-même, ennemi de son entourage. »⁸⁵⁰ « Pas un être humain dans les champs, dans les allées. La propriété [de son grand-père] semblait appartenir à des chats, à de majestueuses volailles très paisibles, indifférentes à sa présence et qui n’avaient pas l’air tout à fait vivantes. »⁸⁵¹ Longtemps loin de sa terre natale, il revient pour voir que « les ormes de jadis sont tombés de vieillesse, et les platanes encore vigoureux qui ombrageaient une avenue abrupte sont ébranchés pour faire place à des fils électriques. Les bourgeois ruinés ont quitté la maison et la propriété de leurs pères […] La sous-préfecture est fermée ; les charmants fonctionnaires d’autrefois, les juges lettrés, les avocats galants n’ont plus leurs sièges ici. […] Des femmes enfermées comme des musulmanes et qui ne s’évadent de leurs maisons que bien cachées dans une automobile, vivent inconnues. Elle ne lisent rien, n’aiment rien, même pas les maisons, du moins on le dirait à voir le fouillis des chambres et le jardin sans fleur. »⁸⁵² Pourtant Chardonne essaie de se convaincre qu’il s’est trompé sur le nouveau Barbezieux. Il ne veut revoir que la ville d’autrefois, celle qu’il a connue.

Toutes les autres tristesses mentionnées dans ses souvenirs, Chardonne les a vues chez les autres, les gens qu’il a connus en France et en Suisse : les souvenirs tristes qu’il a de 1900, il les voit dans « les pauvres mères, […], manque d’argent, pauvres autrement, des cœurs tendres, fermés, douloureux. »⁸⁵³ Dans les bourgs, près de Paris, il connaissait beaucoup les souffrances que les voisins éprouvaient : « un vieillard malade à qui la science apporte une rallonge à ses tortures ; une mère qui a perdu son fils et qui n’en guérira jamais ; une veuve, jeune encore mais qui n’est plus séduisante, précipitée dans la misère et la solitude. »⁸⁵⁴ Cependant Chardonne n’en parle pas en détail. « Des années 1905-1910, si pleines pour lui, quelques images demeurent sur un fond noir. »⁸⁵⁵ Il évoque la ruine des gens qu’il a connus,⁸⁵⁶ la misère et la solitude de Marie-Thérèse qui a oublié le bonheur après la mort de son mari qui était sa seule passion.⁸⁵⁷ Il voit dans tous ces événements la cruauté de la vie : « contraste des destinées ; tout est donné à l’un, refusé à l’autre ; malheurs sur les uns, faveurs pour d’autres. »⁸⁵⁸ Cette cruauté, il la voit aggravée dans le malheur vrai et dur qu’il a ressenti en rappelant l’histoire de Régine évoquée dans Demi-Jour. Sur le visage de cette femme toujours habillée de noir, la voix un peu traînante et chantante qui est l’accent du Valais où elle habite, Chardonne observe les signes des chagrins : Régine éprouve une douleur à cause de son grand amour pour sa fille handicapée qui ne guérira jamais :

La vie de Paul Morand occupe une grande place sous la plume "pessimiste" de Jacques Chardonne. Il a parlé de l’idée politique de son ami qui était le motif qui a poussé une petite troupe d’académiciens à s’opposer à l’entrée de Morand à l’Académie Française. Ces opposants prétendaient défendre l’« honneur national. »⁸⁶⁰Mais contre lui ils n’avaient aucune raison fondée. C’était "la haine du bourgeois pour le bourgeois" que Chardonne regrette dans la classe à laquelle il appartient. Il a parlé de la détestation que les bourgeois ont entre eux pour la moindre nuance. « Ce sont les bourgeois qui amorcent les révolutions contre d’autres bourgeois dont ils prennent la place, aux frais du peuple. »⁸⁶¹

Regrettant l’absence de son meilleur ami Paul Morand, qu’il a décrit comme « un bourgeois comblé, célèbre d’emblée, […] un style éclatant, parisien, riche, […] chez qui tout est neuf […] Un œil, intelligence […] Un révolutionnaire de la prose […] Un homme qui a de la tenue, qui n’a mis dans ses livres que du talent »,⁸⁶² qualités qui lui vaudront la jalousie et la haine des autres, Chardonne cite dans Demi-Jour un paragraphe dans lequel cet écrivain parle de la solitude :

Mais pourquoi Chardonne cite-t-il Morand ? Est-ce vraiment pour montrer son admiration pour le style de son ami ou pour exprimer son propre sentiment de solitude ? Chardonne a cru un moment que le plus bel âge de l’homme, c’est quatre-vingts ans. Mais arrivé à cet âge, il découvre que ce n’est pas vrai. « La vieillesse c’est la solitude. Cela suppose, écrit-il, que tout le monde meurt autour de vous. »⁸⁶⁴ Pourquoi Chardonne, qui a été un homme comblé toute sa vie, est-il seul dans la vieillesse ? Durant ses dernières années, notre écrivain est devenu complètement sourd. « Sourd, écrit-il, on est retranché du cosmos. On est strictement seul. […] c’est enterré vif, une souffrance physique de tout l’être. »⁸⁶⁵ « Un homme sourd est implacable, dit-il. C’est terrible pour lui. »⁸⁶⁶ Entre sa femme et lui, il existe un silence charitable : « Je n’entends rien et cela l’épuise de se faire entendre, écrit-il. Parler suppose un autre à qui l’on parle. Cet autre a une grande importance. Si vous ne l’entendez pas, il n’a plus d’existence. Vous parlez à un mur. Le mur de votre tombeau. On parle pour être deux ; pas pour soi-même. »⁸⁶⁷ Cette surdité est une grande affliction pour lui. Chardonne a l’ouïe fine, d’une sorte assez particulière, « j’écoutais, déclare-t-il, en parlant, ce que les gens disent sans le savoir. […] c’est par l’oreille que je communiquais secrètement avec les autres. […] J’étais un homme de société ; les autres me sont indispensables ; ce sont eux qui m’ont tout donné »⁸⁶⁸ Mais devenu sourd, notre écrivain est de plus en plus dans la solitude, un cas pour lequel il n’est pas armé : « Je suis très morose. Tout m’ennuie, écrit-il à Jacques Brenner. Les vieux sont gâteux, je ne peux pas les supporter.⁸⁶⁹ « La lecture me fatigue vite, le plus souvent m’ennuie. Je ne fais pas de patiences. Aucun jeu. Pas de manie » ⁸⁷⁰. Plus tard, il ajoute : « il se trouve aussi que je suis coupé du monde extérieur ; c’est très grave pour l’écrivain ; il n’a vécu que du monde extérieur. Tout ce que j’ai écrit m’a été donné par l’extérieur. »⁸⁷¹ La solitude et la vieillesse l’attristent sans aucun doute. Dans une lettre à Madame Guitard-Auviste, Chardonne déclare qu’il craint une longue vieillesse encore, sans travail, sans activité. « Tant que j’ai un manuscrit sur la table, écrit-il, j’ai une compagnie. »⁸⁷² Et dans une autre à Jean Rostand, il écrit : « vous ne connaîtrez comme moi la tristesse de vieillir. »⁸⁷³ Pourtant notre écrivain n’est pas un homme pessimiste. « La vie est pleine de charmantes minutes, écrit-il, […] mais à mon âge, elles se font rares ; on a le cœur serré. C’est la vieillesse : le cœur serré ».⁸⁷⁴ « Sa maladie et sa fatigue, écrit un ami, ne l’ont pas amené à un repliement sur soi et au fameux "égoïsme sacré des vieillards". Pas du tout. »⁸⁷⁵ C'est ainsi que, des instants de bonheur ont suffi à rendre Chardonne heureux pour toute la vie: ceux qu'il a passés dans son jardin, ou ceux qu'ils vivaient avec ses amis. Mais ce qui peut faire le malheur des autres est demeuré relativement faible et éphémère chez cet écrivain du bonheur.