L’ensemble de cabanes en rondins constitua la maison des maîtres jusqu’en 1820 environ. Les lieux d’habitation des esclaves durant cette période, eux, sont encore plus difficiles à placer sur le plan de l'Hermitage. Larry McKee (1991 : 3) donne un aperçu de la disposition des cabanes d'esclaves, aux différents points de la plantation, d'après leurs fonctions dans l'économie de celle-ci. Toutefois, il est difficile de dater les constructions. Les cabanes d'esclaves que nous connaissons le mieux sont directement liées à la demeure originelle des Jackson.
Nous l’avons mentionné plus haut, il subsiste du premier Hermitage l'édifice aujourd'hui appelé la “cabane de l'ouest” (24 X 26 pieds/7,31m X 7,92m), partie supérieure de la maison fortifiée du premier Hermitage. Elle fut transformée après 1821 pour en faire un logement à deux familles d'esclaves, chacune occupant une pièce d'environ dix mètres carrés chacune. La nouvelle demeure fut construite en enlevant les rondins formant le rez-de-chaussée pour ne garder que l'étage, en faisant une maison de plain-pied 497. Trois pièces y furent aménagées ainsi que deux mezzanines. Un autre indice qui tendrait à prouver que la “cabane de l'ouest” est bien le premier Hermitage est la présence de fondations indiquant l'existence d'un autre bâtiment qui aurait servi de cuisine détachée, reliée à la maison par un passage couvert, comme le mentionne Sarah Polk dans son entretien avec Buell en 1870 (Brigance, 1976 : 116-18).
La “cabane de l'est” est censée avoir été une cuisine ou un logement pour les invités, qu'ils soient membres de la famille, amis ou simples visiteurs (Smith, 1976 : 286). On sait que certains demeuraient jusqu'à quelques mois avec les Jackson. L'absence de certitude concernant la fonction exacte de la cabane ne permet pas de rejeter l'une ou l'autre des hypothèses. Il est même probable que les deux fonctions alternèrent suivant les besoins. Toutefois, les recherches archéologiques semblent révéler une activité domestique marquée : ‘“[T]here seems to be some slight indication that the East cabin artifacts are oriented more exclusively toward domestic activities than the other subarea collections”’ (Smith, 1976 : 286).
Les auteurs de l'estimation archéologique du premier Hermitage pensent que la “cabane du sud” (20,5 X 40 pieds/6,24m X 12,18m), est certainement contemporaine de la cabane de l'ouest et devint la “cabane de l'Oncle Alfred” 498 seulement dans les années 1850 : ‘“[It] probably occurred in or around 1856. This was the year Andrew Jackson, Jr., sold the Hermitage to the state of Tennessee, and it may have been desirable to move the cabin to provide a sort of caretaker's residence near the main house”’ (Smith, 1976 : 287). Tous ces réarrangements étaient fréquents et ne laissaient aucun document tangible, sauf si la transformation nécessitait l’intervention d’un artisan extérieur (factures, correspondance). En règle générale, les esclaves faisaient eux-mêmes le travail et l’opération ne bénéficiait d’aucun enregistrement écrit.
La question de savoir si la “cabane du nord” (18 X 20 pieds/5,48m X 6,09m) est contemporaine des autres constructions semble résolue. L'estimation dendrochronologique d'un rondin de la cabane jugé d'origine laisse à penser qu'il aurait été coupé en 1859-60, soit près de quinze ans après la mort de Jackson (Smith, 1976 : 287).
Un épisode montre que les bâtiments étaient construits suivant les besoins et non selon un plan de développement pré-établi. Jackson était allé à Natchez chercher des esclaves qu’il espérait revendre en route, mais comme il l’indiqua à sa femme le 17 décembre 1811, il fut obligé 499 d’en ramener une vingtaine, pour qui il fallait construire une maison : ‘“many of them I Shall be obliged to bring home and as most of that number will be females I leave you to point out to Mr Fields ’ 500 ‘ where to have the house built for them”’ (Moser, II : 273). Signalons en passant l’attention de Jackson à ne pas mêler inconsidérément les femmes aux hommes.
On trouve une autre lettre dans laquelle Jackson propose la construction d'une cabane pour la soeur veuve de Rachel, si les bâtiments existant ne convenaient pas (Moser, III : 114-15). On comprend qu'il soit difficile de tenir le compte des bâtiments qui se construisaient et disparaissaient ensuite quand leur utilité ayant passé, le besoin de bois se faisait sentir ailleurs. À l’instar des acres mouvants de la propriété, ces installations subissaient le ressac incessant des circonstances de la vie.
Mary C. Dorris (1915 : 69) écrit : “[The original blockhouse was converted] by General Jackson himself from the two-story to a one-story house and was used for years as one of the cabins for the habitation of his Negro slaves” (citée in Brigance, 1976 : 114). Brigance abonde dans ce sens, indiquant la présence insolite de solives apparentes au niveau du plancher, alors qu'un tel dépassement est caractéristique des solives de plafonds (Ibid.).
Alfred était un esclave de Jackson qui demeura à l’Hermitage jusqu’à sa mort, dans les années 1900. Il faisait office de guide et racontait aux visiteurs des histoires sur la propriété. Il avait été en 1840 l’un des quatre esclaves accusés de meurtre dont le procès avait coûté 1000 dollars à Jackson. Les esclaves avaient été acquittés (James, 1938 : 892).
Le surplus d’esclaves mentionné plus haut pourrait-il être dû à un concours de circonstances tel qu’une vente ratée qui aurait contraint Jackson à garder plus d’esclaves que sa ferme ne pouvait en contenir ?
Le régisseur.