On connaît peu de choses sur l’organisation communautaire des esclaves de l’Hermitage. Toutefois, des traits singuliers se détachent des caractéristiques généralement observées ailleurs : les mariages entre esclaves ne sont pas fondés sur le modèle occupationnel (un ouvrier agricole épouse une ouvrière agricole) ; la répartition spatiale des habitations serviles ne suit pas le schéma habituel des grandes plantations (cabanes alignées de part et d’autre d’une “rue”).
La communauté servile a souvent été décrite comme hiérarchisée, avec en haut de l’échelle, les domestiques, ensuite les esclaves spécialisés (forgerons, charpentiers, surveillants) et en bas de l’échelle, les ouvriers agricoles. À l’Hermitage, les mariages entre membres des différents groupes montrent un type de structure sociale beaucoup plus souple et solidaire (Thomas, 1995 : 156). Toutefois, Thomas note une continuité dans le type d’activité destinée aux enfants qui héritent généralement de la situation de l’un des parents. Bien entendu, cette orientation dépendait en outre des besoins de la plantation et de la courbe démographique selon les époques. Un homme vieillissant ayant été ouvrier agricole pouvait très bien devenir domestique lorsqu’il ne pouvait plus faire de travaux pénibles. De même, les jeunes garçons pouvaient travailler à la maison avant d’être envoyés aux champs en fin d’adolescence (Thomas, 1995 : 166 ; Kolchin, 1993 : 110). Jackson invite lui-même à subvertir les rôles dans une lettre à Junior de 1835 : ‘“[The overseer] must meet with no hindrance, but in case of need every aid from the house servants that can be given”’ (Bassett, V : 343). Une répartition des tâches aussi fluide ne pouvait qu’induire une égalité des conditions entre les esclaves.
Thomas (1995 : 160-61) fait remarquer que les couples et les familles (hommes, femmes, enfants) vivaient ensemble à l’Hermitage. Or, l’hétérogénéité des catégories dans le mariage bousculait la répartition spatiale des esclaves par type d’activités. S’il est probable que les domestiques vivaient près de la maison des maîtres, la répartition des autres catégories professionnelles ne semble pas avoir été soumise à une stricte ségrégation, mais suivait plutôt les associations affectives et maritales.
En outre, les quelque vingt unités d’habitation 590 de l’Hermitage étaient réparties en deux groupes au moins sur la propriété, un indice qui suggère une plus grande autonomie des esclaves par rapport au maître et à la structure du quartier des esclaves, plus aisément contrôlable 591. En général, la concentration pouvait atteindre une douzaine de personnes par unité, dans un espace de quelque 10 à 12 mètres carrés, suivant les familles (Blassingame, 1979 : 254-55). À l’Hermitage, des regroupements familiaux évoqués plus haut, on doit déduire que les familles nombreuses ne bénéficiaient pas de quartiers plus grands, ainsi que le montrent les fouilles (McKee, 1995 : 39).
“In Jackson’s time each slave family at the Hermitage occupied a single 400-square-foot room with a wooden floor, an attic loft, one door and one window” (McKee, 1995 : 39). McKee précise que si les cabanes étaient généralement construites en brique ou en planche, on trouve jusque dans les années 1820 des sortes de huttes pour les esclaves. Les Jackson eux-mêmes vécurent dans une cabane en rondins jusqu’à cette période.
Thomas (1995 : 170) et McKee (1995 : 38) insistent sur le fait que les cabanes étaient construites selon un ordre décidé par l’autorité et non par les esclaves. Sept des cabanes étaient construites aux abords de la maison et huit d’entre elles à l’orée des champs, indiquant une ségrégation de l’habitat suivant le type d’activité. Toutefois, les individus n’étaient pas tous soumis à cette ségrégation, comme il a été dit plus haut.