Il y eut quatre Hermitage au moins. Le “premier Hermitage” était une cabane en rondins à un étage, que les Jackson occupèrent de 1804 475 à 1820-21 environ, date à laquelle une maison en brique, de style “fédéral”, fut construite. Cette demeure, élégante et confortable, mais austère et légèrement démodée pour l'époque, subit quelques transformations de type néo-classique en 1831, alors que Jackson occupait la Maison-Blanche et que son fils commençait à prendre en mains les affaires de la plantation. Le feu détruisit partiellement cet édifice en 1834, entraînant la réfection de l'ensemble selon les canons sociaux et esthétiques en vigueur à l'époque.
Il est difficile d'établir avec précision la date à laquelle les Jackson ont emménagé à l'Hermitage. Les biographes ne s'accordent pas et les historiens regrettent de ne pas avoir un document qui atteste précisément du déménagement des maîtres.