Mécène et écrivain, il se rend à Rome en 1525 et devient clerc de la chambre apostolique de Clément VII. Il poursuit son mécénat auprès d’artistes florentins comme Sansovino, en collectionnant ses modèles en terre cuite, et se lie d’amitié avec Sebastiano del Piombo, Michelangelo et Benvenuto Cellini.
Neveu de Giovanni de’Gaddi, il s’affirme comme l’un des plus importants collectionneurs florentins de la seconde moitié du XVIe siècle. Proche des Médicis, il obtient le poste d’ambassadeur à la cour de Ferrare en 1569 et accompagne Eléonore de Médicis à Mantoue en 1584. Il partage l’intérêt de Ferdinand I de Médicis pour les « sciences » et les arts et constitue une collection où sont présentées artificialia et naturalia. Ses nombreuses correspondances avec les marchands et artistes lui permettent d’enrichir continuellement sa collection. En 1579, il est nommé lieutenant de l’académie du dessin.