Marchand florentin, mentionné dans les Vies de Giorgio Vasari, il apparaît comme un amateur de peintures et de marbres et commande de nombreux tableaux à Giorgio Vasari.
Écrivain et conseiller artistique, il entre à Florence, au service de Giovanni de Gaddi, en 1525. Il accompagne son protecteur à Rome en 1529, lorsque celui-ci est nommé clerc de la chambre apostolique. En 1543, à la mort de Giovanni de Gaddi, Annibal Caro entre au service de Pier Luigi Farnese, duc de Parme et ce jusqu’à son assassinat en 1547. Il devient alors le secrétaire d’Alessandro Farnese et s’investit pleinement, comme conseiller, dans les commandes artistiques du cardinal: ll soutient de nombreux artistes comme Francesco Salviati, Giorgio Vasari ou Daniele da Volterra.