Si deve a Eleonora di Toledo, moglie di Cosimo I de' Medici (1519-1574), l'acquisto del palazzo dei Pitti nel 1549. Il giardino venne ampliato e trasformato dall'architetto Niccolò di Raffaello de' Pericoli, detto il Tribolo (1500-1558), a cui successero Giorgio Vasari (1511-1574), Bartolomeo Ammannati (1511-1592) e, a partire dal 1569, Bernardo Buontalenti (1536-1608). Statue e "grotte" ornavano il giardino, come documentato dalla lunetta dipinta dal pittore fiammingo Giusto Utens (?-1609) che mostra il progetto originale. Il giardino venne ampliato nel Seicento: tra il 1630 e il 1634 Giulio (1571-1635) e Alfonso Parigi (1606-1656) trasformarono l'anfiteatro di verzura in un'architettura murata, si costruirono i labirinti, le ragnaie e la vasca dell'Isola, mentre nel 1636 fu posta la statua dell'Abbondanza iniziata da Giambologna (1529-1608) e terminata dal Tacca. Il giardino disponeva anche di impianti idraulici e giochi d'acqua particolarmente sofisticati, realizzati da diversi artefici tra la fine del Cinquecento e la prima metà del Seicento. Nel 1677 il granduca Cosimo III de' Medici (1642-1723) fece costruire un serraglio per gli animali più curiosi e rari. Nel Settecento avvennero gli interventi più marcati. Tra questi, nel 1737 venne fondato l'Orto botanico che, successivamente, sarebbe stato annesso al Museo di Fisica e Storia Naturale.