Fu costruito per il cardinale Alessandro Farnese che divenne poi papa col nome di Paolo III.
E' soprannominato il Dado per la compattezza della sua architettura ed è una delle "Quattro meraviglie" di Roma insieme al Cembalo Borghese, alla Scala di Palazzo Ruspoli e il Portone di Palazzo Sciarra Colonna.
Il palazzo fu riprogettato da Antonio da Sangallo il Giovane con l'aiuto di Michelangelo al quale si deve il grande cornicione, la finestra centrale della facciata e il terzo piano verso il cortile.

     Michelangelo voleva anche collegare con un ponte i giardini del palazzo alla Farnesina, residenza dei Farnese a Trastevere. Di questo ponte resta l'elegante arco a Via Giulia perché il progetto non venne mai realizzato.