Das Museum Berggruen ergänzt auf das Sinnfälligste die Sammlungen Klassischer Moderne der Neuen Nationalgalerie, vor allem mit seinen einzigartigen Werken von Pablo Picasso, Paul Klee, Henri Matisse und Alberto Giacometti. Es ist ebenso wie die gegenüberliegende Sammlung Scharf-Gerstenberg privater Sammelleidenschaft zu verdanken.
Die Gebäude des Museum Berggruen und der Sammlung Scharf-Gerstenberg entstanden 1851 bis 1859 im Auftrag Friedrich Wilhelms IV. Ihr Architekt Friedrich August Stüler entwarf später auch die Alte Nationalgalerie. Städtebaulich nehmen die klassizistischen Zwillingsbauten mit ihren Kuppeln Bezug auf das gegenüberliegende Schloss Charlottenburg und bilden den Auftakt zur Schloßstraße.
Die Funktion beider Häuser war gleichermaßen praktisch wie ästhetisch: Sie nahmen die Offizierkasernen der Gardes du Corps auf und lenkten gleichzeitig den Blick von den nahen Stallgebäuden ab. 1929 zog die »Polizeischule Charlottenburg« in den westlichen Stülerbau, in das benachbarte Kommandantenhaus am Spandauer Damm 17 und in das Mannschaftsgebäude an der Schloßstraße 1a (dem heutigen Bröhan-Museum). 1937 wurde die Polizeischule zur »Führerschule der Sicherheitspolizei«. Im Zweiten Weltkrieg stark beschädigt, wurden beide Stülerbauten bis 1958 wiederhergestellt. Zwei Jahre später zog die Antikensammlung in das westliche der Häuser ein.
Als nach dem Mauerfall die Antikensammlung auf die Museumsinsel Berlin zurückkehren sollte, bot der damalige Generaldirektor der Staatlichen Museen zu Berlin, Wolf-Dieter Dube, dem Galeristen und Privatsammler Heinz Berggruen das Gebäude als Ausstellungsort für seine Kollektion an, die dieser den Staatlichen Museen zu Berlin 1995 als Leihgabe für zehn Jahre überließ. Die hierfür notwendigen Umbauten führte das Architekturbüro Hilmer & Sattler und Albrecht aus. Die Sammlung Berggruen, seit 2004 Museum Berggruen, entwickelte sich nach ihrer Eröffnung im September 1996 rasch zum Publikumsmagneten. 2000 konnte die Stiftung Preußischer Kulturbesitz mit Mitteln des Bundes und des Landes Berlin die Sammlung für die Nationalgalerie erwerben.
Nach dem Tod Heinz Berggruens 2007 erklärte sich seine Familie bereit, weitere Werke als Leihgabe zur Verfügung zu stellen und das Museum künftig durch eigene Erwerbungen zu ergänzen. Daraufhin erweiterte das Architekturbüro Kuehn Malvezzi bis 2013 das Museum um das benachbarte Kommandantenhaus am Spandauer Damm und um einen hofseitig neu angelegten Skulpturengarten. Ein gläserner Gang verbindet nun die beiden historischen Gebäude miteinander.