Am 5. Fe­bruar 1976 un­terzeich­neten das Ehe­p­aar Lud­wig und die Stadt Köln ei­nen Schenkungsver­trag: das Mu­se­um Lud­wig war ge­grün­det. Der Ver­trag bein­hal­tete, dass Peter und Irene Lud­wig 350 Werke mod­ern­er Kunst stiften und die Stadt Köln im Ge­gen­zug ein ei­genes »Mu­se­um Lud­wig« für die nach 1900 ent­s­tan­de­nen Ex­po­nate schaf­fen sollte. Konzipiert von den Köl­n­er Ar­chitek­ten Peter Bus­mann und God­frid Haber­er, eröffnete 1986 das ›Dop­pel­mu­se­um‹, das so­wohl das Wall­raf-Richartz-Mu­se­um als auch das Mu­se­um Lud­wig auf­nahm. 1994 entschied man sich für eine Tren­nung der bei­den In­sti­tute. Nun sollte das Ge­bäude an der Bis­chofs­garten­s­traße aussch­ließlich das Mu­se­um Lud­wig be­her­ber­gen.

Heute um­fasst die Samm­lung des Mu­se­um Lud­wig die wichtig­sten Po­si­tio­nen der Kunst des 20. Jahrhun­derts und der Ge­gen­wart­skunst. Den Grund­s­tock der Samm­lung legte der Köl­n­er Ju­rist Dr. Josef Haubrich (1889–1961). Di­rekt nach dem Zweit­en Weltkrieg, im Mai 1946, schenkte er der Stadt Köln seine Kollek­tion von Werken des Ex­pres­sion­is­mus (Erich Heck­el, Karl Sch­midt-Rottluff, Ernst Lud­wig Kirch­n­er, Au­gust Macke, Ot­to Mueller) und an­der­er Vertreter der Klas­sischen Mod­erne (Marc Cha­gall, Ot­to Dix). Im Ok­to­ber 1946 wurde in der al­ten Köl­n­er Uni­ver­sität er­st­mals eine Auswahl von 100 Bildern präsen­tiert.

Diese Ausstel­lung sah auch Peter Lud­wig als junger Stu­dent. Samm­lung und Stifter beein­druck­ten ihn tief und gaben auch den An­s­toß für seine ei­gene Kun­st­samm­lung.
Durch Lud­wigs Schenkung ge­langten 1976 zahl­reiche aus­ge­sprochen qual­itätvolle Ar­beit­en der Rus­sischen Avant­garde aus der Zeit zwischen 1905 und 1935 (Gontscharowa, Lari­onow, Ex­ter, Popowa, Male­witsch, Rodtschenko) ins frisch ge­grün­dete Mu­se­um. Hinzu kam die außer­halb der USA um­fassend­ste Samm­lung amerikanisch­er Pop Art (Gemälde, Ob­jekte, En­vi­ron­ments von Licht­en­stein, Rosen­quist, Warhol und Wes­sel­mann).

1957 bereicherte eine wichtige Gruppe von Werken Max Beck­manns als »Le­gat Ge­org und Lil­ly von Sch­nit­zler« die Bestände. 1958 kon­nte die Wil­ly-Streck­er-Samm­lung mit be­deu­ten­den Werken u. a. von Pab­lo Pi­cas­so, Hen­ri Ma­tisse, Os­kar Kokosch­ka und Paul Klee angekauft wer­den. Zwischen den Jahren 1976 und 1988 stifteten die Eheleute Gün­ther und Car­o­la Peill wichtige Teile ihr­er Samm­lung (Gemälde und gra­fische Ar­beit­en von Max Ernst, Alex­ej von Jawlen­sky, Wil­li Baumeis­ter, Ernst Wil­helm Nay).

1994 stifteten Peter und Irene Lud­wig der Stadt Köln 90 Werke aus ihrem Pi­cas­so-Be­sitz und be­d­ingten damit den Auszug des Wall­raf-Richartz-Mu­se­ums in ein ei­genes Ge­bäude. Die Wied­er­eröff­nung des Mu­se­um Lud­wig am 1. Novem­ber 2001 kon­nte der Na­mens­ge­ber nicht mehr er­leben, doch Irene Lud­wig nahm sie zum An­lass, 774 weitere Ar­beit­en Pi­cas­sos zu schenken. Damit ver­fügt das Mu­se­um Lud­wig nach Barcelo­na und Paris über die dritt­größte Pi­cas­so-Samm­lung weltweit. Sie bi­etet ei­nen repräsen­ta­tiv­en Quer­sch­nitt durch alle Gat­tun­gen, Ma­te­rialien und Tech­niken. Seit 2000 en­gagiert sich das Mu­se­um Lud­wig in be­son­der­er Weise für die Samm­lung und Präsen­ta­tion tech­nisch­er Me­di­en im Kon­text zeit­genös­sisch­er Kunst. Wesentliche Ar­beit­en von Aer­nout Mik, Dia­na Thater und Mike Kel­ley sind so durch Ankäufe hinzugekom­men.

Am 1. Novem­ber 2001 wurde das Mu­se­um als Mu­se­um unser­er Wün­sche von Kasper König wied­er­eröffnet. Un­ter sein­er Di­rek­tion (2000–2012) wurde die Samm­lung be­son­ders im Bereich der zeit­genös­sischen Kunst um wesentliche Werke und ganze Werk­grup­pen ergänzt und zählt heute zu den be­deu­tend­sten Museen für mod­erne und zeit­genös­sische Kunst in Eu­ro­pa.

Die Samm­lung wird seit­dem konse­quent um sub­s­tanzielle Po­si­tio­nen zeit­genös­sisch­er Kunst er­weit­ert.