Im Jahr 1981 erwarb die Stadt Ingolstadt die Sammlung von Eugen Gomringer. Gomringer gilt als »Vater der Konkreten Poesie«, der über viele Jahrzehnte mit den wichtigsten Konkreten Künstlern freundschaftlich verbunden war. Der Ingolstädter Siebdrucker Herbert Geier vermittelte bei diesem Ankauf maßgeblich, da auch er für viele der bekannten Künstler arbeitete.
Ausgehend von diesem Kernbestand vergrößerte sich die Sammlung stetig. Der erste Museumsdirektor Peter Volkwein konnte wichtige Schenkungen und Ankäufe tätigen und dadurch der Sammlung über die Jahre hinweg wachsende Bedeutung geben. Sein Nachfolger Dr. Tobias Hoffmann erweiterte schließlich den Bestand um Design.
Von Anfang an waren Dauerleihgaben ein wichtiger Bestandteil. Seit einigen Jahren besteht beispielsweise eine enge Zusammenarbeit mit dem Münchner Sammlerehepaar Maximilian und Agathe Weishaupt, die auch gezielt für das zukünftige Museum Werke ankaufen. Eine große Sammlungspräsentation fand im Sommer 2015 im Museum für Konkrete Kunst statt.
In den letzten Jahren öffnete sich das Haus verstärkt für junge KünstlerInnen und beschränkte sich nicht länger auf die Gattungen Malerei und Plastik. Neue Medien, wie Film und Video, gehören mittlerweile ebenso zur Sammlung wie Installationen. Die Ausstellung »Einfach dreifach: Reto Boller, Martin Pfeifle und Eran Schaerf« (Herbst 2013) zeigte exemplarisch, wie die »Idee Konkret« in der zeitgenössischen Kunst ihre Fortsetzung findet. In regelmäßigen Abständen werden junge KünstlerInnen eingeladen, sich mit der Sammlung und der Kunstrichtung Konkrete Kunst auseinanderzusetzen (z.B. Stephanie Senge, Lars Breuer, Christoph Niemann).