Die Geschichte der Kunsthalle ist untrennbar mit dem Kunstverein verbunden, der sich am 10. Januar 1912 als Verein der Kunstfreunde Wilhelmshaven-Rüstringen auf Anregung des Chefs der Marinestation der Nordsee, Admiral Friedrich Graf von Baudissin, und des Wilhelmshavener Oberbürgermeisters Emil Bartelt gründete, nachdem 300 Wilhelmshavener Bürger einen Aufruf zur Gründung einer Kunsthalle unterzeichnet hatten. Ziel war es, die neu aufblühende Stadt »etwas schmackhafter zu gestalten, als es von der Natur geschehen ist«, wie von Baudissin betonte. Ein großes Vorbild war die Marinestadt Kiel mit der Sammlung ihres 1843 gegründeten Schleswig-Holsteinischen Kunstvereins und ihrer 1909 erbauten Kunsthalle.

Die Gründung der Kunsthalle war eine Gemeinschaftsanstrengung: Mit Unterstützung Kaiser Wilhelms II. konnte von Baudissin den Kaiser-Friedrich-Denkmal-Verein überzeugen, seine für ein Denkmal Friedrichs III. (der 1888 vor seinem Tod nur 99 Tage lang Deutscher Kaiser war) gesammelten Gelder (18.844 Reichsmark) für den Bau der Kunsthalle zur Verfügung zu stellen. Die Marine trat einen Teil ihres »Offiziersspielplatzes«, eines Tennisplatzes an der Gökerstraße, nur wenige hundert Meter vom heutigen Kunsthallengebäude entfernt, ab. Kaiser Wilhelm II. versprach Leihgaben aus anderen Museen des Reiches und unterstützte den Bau mit 12.648,20 Mark aus einem ihm persönlich unterstellten Förderfonds. So wurde die Kaiser-Friedrich-Kunsthalle am 23. Februar 1913 nach einjähriger Bauzeit eingeweiht. Die bis 1937 von Wilhelmshaven unabhängige Stadt Rüstringen begann 1914 ebenfalls mit dem Aufbau einer eigenen Kunstsammlung, darunter wichtige Werke wie der 1904 von Lovis Corinth gemalte »Blinde Prophet«, das heute wertvollste Gemälde der rund 2.000 Gemälde umfassenden Städtischen Sammlung. Schon 1933 wurde der Verein der Kunstfreunde durch den regimetreuen Oberbürgermeister Rüstringens Gustav Nutzhorn auf NS-Kurs gebracht.

Im 2. Weltkrieg wurde die Kunsthalle zerstört; vom historischen Bau sind nur zwei Portalkugeln erhalten, die heute den Eingangsbereich der neuen Kunsthalle zieren. 1945 gründete sich der Verein der Kunstfreunde für Wilhelmshaven neu und fand in einer Wehrmachtsbaracke einen Übergangsort, an dem ab Pfingsten 1946 wieder Ausstellungen stattfanden.
1964 beschloss die Wilhelmshavener Stadtverwaltung, eine neue Kunsthalle zu errichten, und so wurde ein beschränkter Ideenwettbewerb mit fünf Teilnehmern ausgelobt, mit dem Hinweis, dass die in Hameln von Dieter Oesterlen 1957 errichtete Kunsthalle Vorbild für den neuen Bau sein könnte. Nach einem uneindeutigen Wettbewerbsergebnis wurden Hans Günter Harms und Frank Sommerfeld, zwei junge Wilhelmshavener Architekten, mit einem Gemeinschaftsentwurf beauftragt, der am 3. März 1968 eingeweiht wurde.

In der Tradition der Bauhaus-Moderne entstand ein von Klinker und Beton geprägter Bau mit scharfen Profilen, flachen Dächern und ineinanderfließenden Räumen auf drei Ebenen. Das 18 Meter lange, scharfkonturierte, die Fassade dominierende Relief schuf der Künstler und damalige Kunsthallenleiter Siegfried Pagel. Im Inneren bewirken gläserne Brüstungen, eine Reduktion der verwendeten Materialien (weiße Wände, grauer Sichtbeton) und Formen eine hohe Konzentration auf den Raum und die hier präsentierte Kunst. Vier Treppen verbinden Souterrain, Parterre und Empore und machen unterschiedliche Rundgänge mit immer wieder neuen Perspektiven möglich. Die offene Architektur ist für Malerei ebenso ideal wie für raumgreifende Installationen, Performance, Konzert, Tanz, Literatur und Konferenz. Seit 2008 steht der Bau unter Denkmalschutz.

Künstler:innen, die hier ausstellten: Alvar Aalto, Anatol, Cees Andriessen, Horst Antes, Karel Appel, Elvira Bach, Paul Baum, Max Beckmann, Lise Blomberg, David Borgmann, Bazon Brock, Wilhelm Busch, Marc Chagall, Jean Cocteau, Lovis Corinth, Liza Dieckwisch, Blaise Drummond, Albrecht Dürer, Anke Erlenhoff, Rainer Fetting, Lothar Götz, Moritz Götze, Francisco de Goya, George Grosz, Eva-Maria Grüneberg, Johannes Grützke, Wenzel Hablik, Geoffrey Hendricks, Fritz Höger, Karl Hofer, Cécile Hummel, Jacqueline Humphries, Friedensreich Hundertwasser, Christian Jankowski, Diedrich Janßen-Jennelt, Rolf Julius, Margaret Kelley, Ida Kerkovius, Oskar Kokoschka, Käthe Kollwitz, Svetlana Kopystiansky, Gereon Krebber, Alfred Kubin, Marie Jo Lafontaine, Walter Leistikow, Max Liebermann, Olaf Marxfeld, Adolph von Menzel, Rune Mields, Christiane Möbus, Otto Modersohn, Mariella Mosler, Mülheimer Freiheit, Franziska Nast, Meret Oppenheim, Waldemar Otto, Tony Oursler, Nico Pachali, Siegfried Pagel, Otto Pankok, Max Pechstein, Ralf Peters, Pablo Picasso, Léopold Rabus, Franz Radziwill, Pipilotti Rist, Christian Rohlfs, Peter Paul Rubens, Leonhard Sandrock, Yehudit Sasportas, Christian Schad, Norbert Schwontkowski, Johann Georg Siehl-Freystett, Willi Sitte, Max Slevogt, Karl Sommerfeld, Erika Stürmer-Alex, Tamás Szentjóby, Hans Thoma, Heinrich Vogeler, Chen Yun Wang, Zbigniew Warpechowski, Peter Weibel, Hartmut Wiesner, Wilhelm II., Wols, Leonard Wübbena, Leon Wyczółkowski, Bernd Zimmer und viele andere.