Mit dem Anschluss des Saarlandes an die Bundesrepublik Deutschland im Jahr 1957 und dem Wechsel der Zuständigkeit in bundesdeutsche, sprich städtische Obhut, spielte die Gedenkstätte in der öffentlichen Wahrnehmung eine zunehmend marginaler werdende Rolle. Auch in den saarländischen Medien herrschte bezüglich der Neuen Bremm von den 1950er bis zum Ende der 1970er Jahre ein nur selten durchbrochenes Schweigen. Andere Themen –  wie Reintegration in die Bundesrepublik, Wiederaufbau, Autonomiefrage – dominierten die Schlagzeilen. Mit der Erschließung der Saarbrücker Peripherie als Bauland wurde die Fläche des Gedenkstättenareals schließlich erheblich verkleinert. Das ehemalige Männerlager beschnitt man zugunsten einer Straßenverbreiterung sowie der Erschließung von Firmengelände und Autostellplätzen. Mit Busch- und Baumpflanzungen wurde zudem von mehreren Seiten ein Sichtschutz gegen das ursprüngliche Lagerareal errichtet. Makabrer Höhepunkt dieser Politik des Verdrängens und Vergessens war 1975 die Baugenehmigung für die französische Hotelkette »Novotel« auf dem Gelände des Frauenlagers und die Einrichtung des hoteleigenen Swimmingpools in Nähe des ehemaligen Löschteiches. Mit der Überbauung durch das Hotel wurde erinnerungspolitisch alles aus dem kollektiven Gedächtnis wie der visuellen Wahrnehmbarkeit getilgt, was an das Leid der Frauen auf dem Lagerareal erinnerte.

Auf dem Rest des ehemaligen Männer-Lagergeländes wechselten dann bis in die 1980er Jahre längere Perioden des Verfalls und der Vernachlässigung mit kurzen Aktionen zur Erhaltung des Erinnerns. 1978 veranstaltete die »Vereinigung der Verfolgten des Naziregimes – Bund der Antifaschisten« zusammen mit dem Landesjugendring Saar eine Aktionswoche auf dem Gelände des ehemaligen Männerlagers für eine würdige Gestaltung der Gedenkstätte. Und nach öffentlichen Protesten gegen den erbärmlichen Zustand des Geländes wurde immerhin der verwitterte Löschteich des Männerlagers, die damals einzig noch verbliebene authentische Spur, mit einer neuen Betonschicht überzogen.

1984 erschien mit dem Band »Neue Bremm. Ein KZ in Saarbrücken« von Raja Bernard und Dietmar Renger die erste Dokumentation über das Lager. Sowohl die Saarbrücker Zeitung als auch der Saarländische Rundfunk berichteten ausführlich über das Erscheinen des Buches, das mit bewegenden Lebenszeugnissen und Gesprächen mit ehemaligen Lagergefangenen die Geschichte der Neuen Bremm rekonstruierte. Am 8. Mai 1985 wurde eine deutschsprachige Erinnerungstafel auf der Gedenkstätte aufgestellt – bis dahin fanden sich allein französischsprachige Informationen vor Ort. Zudem wurde eine Stele mit den Erinnerungen eines ehemaligen Häftlings auf dem Lagergelände aufgestellt. Im Jahr 1991 führte die Aufstellung von drei doppelseitig beschrifteten Tafeln mit Informationen über die Entstehung des Lagers und das Schicksal seiner Opfer erstmals zu Ansätzen einer wissenschaftlichen Dokumentation des Geschehenen. Eine Liste der Mordopfer auf dem Lagergelände wurde dokumentiert.

1998 gründete sich die »Initiative Neue Bremm« als Zusammenschluss von BürgerInnen, die als Historiker, Kulturwissenschaftlerinnen, Architekten, Künstlerinnen und Museumsleuten sich der Gedenk- und Erinnerungsarbeit verpflichtet fühlten. Mit Tagungen, Vorträgen von Zeitzeugen und nicht zuletzt durch die Forschungsarbeiten von Prof. Dr. Rainer Hudemann und Elisabeth Thalhofer gelang eine spürbare Verbreiterung und Vertiefung des Wissens über die »Neue Bremm«. Große Zeitzeugen-Serien in der »Saarbrücker Zeitung« oder Reportagen im Saarländischen Rundfunk ebneten dem Thema den Weg in die Öffentlichkeit. Kunstprojekte der Hochschule für Bildende Künste Saar – wie die »Telematische Skulptur/Wetterfernsehen« von Sandra Anstätt und Rolf Giegold mit einer Live-Übertragung eines Standbildes der Gedenkstätte an acht Standorten in Saarbrücken oder die Performance von Gertrud Riethmüller zur Installation der Stahlplatte »will nicht narben« – sorgten für innovative Zugänge zum Thema. Hunderte von Jugendlichen sorgten auf Initiative des Landesjugendrings 1999 für die Freilegung der Fundamente einer Baracke.

Bis zur Eröffnung einer Gedenkstätte sollte es allerdings noch bis zum Jahr 2004 dauern.