Bei der Abtrennung der Ostdeutschen Provinz 1931 wurde bzgl. der Bestände der neuen Gesellschaft seit 1814 in gleicher Weise verfahren wie 1921: das bis 1931 entstandene Archivgut blieb ungeteilt auch für die ostdeutschen Pertinenzen beim Archiv der Niederdeutschen Provinz, während in Berlin das Archiv der Ostdeutschen Provinz entstand. Bzgl. der Bestände der alten Gesellschaft fand allerdings das Prinzip der Aufteilung nach Pertinenz von 1921 keine Anwendung mehr. Als die Ostdeutsche Provinz 1978 wieder mit der Niederdeutschen zur Norddeutschen Provinz vereinigt wurde, gelangte auch ihr Archiv nach Köln. Hinzu kam 1989 Schriftgut aus der Zeit von Herbst 1943 bis Kriegsende 1945, als der ostdeutsche Provinzial infolge der Kriegseinwirkungen auf Berlin in der sichereren Ordensniederlassung im schlesischen Oppeln wohnte. Diese Akten waren wohl 1945 bei Übernahme der Residenz durch polnische Jesuiten in den Besitz der Krakauer Provinz (Polonia minor) übergegangen. Von Krakau kamen die „Oppeln-Akten“ 1989 in das Archiv der Norddeutschen Provinz nach Köln.
Als Ende der 1990er Jahre eine Vereinigung der beiden deutschen Jesuitenprovinzen immer deutlicher in den Blick trat und das Kölner Provinzialat 1999 innerhalb der Stadt in ein kleineres Haus umzog, welches nach der anvisierten Provinzvereinigung als Niederlassung weitergeführt werden sollte, stellte sich auch die Frage, einen neuen Standort für das Archiv der Norddeutschen Provinz zu finden. Um einen zweimaligen Umzug des gesamten Archivs, das zu diesem Zeitpunkt einen Umfang von etwa 1,8 Regalkilometern hatte, innerhalb weniger Jahre zu vermeiden, entschloss man sich bereits damals, das Archiv an den ins Auge gefassten Sitz des neuen gesamtdeutschen Provinzialats nach München zu verlegen. Der Umzug erfolgte im Herbst 2000.