La "Stazione storica prussiana" fu fondata nel 1888 con lo scopo di indagare soprattutto la storia tedesca della Riforma e della confessionalizzazione alla luce dei documenti conservati negli archivi vaticani appena aperti al pubblico. In considerazione dei ristretti orari di apertura dell'archivio e di altre biblioteche, nonché per l'esigenza di consultare delle opere storiografiche tedesche, ebbe inizio un lento processo di costituzione di una biblioteca d'istituto (circa 4000 volumi fino al 1901).

Il passo verso una biblioteca specialistica fece Paul Fridolin Kehr, direttore dell'Istituto a partire dal 1903. Il consistente sviluppo del patrimonio librario fu accompagnato da un'estensione temporale e geografica della ricerca al medioevo e all'intera penisola. Inoltre la biblioteca fu aperta a ricercatrici e ricercatori stranieri, mentre la sua organizzazione e amministrazione fu assunta per la prima volta da bibliotecari scientifici.

Durante la Prima guerra mondiale i libri vennero messi in un deposito. Successivamente parti consistenti del patrimonio librario furono trasportati in Germania. I 22000 titoli rimasti poterono essere consultati di nuovo a partire del 1923, ma la crisi economica mondiale fermò l'ulteriore sviluppo della biblioteca.

Durante il regime nazionalsocialista l'Istituto fu aggregato al "Reichsinstitut für ältere deutsche Geschichtskunde", e dopo l'"Anschluss" incorporò i circa 1500–2000 libri posseduti dall'Istituto storico austriaco. Dopo l'armistizio italiano dell'8 settembre 1943 l'Istituto fu chiuso. Su ordine di Hitler, tutto il patrimonio librario degli istituti di cultura tedeschi a Roma venne portato via, anche se secondo le disposizioni di un accordo, stipulato dopo la Prima guerra mondiale, sarebbe dovuto rimanere in Italia. Dopo diverse tappe, i libri vennero depositati in diversi luoghi in Austria e Germania e sarebbero tornati a Roma solo nel 1946 dove furono presi in custodia dalla Biblioteca vaticana.

Il patrimonio librario, ridottosi dopo la Prima guerra mondiale a meno di 30.000 unità, fu restituito in seguito a trattative diplomatiche e poté pertanto essere ricollocato negli spazi dell'Istituto, riaperto nel 1953. Accanto al parziale ritorno di fondi, trasferiti in Germania negli anni Venti e Trenta, la biblioteca beneficiò di una fase di forte crescita a partire dagli anni Sessanta. L'acquisizione di alcune collezioni speciali favorì tra l'altro l'espansione temporale della ricerca storica al XX secolo.