A nemesi vármegye időszakából ránk maradt iratokat, jegyzőkönyveket hosszú időn keresztül a választott tisztségviselők (alispán, jegyző) őrizték, s vitték magukkal a megye közgyűléseire. Ezeket 1544-ig Balassagyarmaton tartották, majd a török terjeszkedése miatt északabbra fekvő településeken gyűltek össze. A veszély csökkenésével Fülekre, később Losoncra tették át tanácskozásaikat.

A vármegye 17. század előtti, korai iratanyaga kétszer, 1596-ban és 1682-ben is elpusztult hadi események következtében.

Csak 1763-ban épült fel a vármegye első székháza, Szügyben, ahol a fokozatosan gyarapodó iratanyag elhelyezését is biztosítani kívánták. Azonban már 1785-ben férőhelygondok miatt Balassagyarmatra költözött a megye vezetése. Vitte a levéltárat is, melyet 1796-tól választott archivarius kezelt, akit köteleztek a Balassagyarmaton való állandó helyben lakásra. A vármegyeházán az iratok gyarapodásával fokozatosan bővítették az elhelyezésükre szolgáló helyet.

1945 elején a hadikórházi célokra igénybe vett megyeházából gyorsan ki kellett költözni, s az ideiglenes elraktározás során az iratanyag, különösen a polgári kori iratok, súlyosan megcsonkultak. 1951-ben a Levéltárak Országos Központja (LOK) ezért megszüntette a megye levéltárát, az iratanyagot a Pest Megyei Közlevéltár őrizetébe utalta. Itt történt meg az iratok szakszerű feldolgozása, rendezése és jegyzékelése.

Az 1960-as évek elejétől a Pest Megyei Levéltár is állandó férőhelygondokkal küzdött, ezért az akkori vezető javasolta a Nógrád Megyei Levéltár hazaszállítását, ami 1968-ra fejeződött be. A levéltár Salgótarjánban, a volt bányakórházi épületben kapott helyet. 1974-ben pedig a férőhelygondok enyhítésére Balassagyarmaton fióklevéltár nyílt a volt megyeháza épületében.

A raktárak szűkössége annak ellenére visszatérő gond maradt, hogy Salgótarjánban és Balassagyarmaton is történt bővítés az 1990-es évek elején. Salgótarjánban minőségi változás az ezredfordulón történt, amikor az eddigi épülethez kapcsolódó emeletes rész raktárrá alakítása befejeződött. Ezzel kb. 15 évre megoldódott a levéltár férőhelygondja.

Napjainkra letelt az akkor szabott határidő. A jelenlegi bővítéssel a levéltár magáénak tudhatja az egykori bányakórház teljes épületegyüttesét. Ezzel munkatársaink megfelelő körülmények között tudják ellátni hivatalos feladataikat és kiszolgálni a kutatók, érdeklődők igényeit.