A levéltár magvát, terjedelemre és forrásértékre nézve legjelentősebb részét három megyei törvényhatóság: Borsod, Abaúj-Torna és Zemplén megye és egy törvényhatósági jogú város: Miskolc iratanyaga, eredetileg önálló levéltára képezi. Ezek egy intézményi szervezetbe vonása lényegében egybeesik a három megye 1950-ben történt egyesítésével, illetve a területi állami levéltárak szervezetének 1950 évi létrehozásával, amikor az eredetileg önálló négy törvényhatóság levéltára a Borsod-Abaúj-Zemplén Megyei Közlevéltár szervezetében egyesült. 1952 novemberében az intézmény Miskolci Állami Levéltár nevet vette fel és ennek részeként működött a sátoraljaújhelyi levéltár is, majd 1959-ben Kazinczy Ferenc Állami Levéltár néven önálló intézménnyé lett. 1968-tól a területi levéltárak tanácsi fenntartás és felügyelet alá kerültek, a sátoraljaújhelyi levéltár fióklevéltárként ismét az egységes megyei levéltári szervezetbe tagozódott. Az így működő közgyűjtemény neve Borsod-Abaúj-Zemplén Megyei Levéltár lett.

A levéltár illetékessége területi vonatkozásban kiterjedt az összevont Borsod-Abaúj-Zemplén megye közigazgatási határai közötti területre, gyűjtőkörileg pedig, néhány országos jelentőségű gazdasági szerv kivételével, az összes iratképző szervre.

A sátoraljaújhelyi levéltári részleg, 1950-ig Zemplén Vármegye Levéltára, gyűjtőterülete a központi és járási vármegyei szervek irataira nézve a 1919-ig a történeti, 1919-1950 között pedig csonka Zemplén vármegye területe. A községi és városi iratok tekintetében az újhelyi levéltár gyűjtőterülete az 1919 (1945) utáni csonka Zemplén megye területe.

A korábbi megyei levéltárak csak a megyei törvényhatóságok szerveinek és a járási főszolgabírói hivatalok iratanyagát gyűjtötték be és kezelték, az utóbbiakat nem is kellő rendszerességgel. A területi állami levéltárakba begyűjtötték a községi önkormányzati és igazgatási anyagok is, valamint a területi szakigazgatási, jogszolgáltatási iratokat is.

Borsod vármegye nemesi közgyűlése gyűléseit 1579-ig Miskolcon tartotta. A török hódoltság időszakában azonban Szendrőtől Ónodig terjedőleg több helységben, alkalmilag tartották a gyűléseket. 1659-től felváltva Ónodon és Szendrőn, míg 1727-ben felépült Miskolcon a jelenlegi megyeháza udvarán egy földszintes épület, ahol a levéltár is állandó elhelyezést kapott. Később az 1809-1836 között épült, jelenleg is fennálló klasszicista stílusú épületben, melyet 1942-ben tovább bővítettek kapott helyet az intézmény. Az iratanyag a régi épület udvari szárnyának alagsorában, a raktárakban lettek elhelyezve, földszintjén pedig két hivatali helyiséget használhatott a levéltár. A vármegye levéltárát a jegyző kezelte, aki mellé 1717-től írnokot alkalmaztak, ennek feladata volt a levéltár rendben tartása. 1770 körül a levéltárat nagy gonddal rendezték, kezelését a főjegyzőre bízták, aki a kulcsát őrizte. A levéltár személyi ellátottsága 1950-ig lényegében azonos volt, azaz egy főlevéltárnok vagy levéltárnok és egy hivatalsegéd látta el a teendőket. A XIX. században Kún Ábrahám, a XX. században a tudós levéltáros Klein Gáspár végzett önfeláldozó munkát a levéltár rendezésében, jelenlegi rendszerének kialakításában.

1984-ben a levéltár a jelenlegi központi helyéül szolgáló épületbe, Miskolc, Fazekas u. 2. szám alá költözött.

Abaúj-Torna vármegye levéltárából töredékes XIX. századi, valamint az 1919-1938, illetve 1945-1950 közötti időszakból származó iratok, valamint az ezen a területen keletkezett járási és községi közigazgatási iratok kerültek a levéltár kezelésébe. Az 1919 előtti, valamint 1938-1944/1945 közötti feudális és kapitalizmus kori iratanyagokat a Kassai Állami Levéltár őrzi.

Zemplén vármegye levéltárának legrégibb őrzési helye Csicsva vára volt, a nemesi vármegye korábbi időszakából származott iratok azonban a vár 1527 évi leégésekor elpusztultak. A később keletkezett iratok sok hányattatás után az 1768-ra felépült megyeháza udvari szárnyának emeletén nyertek elhelyezést két helyiségben, a kor ízlésének megfelelő barokk szekrényekben, illetve állványokon. A férőhelyet 1844-ben három újabb klasszicista stílusú tárolóeszközökkel berendezett helyiséggel bővítették. A XX. század elejére már ez a férőhely is szűknek bizonyult, földszinti raktárban helyezték el a gyarapodást, majd az 1950 utáni iratgyarapodás külső raktár igénybevételét tette szükségessé. A II. József időszakában keletkezett iratok után 1790-től az összes akta egységes, folyamatos és a jegyzőkönyvekkel párhuzamos sorozatot alkot 1848-ig. A levéltár rendezésén mások mellett olyan neves személyek munkálkodtak, mint Szirmay Antal, vagy Kazinczy Ferenc. Zemplén vármegye levéltára 1786-ig Szirmay Antal által kialakított tárgyi csoportosításban juridica, politica, perceptorialia et commissariatica, és criminalia sorozatokra oszlik. 1790-től ezeket az Acta juridica és Acta politica sorozatokba vonták össze. 1814-1822 között a közigazgatási és törvényszéki aktákat egybe lajstromozták, 1823-tól ismét külön közigazgatási és törvényszéki sorozatba rendezték. Az iratsorozatokban jelentős hiány keletkezett a második világháborús költöztetés során, amikor 1944-ig a főispáni iratok majdnem teljesen, az alispáni iratok részben elpusztultak.

A vármegyei levéltárakban az igazgatási típusú anyagok mellett, s az okleveleken túl gyűjtemények is keletkeztek, mint például a címeres nemeslevelek gyűjteménye, egyházi és állami anyakönyvek gyűjteménye. Miskolcon és Sátoraljaújhelyen egyaránt feltalálhatók kisebb családi levéltári töredékek, melyek részben már 1950 előtt kerültek be a levéltárba, részben 1950 után, iratmentési akciók során hozták be őket. A történeti levéltári testekhez kapcsolódó gyűjteményeken túl 1968 óta különféle újabb típusú levéltári gyűjtemények kialakítása is megindult, így a mikrofilmtár, vagy a helytörténeti aprónyomtatványok gyűjteménye. 1950-től gyűjtötte és gyűjti be a levéltár a szakigazgatási szervek, a testületek, az intézmények, bíróságok, ügyészségek iratait, valamint a különböző szintű tanácsi szervek iratait

Miskolc város legrégibb iratait 1799-ig I-XXX-ig terjedő tárgyi csoportokba rendezték, 1800-tól pedig a tanácsi iratok végeredményben 1908-ig folyamatos sorozatot alkotnak úgy, hogy bizonyos vegyes iratanyagokat 1793-1847 és 1823-1945 között két Miscellanae sorozatba gyűjtöttek. 1909-től a városi levéltári anyag gerincét képező nagy sorozat polgármesteri iratokként jelentkezik, tükrözve a város jogállásának változását, s ilyen címen fut 1949-ig. Emellett különféle szak- és segédhivatali anyagok szerepelnek önálló fondokként. Miskolc város háza a legrégibb időktől a jelenlegi helyén állott, s 1684 évi feljegyzés szerint a tanács a régi, becses iratait az ott elhelyezett vas ládákban őrizte. Az iratanyag az 1700-as évek váltsági irataival együtt rendezve volt, 1714-ben az egész három ládában állott, tárgyak szerinti csomagokban. 1909-től a törvényhatósági jogú városi szervezet kialakításával, a levéltár a szakhivatalok között szerepel, amelyben főlevéltárnokot és írnokot alkalmaztak. A városi levéltár egészen az 1971 évig a városi tanácsi épületben maradt, a közbejött 1950 és 1968 évi szervezeti változásoktól függetlenül.

A levéltári anyag legrégebbi részét a Mohács előtt keletkezett 150 darab oklevél képezi. Ebből 78 darab Borsod vármegye, 40 darab Zemplén vármegye, míg 32 darab Miskolc város levéltárának a része. Az utóbbiak elsősorban a város különböző kiváltságlevelei, míg a megyei levéltárakban becsatolt iratokként vagy családi levéltárak darabjaiként jelentek meg az oklevelek. A gyűjtemény legrégebbi darabjai: Borsod és Zemplén vármegye levéltárába tartozó 1272-es és 1271-es egy-egy eredeti oklevél. A feudális kori dokumentumokkal is rendelkező három törvényhatóság iratanyaga XVI. századi jegyzőkönyvekkel kezdődik, mégpedig Borsod vármegye protocolluma az 1578, Zempléné az 1558, Miskolc mezővárosáé az 1569 évektől. Az iratok (akták) XVIII. század végi és XIX. század eleji rendezése különböző tárgyi csoportokban történt, általában a II. József-féle közigazgatás bevezetéséig, azaz 1785-ig, sőt Zemplén vármegye levéltára a XIX. századra is megtartotta az igazgatási és a törvényszéki iratanyag kettős lajstromozását. Borsod vármegye levéltára 1785-ig bezárólag elkülönül Acta politica, Acta judicialia, s hasonló állagokra, ezen belül az Acta politica sorozat I-XXVII matériára, az Acta Judicialia I-XXV speciesre oszlik.

A levéltár központja 1984-ben költözött jelenlegi helyére, Miskolc, Fazekas u. 2. szám alatti épületbe, ahol az igazgatóság mellett Borsod vármegye, és Miskolc város feudális és polgári kori iratanyagai, a borsodi községek anyaga, valamint a töredékes Abaúji anyag és az 1950 előtti időszakból szakigazgatási szervek iratai találhatók.

Zemplén vármegye anyaga az egykori sátoraljaújhelyi vármegyeháza nyugati szárnyában található, ahol az eredeti környezetben, az országban egyedülálló barokk levéltári berendezés a város jelentős idegenforgalmi látnivalói közé tartozik.

Az intézmény a jelentős iratátvételi hátralékának megszüntetésére 1985-ben nyitotta meg a Mezőcsáti Fióklevéltárat, az egykori járásbíróság épületében. Mezőcsáton az 1950 utáni tanácsrendszer iratanyagát és az anyakönyvi másodpéldányokat (a Sátoraljaújhelyen lévő zempléniek kivételével) őriztük. A Mezőcsáti Fióklevéltár 2011 májusában megszűnt, iratanyaga átkerült intézményünk Alsózsolcai Fióklevéltárába.

Levéltárunk legújabb részlege, az Alsózsolcai Fióklevéltár 2008 novemberében került átadásra, és az eseménnyel összefüggésben megszűnt az 1993 és 2008 között működő miskolci Baross Gábor utcai részleg. Alsózsolcán az MSZMP pártarchívumát, árvaszéki iratokat, államigazgatási szervek, jogszolgáltatási szervek, intézetek, testületek, egyesületek, gazdasági szervek, igazoló és népi ellenőrzési bizottságok, szövetkezetek iratait, valamint a választási iratokat, és a 2011 májusáig a Mezőcsáti Fióklevéltárban kezelt irategyütteseket őrizzük.

Intézményünkben, 2007-ben a tárolt iratanyag mennyisége elérte a 11 ezer ifm terjedelmet. Ezzel az általános levéltárak közül az egyik legnagyobb vidéki gyűjteménynek tekinthető. Kutatóforgalma évente mintegy 1000-1500 kutatási esetet regisztrál. A gyűjtemény Borsod-Abaúj-Zemplén megye történetére vonatkozóan rendkívül értékes forrásokat rejt, melyet a levéltárosok kiadványok, forrásközlések, publikációk formájában tesznek közzé.