Archiwum Państwowe w Białymstoku zostało powołane dekretem Ministra Oświaty z dnia 10 listopada 1950 r. (Dz.U. Min. Ośw. Nr 1, poz. I z 1951 r.). Realizacja tego zadania ciągnęła się prawie 2 lata. Brak było lokalu i wykwalifikowanej kadry. Swą działalność Archiwum rozpoczęło w kwietniu 1953 r. Prowizoryczne pomieszczenia umożliwiające jego funkcjonowanie mieściły się w tzw. „Loży Masońskiej” przy ul. Kilińskiego 16, czyli w pomieszczeniach Wojewódzkiej Biblioteki Publicznej.

Zasób Archiwum Państwowego w Białymstoku kształtował się powoli. Początkowo  liczył tylko 55 mb akt ułożonych na półkach. Przyjęto ocalałe resztki akt wytworzonych w powiatach: Ełk, Olecko i Gołdap. Następnie zaczęto gromadzić akta metrykalne gmin wyznania mojżeszowego i augsburskiego, księgi notarialne, materiały wytworzone przez Dyrekcję Lasów Państwowych w Białowieży z okresu międzywojennego, akta likwidowanego Państwowego Urzędu Repatriacyjnego oraz Powszechnej Organizacji „Służba Polsce”. W wyniku tych działań  zbiory powiększyły się do 330 mb akt.

15 kwietnia 1960 Archiwum Państwowe przeniosło się do zabytkowego budynku przy Rynku Kościuszki 4, który zajmuje do chwili obecnej. Powstały wtedy możliwości systematycznego powiększania zasobu, a także skuteczniejszego jego zabezpieczania opracowywania i udostępniania. Zorganizowano pracownię naukową noszącą imię Jana Glinki, wybitnego i znanego badacza Podlasia. Powstały także pracownie: reprograficzna, introligatorska, a także biblioteka.

W latach 1963-1964 Archiwum otrzymało drogą rewindykacji z ZSRR akta różnych instytucji z XIX wieku. W latach 1968-1971 przejęto z Archiwum Głównego Akt Dawnych w Warszawie akta urzędów z terenu byłych guberni łomżyńskiej i suwalskiej z lat 1867-1917, a także akta Kamery Wojny i Domen w Białymstoku – organu administracji pruskiej z lat 1795-1807. Zasób archiwum wzrastał także drogą systematycznego przejmowania poszczególnych instytucji.

W 1990 r. Archiwum Państwowe w Białymstoku przejęło akta byłego Archiwum Komitetu Wojewódzkiego Polskiej Zjednoczonej Partii Robotniczej w Białymstoku. Znajdują się tam akta komitetów wojewódzkich i powiatowych Polskiej Partii Robotniczej i Polskiej Partii Socjalistycznej z lat 1944-1948, Polskiej Zjednoczonej Partii Robotniczej z lat 1948-1990, organizacji młodzieżowych.

W chwili obecnej Archiwum prowadzi działalność na podstawie ustawy o narodowym zasobie archiwalnym i archiwach z 14 lipca 1983 r. (Dz.U. Nr 38, poz. 173 z późn. zm.) jako Archiwum Państwowe w Białymstoku z Oddziałem  w Łomży.