Železniční sbírka NTM začala vznikat hned po založení muzea v roce 1908 a víceméně pravidelně se rozrůstala po celou dobu trvání ústavu. První expozice byly v poměrně stísněných prostorách Schwarzenberského paláce, kde nebylo možno vystavit rozměrnější předměty, natož celá vozidla. Za 2. světové války přesídlilo Technické muzeum do karlínské Invalidovny, jejíž prostředí mělo charakter provizoria. Poměry se zlepšily teprve po částečném uvolnění nové muzejní budovy na Letné. V roce 1949 se do „dopravní haly“ nastěhovaly kromě jiných vozidel také první lokomotivy.

Hlavní část sbírky železničních vozidel vznikla v 70. a 80. letech 20. století, zejména v souvislosti s ukončením parního provozu na drahách ČSD v roce 1980. Mezitím však přibývaly i další sbírkové předměty, ať šlo o nové výrobky a jejich modely nebo o ukázky starých či poškozených součástí, které věnovaly do sbírek muzea většinou železniční dílny ČSD.

Od přelomu 60. a 70. let se v přírůstcích muzea odrazila také činnost Skupiny pro studium a dokumentaci dějin železnice při NTM, jejíž zásluhou přibylo do sbírky několik vzácných vozidel – např. salonní vozy následníka trůnu Františka Ferdinanda d´Este a barona Rothschilda, zásluhou členů „Skupiny“ byla zprovozněna parní lokomotiva 387.043 „mikádo“, která se stala vůbec první provozní muzejní lokomotivou v tehdejším Československu.

Pro uložení vozidel mělo muzeum vždycky omezené podmínky. V roce 1971 byla postavena trojkolejná hala na vlečce NTM v Čelákovicích, která se však velmi rychle zaplnila získanými vozidly. Proto po roce 1990 přistoupilo NTM k dlouhodobým zápůjčkám vozidel a některých dalších předmětů provozovatelům jak ze strany bývalých ČSD, později ČD, tak některých soukromých subjektů.

Na konci roku 2000 vzniklo na základě vládního usnesení vynětím příslušné části sbírek z oddělení historie dopravy samostatné Železniční muzeum NTM. Jeho cílem je především vybudování vlastní expozice dějin železniční dopravy a některých příbuzných oborů v prostorách bývalého depa na Masarykově nádraží v Praze. Od roku 2006 slouží jako depozitární prostory bývalé lokomotivní depo v Chomutově.