Početak fudbalske igre među železničarima Beogradskog železničkog čvora potiče iz davne 1924. godine, kada je grupa službenika železničke stanice Beograd počela sa igranjem loptom na poljanama u krugu staničnog prostora. Iste godine formirana je i prva fudbalska selekcija, za čijeg je predsednika izabran ing. Dimitrije Naumović, tadašnji direktor Oblasne železničke direkcije Beograd. Pokušaj da ova sekcija preraste u fudbalski klub je propao zbog nedostatka finansijskih srestava, tako da isti nije registrovan i nije se uključo u zvanično takmičenje. I dalje su se zabavljali tadasnji železničari fudbalskom loptom, tom novom magičnom igračkom, koja je polako, ali sigurno, osvajala ne samo Beograd, već i veći deo sveta.

Dve godine kasnije, dakle 1926. godine, Đorđe Krstić, tadašnji šef Personalnog odseka Oblasne železničke direkcije Beograd, okupio je železničare-fudbalere i jednoj maloj kafanici u Sava-mali, koji su ga izabrali za predsednika Sportskog kluba "Železničar". tadašnje rukovodstvo uspeo je da registruje Klub 19.09.1926. godine i on je postao zvanični član tadašnjeg Beogradskog loptačkog podsaveza. Klub je uključen u redovno ligaško takmičenje Beograda takmičarske 1927/28 godine, kao član Trećeg razreda - grupa "Vardar" i svoje prvo prvenstveno takmičenje završio je na petom mestu.

Uz dosta problema, uglavnom zbog nedostatka finansijskih sredstava, Klub je nastavio sa takmičenjem. Od takmičarske 1928/29 godine do 1936/37 godine, član je Drugog razreda, od 1937/38 godine, do poćetka Drugog svetskog rata, član je Prvog razreda Beogradskog loptačkog podsaveza.

Pored takmičenja u prvenstvu prvenstvu Beograda, "Železničar" je učestvovao i u tadašnjem takmičenju železničkih sportskih klubova u kome je pobednik dobijao na dar pehar ministra saobaćaja.

Godine 1932 pristupilo se izgradnji fudbalskog igrališta pored reke Save, kod "Šest topola ". Izgradnja je trajala pune tri godine. Prva utakmica na novoizgradjenom igralištu odigrana je 25. aprila 1935. godine, kada je "Železničar" pobedio FK "Gradjanski" iz Zemuna, impozantnim rezultatom 12:0. Zbog izgradnje Beogradskog sajma, "Železničar" je sa svog prostora iseljen 1956. godine.

Za vreme drugog svetskog rata FK "Železničar" je prekinuo i obustavio sportsku aktivnost, da bi sedam meseci po oslobodjenju Beograda, odnosno, na dan 4. juna 1945. godune Osnivačkom skupštunom obnovio rad. Medjutim, ovog puta nije bio u pitanju samo fudbalski klub, već je osnovano Sportsko društvo sa više sportskih sekcija, koje su kasnije prerasle u klubove.

Posle Drugog svetskog rata FK "Železničar" se takmičio u više rangova takmičenja, uglavnom nižih stepena. Jedan od najvećih uspega postigao je u takmičarskoj 1945/50 godini, kada se takmičio u tadašnjoj Jedinstvenoj sportskoj ligi. Kasnije se takmičio u ligama na nivou našeg glavnog grada i to najduže u prvoj beogradsloj ligi. Konačno, u takmičarskoj 1989/90 godini, kao prvak Prve beogradske lige ostvaruje plasman u Beogradsku zonu, tada najvišem rangu takmičenja u Beogradu, a u 1995. godini prelazi u republički rang rakmičenjam plasiravši se u Republičku ligu "Sever" ' grupa "Beograd".

Svakako najveći takmičarski uspeh klub postiže 1999. godine, kada je ostvario plasman u savezni rang rakmičenja, odnosno u tadašnju Drugu saveznu fudbalsku ligu. U tadašnjoj grupi "Sever" Druge savezne fudbalske lige, naš klub se se takmičio 1999/2000, 2000/2001 i 2001/2002 takmičarske godine, da bi na kraju takmičarske 2001/2002 godine, na jedan neprincipijelan i nekorektan način, čisto administrativnim putem od rukovodstva tadašjeg Fudbalskog saveza Jugoslavije, bio odstranjen iz tadašnje reorganizovane Druge savezne lige, pa po teritorijalnom principu, a umesto našeg kluba u tu grupu Druge savezne lige uveden je drugi klub, kome po teritorijalnom principu tu uopste nije bilo mesto.
(ALTERNATIVA: Na ovo nekorektno postupanje organa Fudbalskog saveza Jugoslavije, tadašnje rukovodstvo nije u potpunosti dovoljno energično reagovalo, tako da je Klub neosnovano izgubio status kluba saveznog stepena takmičenja.

U proteklih osam decenija "Železničar" je ostvario zapažene rezultate i u kup takmičenjima. Prvi od tih značajnih uspeha je ostvaren u 1960. godini, kada je naš Klub postao pobednik Kupa oslobodjenja Beograda, tada najznačajnijeg kup takmičenja u Beogradu. 1991. godine "Železničar" je bio pobednik Kupa Jugoslavije na teritoriji Beograda.

Najznačajniji uspeh u kup takmičenjima naš Klub je ostvario u Kupu železničkih klubova Srbije, ustanovljenom 1997. godine. Naš Klub je bio pobednik ovog Kupa, prvog po redu, u 1997. godini, kada je naš tadašnji kapiten Sulejman Nešat, progalašen za najboljeg igrača finalnog dela Kupa, zatim isti uspeh ostvario je u 200, 2001, 2002. i 2004. godini, kao pobednik Osmog kupa.

Pored ovih kup takmičenja, naš Klub zapažene uspehe je imao i na klupskim turnirima. U 2002. i 2003. godini bio je pobednik Turnira fudbalskog kluba "Lokomotiva" iz Beograda, a 2004. godine, pobednik je Turnira "Cvetovac 2004 " u Cvetovcu.

U poslednjoj, osmoj deceniji rada, Klub je značajnu pažnju posetio selekcijama mladjih kategorija. Prvi rezultati takvog opredelenja ostvareni su u 2000. godini, kada je naš Omladinski tim, pod stručnim rukovodstvom trenera Zorana Džakovića, kao prvak Druge omladinske lige, ostvario plasman u Prvu omladinsku ligu Beograda, kao najelitnijeg takmičenja omladinskog fudbala u Beogradu u kojoj se i sada takmiči. 2004. godine naš kadetski klub plasirao se u Prvu ligu kadeta, takodje najeminentnijem beogradskom takmičenju ovog uzrasta i ostvario veliki uspeh u Kupu plasiravši se medju 4 najbolje ekipe u Beogradu.

Za proteklih osam decenija kroz beogradski "Železničar" prošla su i neka velika imena našeg fudbala. Tu bez sumnje, neophodno je iz onih starijih generacija pomenuti Mikicu Arsenijevića, Rajka Mitića, Savu Antića, Sretena Davidovića i Radomira Čabrića, a iz novije generacije Branimira Banjca, Dragana Nikolića, kapitena i kasnije standardnog prvotimca OFK "Beograda", zatim Duška Košutića, Branka Rajića i Nešata Sulejmanija, dugogodišnjeg kapitena i sada uspešnog trenera u Klubu. Nije klub imao samo dobre igrače, već i dobre i uspešne trenere.

Posebno ističemo Mikicu Arsenijevića i Rajka Mitića, nekadašenje uspešne selektore reprezentacije Jugoslavije i Čolović Muroljuba iz starije generacije, a iz novijeg doba, Milenković Božidara, koji je iz našeg kluba preuzeo i vodi OFK "Beograd", Savić Tomislava, koji je iz "Železničara" otišao u "Crvenu Zvezdu" za trenera golmana, Kalušević Gorana, koji je praktično uveo Klub u Drugu saveznu fudbalsku ligu i odmah zatim nastavio rad u Fudbalskom klubu "Zemun" kao trener prvog tima ovog kluba.

Medju dosadašnjim sportskim radnicima dominantno mesto zauzimaju dva imena: Simeunović Miodrag - čika Meca i Blagojević Dragoje - čika Bata, koji su skoro ceo svoj život vezali za "Železničar".

U poslednjih 10 godina Klub je izgradio i afirmisao odredjeni broj sportsih radnika, od kojih su neki, angažujući se u organima Fudbalskog saveza Beograda, Fudbalskog saveza Srbije i Fudbalskog saveza Jugoslavije, odnosno Fudbalskog saveza Srbije i Crne Gore, dali značajan doprinos u razvoj fudbalskog sporta u Beogradu, Srbiji, nekadašnjoj Jugoslaviji i današnjoj državnoj zajednici Srbije i Crne Gore.

Bilo je još mnogo, mnogo dobrih igrača, trenera i sportskih radnika, koji će svoje mesto naći u monografiji koju će Klub uraditi.

Ono što posebno treba istaći i na šta smo mi u "Železničaru" ponosni, je, da je kroz klub prošlo mnogo intelektualaca, koji su kasnije bili veoma uspešni privrednici i vodili naša ugledna preduzeća, kao i da Klub u sadašnjim uslovima kroz pet takmičarskih selekcija okuplja preko 150 mladih ljudi, omladinaca i dece, sa kojima se organizovano radi na sportskom i vaspitnom planu, a samim tim naš klub ispunjava svoju društvenu ulogu i funkciju.

U poslednjim godinama, naročito u protekloj deceniji, Klub je pored rada na sportskom planu (Klub se nalazi u vrhu Republičke lige "Sever" - grupa Beograd), našao snage i mogućnosti uz značajan doprinos ŽTP "Beograd" da pristupi izgradnji i rekonstrukciji svojih sportskih objekata, sa željom da to preraste u pravi i moderan sportski centar. Izradjena su dva nova terena od kojih je jedan travnat, a drugi sa šljakastom podlogom, tribine kapaciteta 3000 mesta, ispod koje je poslovni prostor, adaptirana i delimično rekonstruisana klupska Poslovna zgrada i drugi niz pratećih objekata. Dosta započetog je uradjeno, ali ima još dosta toga da se uradi. Svu u "Železničaru" su uvereni da ćemo istrajati u našim opredeljenjima da Klub dobije novi i moderan sportski centar, kakav dolikuje renomeu Kluba i stepenu sadašnjeg takmičenja i onome kome stremimo.