Kovács József 1940-ben, mindössze 17 évesen lépett először pályára első osztályú találkozón a BSzKRT SE (ma BKV Előre SC) színeiben, a Ferencváros ellen. Ezt követően azonban csak négy és fél évvel később kapott ismét lehetőséget az NB I-ben, amikor az MTK játékosaként mutatkozott be, méghozzá gólt szerezve.
Kovács II karrierje szinte teljes egészét a fővárosi klubnál töltötte, ahol kétszer is magyar bajnok lett, valamint megnyerte a Magyar Kupát és a Közép-európai Kupát (KK) is. 1956-ig több mint háromszázszor ölthette magára a kék-fehér mezt, utolsó meccsét a Rapid Wien elleni KK-összecsapáson játszotta.
1948 és 1951 között öt hivatalos és tíz nem hivatalos mérkőzésen lépett pályára a nemzeti együttesben, amelyben később Buzánszky Jenő vette át a helyét – kimaradt az Aranycsapat legnagyobb sikereiből.
Az MTK legendája játékos-pályafutása után edzőként kamatoztatta tudását. Magyarországon kívül az egyiptomi első osztályban is kipróbálta magát, ahol a válogatott szövetségi edzőjeként tevékenykedett.
A 2001-ben elhunyt Kovács Józsefről több érdekességet és dokumentumot is talál ide kattintva, a Puskás Intézet honlapján.