Az Újpesten nevelkedő Halmai József 1953-ban mutatkozott be a felnőttek között a Sztálin Vasműben (a majdani Dunaújvárosban), majd 1956-tól már Újpesten játszott, ahol 1957-ben bajnoki bronzérmes lett. 1959-ben az MTK-nál folytatta pályafutását, de egy évvel később sérülései miatt 28 évesen visszavonult.
Halmai József 12 alkalommal kapott lehetőséget a magyar B-válogatottban, illetve egyszer volt tartalék az A-válogatottnál.
Halmai József 1976 és 1980 között Újpesten Várhidi Pál pályaedzőjeként dolgozott, ez idő alatt kétszer nyert bajnokságot a csapattal.
Az Újpest és az MTK egykori játékosa október 22-én, vasárnap, életének 92. évében hunyt el, temetése november 10-én (pénteken) 10 órakor a Fiumei úti sírkertben lesz.