Horváth József két időszakban, előbb 1964 és 1966 között, majd 1971 és 1974 között volt a Győri Rába ETO kapusa, a csapattal 1973-ban Magyar Kupát nyert. Pályafutása során a győriek mellett a TFSE, a Vasas és a Várpalota csapatában szerepelt.
A magyar kézilabda-válogatottban 1967 és 1974 között 119-szer lépett pályára, tagja volt az 1970-es világbajnokságon nyolcadik, valamint az 1974-es vb-n hetedik helyen végző magyar csapatnak, illetve részt vett az 1972-es müncheni olimpián is, ahol szintén nyolcadik helyen végzett a válogatottal.
Horváth József sportolói pályafutásának befejezése után edzőként is dolgozott az ETO kötelékében.
A Kisalföld augusztus végén készített interjút Horváth József feleségével, Szvitek Erzsébettel, aki elmondta, tavaly decemberben karácsonyozni látogattak ki lányukhoz és unokájukhoz Madridba, ahol Horváth József elkapta a koronavírust, amitől tüdőgyulladást kapott és kórházba került. Innen bár később kiengedték, de nagyon nehezen kapott levegőt, ezért kivizsgálták és megállapították nála a tüdőelhalást. Az azóta eltelt időben hol otthon, hol a kórházban volt, de kezdetben napi 18, majd később már 24 órában kapott oxigént, augusztus végén pedig ismét kórházba került, mert fájtak a csontjai. Horváth Józsefet ismét kivizsgálták és kiderült, hogy áttétes másodlagos csontrákja volt az időközben megállapított tüdőrák az elsődleges.