A profik közül nem mindenkinek van fényes amatőr múltja, nos Joe Frazier – akárcsak legnagyobb ellenfele, Muhammad Ali (Cassius Clay) – olimpiai aranyat nyert. Clay Rómában, Joe Tokióban nyerte a címet. Sima ügy lehetett, mondhatnánk, akinek ilyen fényes múltja van, ez értelemszerű. Nem volt az: a válogatón Buster Mathis, aki korábban is legyőzte, ismét megverte – igaz, a profik között visszavágott Mathisnak. Ám Mathis kézsérülése miatt nem volt ott Tokióban, Frazier pedig kihasználta a lehetőséget, mindenkit legyőzött.
1965-ben hivatásosnak állt, profi karrierjét 1981-ben fejezte be, 56 győzelem – ebből 37 K. O. –, 5 vereség a mérlege. Mivel Clay 1967-ben megtagadta a katonai szolgálatot, a pénzbüntetés mellett vb-címétől is megfosztották, ezért a WBA-trón betöltéséért sorozatot írtak ki, amelyet Jimmy Ellis nyert meg.
Ergo őt kellett legyőzni, aki világbajnok akart lenni. Nos, 1970. február 16-án az ökölvívás Mekkájában, a New York-i Madison Square Gardenben Smoking Joe, azaz Füstös Joe az 5.menetben elintézte a bajnokot. A menedzserek dörzsölték a kezüket: Alit éppen rehabilitálták, Fraziert pedig ütőereje miatt olyan bombázónak tartották, aki a legendára is veszélyes lehet. A két klasszis 1971. március 8-án nézett farkasszemet.
„Joe majd elkapja a nagyszájút!", illetve „Ali bohócot csinál ellenfeléből!", vélekedtek a szakértők, s hogy milyen várakozás előzte meg a találkozót, az a nézőtéri celebfelhozatalból is kiderült. Frank Sinatra énekes, Norman Mailer író, Burt Lancaster színész, Diana Ross énekesnő nyüzsgött a ring körül számtalan politikustól és szakmabelitől övezve. Alin meglátszott a hároméves kihagyás, lábon nem mindig tudott elmozogni. Végül a boksztörténet egyik legizgalmasabb összecsapásán Frazier pontozással nyert 15 menet után – nem elírás, akkoriban eddig tartott egy hivatásos mérkőzés. A felek fejenként 2.5 millió dollárt kaptak.
Két évvel később (1973. január 22.) a Frazierhez hasonlóan ütőerejével domináló George Foreman a 2. menetben lemészárolta Joe-t, aki nem sokkal később druszája, a magyar származású Joe Bugner ellen sikeresen tért vissza. Ali 1974. január 28-án pontozással visszavágott, de Joe nem adta fel.
Ellis testén keresztül ismét a világbajnok Ali színe elé került. Harmadik összecsapásuk (1975. október 1.) a manilai thriller, amely, ha lehet fokozni, még első mérkőzésüknél is drámaibb volt. Frazier annyira elfáradt, hogy nem tudott kiállni a 15. menetre, Ali pedig, szintén a kimerültségtől, elterült a ring padlóján.
Aztán még egyszer „belekötött" Foremanbe (1976. június 15.), de George öt menet alatt elintézte. Visszavonulása után amellett, hogy popkarrierről álmodott, Marvis fia karrierjét egyengette, de az alma messze esett a fájától.
A ring világában senki sem menekülhet, de Frazier híres volt face to face stílusáról. Nem kért, de nem is adott kegyelmet. Bunyójában több volt az ököl, mint a vívás, de őt ezért szerettük.