“Don Leo” mögött egy jelentéktelen futballista karrier állt, amikor huszonévesen elkezdett edzősködni. Első egylete az SV Epe volt, majd 1967-ben felcsapott a Go Ahead Eagles pályaedzőjének. A BV Veendamnál, az SC Cambuurnál és a Go Aheadnél már teljhatalmat élvezett, s innen vezetett az útja a Feyenoord, majd az Ajax ifjúsági csapataihoz. 1979-ben ülhetett az Ajax profijainak kispadjára, amin egy bajnoki címmel mutatkozott be, s Frank Rijkaardékat a KEK elődöntőjéig vezette. Márciusban viszont lemondott, s a következő három idényt Zaragozában töltötte, majd hazatért a Volendamhoz.
1985-ben kinevezték hazája válogatottjának szövetségi kapitányának, de mindössze hét mérkőzés adatott számára, hiszen Gullitékat nem jutatta ki a mexikói világbajnokságra, s éppen a magyarok törtek borsot a hollandusok orra alá. Szerencséjére, mondhatni, hiszen a Real Madrid leszerződtette, s a spanyol fővárosban gyönyörű éveket töltött el, háromszoros bajnokként és egyszeres kupagyőztesként térhetett vissza egy kis amszterdami kitérővel az Oranje élére. Ezúttal már nem hibázta el a vb-szereplést, de Eb-címvédőként sem alkottak legényei maradandót Olaszországban.
Lemondása után visszatért a Realhoz, de nem volt szerencséje, bánatában világkörüli turnéra indult: Svájcot, Szaúd-Arábiát, Mexikót és Törökországot is érintette a körmenet. 1996-ban tért haza a Vitesse-hez, majd a Feyenoorddal nyert újabb bajnoki aranyat, ami után elfoglalta az Ajax technikai igazgatói posztját. 2003-ban újra áttette székhelyét az Atlanti-óceánon túlra, először a mexikói Club América mestere lett, majd a De Graafschaapot ugródeszkaként használva Trinidad és Tobago szövetségi kapitánya. A Socawarriorst sikeresen ki is vezette a 2006-os világbajnokságra, s a tornán sem vallottak szégyent, hiszen 0-0-t játszottak a svédekkel.
A nagy kaland végeztével átült a lengyel nemzeti csapat kispadjára, s a nehéz csoport ellenére – történelme során először – kijutottak a Sasok az Európa-bajnokságra. "Ez bizony karrierem egyik legszebb pillanata” – nyilatkozta a sikerrel megvívott selejtezők után. A lengyel szövetség sem akarta elrondítani az idillt, s meghosszabbította a holland kontraktusát egészen 2010-ig.