Dillard az 1948-as londoni olimpián 10.3 másodperces idővel aranyérmes lett 100 méteres síkfutásban, illetve győzött az amerikai 4x100-as váltó tagjaként is.
Négy évvel később Helsinkiben 13.91 másodperces eredménnyel 110 méteres gátfutásban nyert aranyérmet, illetve ismételt a 4x100-as váltóval.
Pályafutása során több mint 400 versenyen diadalmaskodott, volt, hogy 82 viadalon át nem talált legyőzőre.
96 évesen a legidősebb élő amerikai olimpiai bajnok volt, halálát gyomorrák okozta.