A 38 esztendős balhátvéd 1999-ben az „ágyúsok” utánpótlásából került fel a felnőttcsapathoz, melynek színeiben hét esztendőn át játszott, ez idő alatt több mint 150 mérkőzésen lépett pályára, s Arsene Wenger együttesében kétszer Premier League-et, háromszor FA-kupát, kétszer pedig Community Shieldet nyert.
Cole 2006-ban a Chelsea-hez igazolt, és a „kékeknél” 229 találkozón szerepelt, trófeagyűjteményét ráadásul kiegészítette többek között a Bajnokok Ligája és az Európa-liga serlegével.
Az angol védő hazája válogatottjában is kulcsjátékossá vált, a nemzeti együttesben összesen 107 mérkőzésen lépett pályára.
Cole az angliai kalandot követően megfordult az olasz Románál, majd az Egyesült Államokba igazolt, ahol három évet a Los Angeles Galaxynél töltött el, idén januárban viszont a Derby Countyhoz távozott, amelyben kilenc meccsen játszott.
A hátvéd a Sky Sports adásában jelentette be, hogy befejezi a profi labdarúgást – az angol ikon edzőként szeretné folytatni.