Brownnak állandó térdsérülései miatt rövidre szabott játékoskarrier jutott, mindössze 27 évesen, egyszeres skót bajnokként – a Dundee-val 1962-ben – vonult vissza, s szinte rögtön edzőnek állt, a Motherwell másodedzője lett. Tíz évvel később, 1977-ben kapta első vezetőedzői megbízatását, a másodosztályú Clyde kispadján tíz év alatt kétszer nyert meg a Second Divisiont. A skót szövetségnél 1986-ban kezdték alkalmazni, mint az utánpótláscsapatok edzője, majd a felnőttválogatottnál Alex Ferguson segítőjeként eljutott az 1986-os világbajnokságra, Andy Roxbourgh asszisztenseként pedig a négy évvel későbbi vb-re és az 1992-es Európa-bajnokságra is.
Az U21-es válogatott éléről 1993-ban nevezték ki az A-válogatott szövetségi kapitányi posztjára; a válogatottal kiharcolta a részvételt az 1996-os Európa-bajnokságra, majd a skótok máig utolsó, 1998-as vb-szereplésénél is ő irányította a csapatot. 2001-ben távozott a posztról, miután nem tudott kijutni a csapattal a 2002-es világbajnokságra. A nyolc éve alatt 71 meccsén ült a kispadon, amivel ma is rekorder: nála több meccse egy szövetségi kapitánynak sincs a skótoknál.
A válogatott után Brown visszatért a klubfutballba, az angol Preston kispadját foglalva el két és fél évig. Öt és fél év szünet után még egy évet lehúzott a Motherwellnél, majd edzői karrierje lezárásaként az Aberdeent irányította 2010 decembere és 2013 áprilisa között.