Bylsma 2009 februárjában 38 évesen lett a Penguins vezetőedzője, s bár először csak ideiglenesen nevezték ki, jó eredményei miatt a csapat élén maradt. Az első teljes szezonjában megnyerte a Pittsburghgel a Stanley-kupát, de ezt követően csalódások sora érte a Pingvinek szurkolóit, hiszen hiába vágott neki minden szezonnak az egyik nagy esélyesként, nem jött össze az újabb bajnoki cím.
Bylsma a 2014-es szocsi téli olimpián az Egyesült Államok szövetségi kapitánya is volt, negyedik lett a csapattal.