Az ötkarikás játékok programján (megszakítással) 1936 óta szerepel a kézilabda. A magyar férfi válogatott ezelőtt az 1996-os, a 2000-es és a 2008-as olimpiára nem jutott ki a kvalifikációs sorozatból, ám a női csapat mindhárom alkalommal kijutott (Atlantában a 3., Sydneyben a 2., Pekingben a 4. helyen végzett).
Amikor a nők nem kvalifikálták magukat (1988, 1992, 2012), akkor a férfi csapat mindig kint volt (Szöulban 4., Barcelonában 7., Londonban ugyancsak 4. lett). Az egyetlen olimpia, amelyen szerepelt a programban kézilabda, ám magyar csapat nem lépett pályára, az 1984-es volt – Los Angelesben viszont nem a pályán elért teljesítmény, hanem a keleti blokk bojkottja miatt nem vettek részt csapataink.
A riói olimpián a férfi és a női válogatottnak is adva volt az esély, ám egyik sem élt vele – a nők a világbajnokságon, a férfiak az Európa-bajnokságon nem értek el megfelelő, olimpiai részvételre vagy olimpiai kvalifikációs tornára jogosító eredményt.