Pellegrino 1987-ben 15 évesen került a Buenos Aires-i Vélez utánpótlásprogramjába, s a felnőttcsapatnál 1990-től 1999-ig szolgálta a klubot. Négy bajnoki címet és egy Libertadores-kupa-győzelmet szerzett.
Kölcsönben játszott az FC Barcelonánál, majd a Valenciával kétszeres bajnok és kétszeres BL-döntős volt. Rafael Benítezt követte a Liverpoolhoz is, a 2005-ös BL-győzelemből azért nem vehette ki a részét, mert az idény közben szerződött Angliába, így nem léphetett pályára a sorozatban. A háromszoros argentin válogatott 2006-ban a Deportivo Alavéstől vonult vissza, 2012-ben a Valenciánál kezdett edzősködni.
Az Alavésnél és a Southamptonnál is dolgozott, legutóbb a spanyol Leganés edzője volt, onnan októberben bocsátották el.
A Véleznél Gabriel Heinzének, a PSG, a Real Madrid és a Manchester United korábbi védőjének utódja lesz, a koronavírus-járvány miatt nem lehet tudni, mikor állhat munkába.