Urodził się w kanadyjskiej Reginie, był trzecim synem Ingvarda Nielsena, oficera kanadyjskiej policji federalnej RCMP - pochodzenia duńskiego i Maybelle - z pochodzenia Walijki. Jako młodzieniec zgłosił się do Królewskich Sił Lotniczych. Pracował także jako DJ, zanim otrzymał stypendium od Neighborhood Playhouse w Nowym Jorku, gdzie podjął naukę aktorstwa.
Początkowo występował w rolach przystojnych, twardych facetów, często grał czarne charaktery. Debiutował w nieudanym filmie ''The Vagabond King'', po którym został zaangażowany przez wytwórnię Metro-Goldwyn-Mayer, gdzie wystąpił w filmie fantastyczno-naukowym ''Zakazana planeta''; w westernie ''Pojedynek w Abilene'' z 1967 zagrał przedsiębiorcę, Granta Eversa. Największą popularność przyniosły mu jednak role komediowe, szczególnie rola lekarza w ''Czy leci z nami pilot?'' i rola porucznika Franka Drebina w cyklu telewizyjnym ''Police Squad!'' i filmowym ''Naga broń''.
W 1988 roku otrzymał swoją gwiazdę na Hollywood Walk of Fame, w 2002 roku został uhonorowany Orderem Kanady. Był czterokrotnie żonaty, miał dwie córki ze swoją drugą żoną.
Zmarł w szpitalu w Fort Lauderdale, wskutek powikłań po zapaleniu płuc. Został pochowany na cmentarzu w Fort Lauderdale. Zgodnie z wolą Nielsena na jego nagrobku znajduje się inskrypcja w formie żartobliwej gry słów: ang. ''Let 'er rip''. To słowny żart odwołujący się do formuły R.I.P.: Requiescat In Pace (''Niech spoczywa w pokoju''). Ale w jego wersji znaczy to raczej, w wolnym przekładzie: - ''Dawaj, ostro''.
