Elvström získal první olympijské zlato v Londýně 1948 ve třídě Firefly, na následujících třech hrách ovládl kategorii Finn. Zúčastnil se ještě dalších čtyř olympiád, naposledy se pod pěti kruhy představil v Soulu 1988, kde startoval jako šedesátiletý ve třídě Tornado spolu se svou dcerou Trine.
Kromě skvělých výsledků se Elvström zapsal do historie jachtingu i řadou zlepšováků, napsal též několik knih. V roce 2007 byl jedním z prvních šesti přijatých členů do Síně slávy Mezinárodní federace jachtingu.