Vanderbilt war in ihrem Leben viermal verheiratet. Von 1941 bis 1945 mit dem Hollywood-Produzenten Pat DiCicco, anschließend zehn Jahre mit dem Dirigenten Leopold Stokowski. Aus dieser Ehe stammen zwei Söhne. Ein drittes Mal Ja sagte die Millionenerbin zu Star-Regisseur Sidney Lumet. Mit ihm war sie von 1956 bis 1963 verheiratet. Kurz darauf wurde sie die Frau von Schriftsteller Wyatt Emory Cooper, mit dem sie ebenfalls zwei Söhne hat, einer davon Anderson Cooper.
Damit aber noch nicht genug: Auch Liebschaften mit Stars wie Marlon Brando ("Der Pate") und Frank Sinatra ("My Way") wurden Vanderbilt nachgesagt. Öffentlich gemacht hatte sie diese allerdings nie.