Актер был женат трижды. Во втором браке с балериной Инной Елисеевой у Гафта родилась дочь Ольга, которая, к сожалению ушла из жизни в 29 лет. И только с третьей женой актрисой Ольгой Остроумовой актер по настоящему был счастлив и обрел семью.
Но у актера был непродолжительный роман с художницей Еленой Никитиной. Когда Никитина сообщила о своей беременности Гафт просто исчез из ее жизни. Когда мальчику было три года Елена встретилась с актером и рассказала как живет его сын и подарила фото малыша. Гафт фото взял и ушел. А потом Елена уехала в Бразилию.
У Вадима есть сын, которого назвали в честь деда Валентином, сейчас юноше 17 лет. На вопрос, заданный Гафту "это счастье быть дедом Вали?" , тот ответил так.
«Это радость со слезами на глазах…»
Так получилось, что еще при жизни Гафт оформил все свои доли на Ольгу Остроумову, свою супругу. Поэтому сын Вадим, которого Гафт признал публично, но не документально, мог бы претендовать на наследство. Но все оформлено на Ольгу, так что претендовать по сути не на что.
Вадим и сам несколько раз повторял, что ему наследство отца не нужно, однако его мать просила не открещиваться таким образом публично, а подумать и заявила.
«Сын во многом похож на отца, что для меня очень дорого. Если бы может быть отец ему что-то там оставил, он принял это - если бы было от отца».
Вадим, который чтит память об отце сказал, что для него лучшее наследство от отца - его стихи, которые он часто читает.