Валентин Гафт был женат трижды. Первой женой артиста стала манекенщица Елена Изергина, с которой даже после расставания он поддерживал хорошие отношения и очень переживал, когда та умерла. Во второй раз Гафт женился на балерине Инне Елисеевой. Она подарила ему дочь Ольгу, однако в 2002 году молодая женщина покончила с собой.
Гафт откровенно заявил, что винит себя в смерти единственного ребенка. "Я с ней до сих пор часто разговариваю. Я перед ней виноват. Никого больше не виню в произошедшем – только себя. Это мой груз. Никого не зову себе в напарники, сам буду нести эту ответственность", – заявил известный актер.
По данным некоторых СМИ, Ольга, якобы оставившая предсмертные записки, винила во всем Инну. А еще были найдены ее дневники, открывшие жуткие подробности взаимоотношений с матерью. Как сообщала несколько лет назад "Экспресс газета", та приводила в дом мужчин и занималась с ними сексом на глазах у дочери. А за несколько месяцев до самоубийства Ольги сдала ее в психиатрическую клинику.
Соседи подтвердили: Елисеева делала все, чтобы искалечить психику дочери. Инна унижала Ольгу, как могла. Даже новость о том, что у нее рак, не смягчила бывшую жену Гафта. Говорят, когда она обнаружила наложившую на себя руки дочь, отреагировала так: "Посмотрите, что эта дрянь наделала с люстрой!" Елисеева показывала на погнутые завитушки и будто не замечала покойницу.
По другим данным, Валентин Гафт винит себя в смерти дочери, основываясь на ее записке. В послании Ольга жаловалась на то, что отец уделял ей очень мало внимания.
С 1996 года актер счастлив в третьем браке со своей коллегой Ольгой Остроумовой. Артистка поддерживает 83-летнего мужа, страдающего от болезни Паркинсона. Валентин Гафт заявил, что жизнь подходит к концу, но он не боится смерти. Актер благодарит судьбу за каждый прожитый день и за людей, которые все эти годы находились рядом.