Первой женой Эммануила Виторгана была актриса Тамара Румянцева. Она родила дочь Ксению. У актера есть внучка Александра, внук Никита, правнуки Марк и Алиса.
В браке со второй супругой, актрисой Аллой Балтер, на свет появился сын Максим Виторган. Алла Давидовна – народная артистка России. Работать она начинала в Ленинграде, где играла на сцене Театра имени Ленинского комсомола. Потом была ведущей актрисой Театра имени Маяковского в столице. Немало у нее и ролей в кино. Среди самых известных – "Такая короткая жизнь", "Ларец Марии Медичи" и "Каменская".
В середине 90-х ее муж оказался между жизнью и смертью – врачи подозревали рак. Балтер боролась за Виторгана, и болезнь отступила. А спустя три года она заболела сама – обнаружили рак позвоночника. 60-летняя актриса умерла в ночь на 14 июля 2000 года на руках у любимого, сказав напоследок: "Все будет хорошо, Эмма..." Это стало страшным ударом для овдовевшего актера.
Ранним утром 13 июля Эммануил Виторган пришел на Ваганьковское кладбище – на могилу второй жены. Артист принес букет ее любимых роз. "Сегодня 20 лет, как нет тебя. Благодарю тебя за все..." – написал он на своей странице в "Инстаграм".