Дроздов признался в шоу «Судьба человека» на канале «Россия-1», что раньше его характер был далек от идеала. Он жаждал ярких эмоций и часто отправлялся в путешествия, что негативно отражалось на отношениях с первой супругой Инной. В итоге она поняла, что не может растить дочь одна, и ушла от Дроздова. Он пытался вернуть жену, но безуспешно.
Николай Николаевич отметил, что экс-жена и дочь до сих пор его не простили: «Отношения нельзя назвать дружескими». Теперь ведущий осознал, что поступал эгоистично: «Это вам кажется, что я хороший человек. В молодости было иначе».
Развод сильно ударил по самолюбию Дроздова, и следующие 20 лет он прожил холостяком. В итоге со второй женой Татьяной телеведущий познакомился в лифте: «Оказывается, мы были соседями».