Гаргов откровено заяви в студиото на БТВ, че не може да осинови дете, тъй като бил пълноценен мъж, който искал свое поколение. Изпълнителят на емблематичната за прехода песен "Развод ми дай" се срещнал с Лили през 1975 г. като заместващ китарист и любовник, тъй като същата роля в оркестъра на певица изпълнявал човек, който се отказал и от двата "поста". от 16-годишната си връзка Гаргов е запомнил Иванова като работохоличка и перфекционистка.

Той не скри, че дължи славата си на Лили Иванова и общия им път. Скандалът между тях обаче възникнал, когато Асен Гаргов помолил примата да му позволи да включи песни с нейния глас в авторски компактдиск. "Тя ми отказа. След това пък аз й забраних да пее песни, които аз съм композирал за нея", разкри Гаргов.