Ông tên thật là Phạm Duy Cẩn, sinh ngày 5-10-1921 tại phố Hàng Cót, Hà Nội trong một gia đình nghệ thuật có cha là nhà văn Phạm Duy Tốn, anh cả Phạm Duy Khiêm một học giả và là một nhà văn viết tiếng Pháp. Các con của ông cũng là những ca sĩ, nhạc sĩ nổi tiếng như con trưởng là ca sĩ Duy Quang (vừa qua đời vào tháng 12-2012), ca sĩ Thái Hiền, Thái Thảo, nhạc sĩ hòa âm Duy Cường... Sau năm 1975, Phạm Duy sang sinh sống tại Hoa Kỳ. Năm 1999, vợ ông - ca sĩ Thái Hằng qua đời, sự kiện này khiến ông bị cao huyết áp phải đi nằm bệnh viện một thời gian dài. Đến tháng 5-2005 ông chính thức trở về Việt Nam định cư. Nhiều ca khúc của ông cũng dần được cấp phép phổ biến trở lại như Mùa thu chết, Giọt mưa trên lá, Tạ ơn đời, Tiễn em, Đi đâu cho thiếp theo cùng…
