趙雅芝結過兩次婚。她的前夫黃漢偉是個醫生，她20歲與黃漢偉結婚，那時她剛進入娛樂圈，與黃漢偉的婚姻維持了數年后，兩人間出現裂痕，最后導致分手。

趙雅芝與黃漢偉生了兩個兒子，離婚時，兩人又為兒子的撫養權問題鬧得沸沸揚揚，最后兒子判給趙雅芝撫養。由于婚變加上打官司，有一段時間趙雅芝的情緒很低落。

1984年，趙雅芝在拍攝電視長劇時與黃錦燊認識，那時，黃剛從美國回港，他性格豁達、開朗，那一段時間，正是趙雅芝情緒最低沉的時候，黃錦燊在生活上關心她，并開導她振作起來，勇敢面對生活。

趙雅芝先是對黃產生了好感，后漸漸愛上了對方，最后與黃重新結合———她仿佛命里注定要嫁一個學醫的，黃錦燊在美國大學畢業后當過藥劑師。婚后，他倆又育有一子。