潘岳雄為潘麗水之長子，於1943年臺南出生。祖父潘春源及父親潘麗水皆為府城之名畫師，年輕時，跟著長輩在全國各地廟宇創作擔任助手，在耳濡目染的情況下，對丹青及人物畫的創作產生濃厚的興趣，是台南地區重要彩繪家族的傳人亦是傳統藝術「彩繪工藝」保存者。

    潘岳雄歷練豐富，大約從1966至1977間，協助父親麗水司前往各地繪製廟畫，由父親提筆畫稿和臉部，他則負責上色安金箔，於此啟發從事寺廟彩繪的因緣。潘岳雄的習作過程，除對人物肖像、山水花鳥等畫稿的自我臨摩學習外，以父親的現場教學為主，1976年出師獨立承攬畫師業務後，其父仍從旁指點或協助局部的潤飾，法華寺門神（1977）即是潘岳雄在父親指導下，獨立完成的處女作。