1965年，王杰才3歲，還叫王大偉時，隨父母從臺北移居香港，就開始當童星，幫忙賺錢貼補家用。 他的父親王俠是演員，母親許玉也是演員。家里四個孩子，王杰老三。當時演員按工資發，收入不多，兩位演員都要發展自己的事業，四個孩子怎麼辦？夫妻間因此經常吵架。