，但葛志雄無心社團事務，14K旗下三十六字堆，在實際意義上是群龍無首。

比起新義安，14K可以說是人心不齊，各自為政。

新義安龍頭向華炎雖是讀書人出身，被迫步入江湖成為社團龍頭，卻有自己處世的一套手段，他深知作為黑道分子，最重要的便是白道里有人。

他娶了呂樂同族叔公呂六的女兒呂杏華，呂樂得叫呂杏華為姑姑，叫向華炎得叫姑丈，即便向華炎比呂樂還小十幾歲，但名義上確實得這麼稱呼。

與呂樂有了親戚關系，向華炎便開始用自己的資源來扶持彼時職位低微的呂樂上位。

不久后，呂樂就從普通的探員升級為探員頭目，對于新義安社團的一些惡事便睜一只眼閉一只眼，一有什麼消息都會提前打招呼。

1955年，呂樂為了立功，在向華炎的指引下，對14K動起了手，抓獲一百多名14K成員，靠著這個大功，呂樂再次升級，到這時候呂樂離探長只有一步之遙。

1956年，14K又開始惹事引發一場混亂，其他本土社團如和勝和、和安樂、和合圖等也趁機鬧事，唯獨新義安社團在向華炎與林景強硬的態度下，沒有出動。

隨后呂樂帶著探員大肆抓人，這些鬧事的社團元氣大傷，唯獨新義安完好無損地保存實力，新義安在江湖上的地位高了一分的同時，呂樂也靠此功勞，順利地成了探長。

不難看出，他們是黑道與白道之間相得益彰，也側面說明靠腦子的讀書人更具長遠的眼光。

呂樂上位后，對這些黑道社團也是頭疼不已，于是開始培養自己的勢力，鞏固自己在白道里的話語權，如曾志偉的父親曾啟榮便是呂樂的手下。

隨后呂樂重新制定地下規則，劃分各大勢力的地盤，各大勢力每月還得給他上貢「交租金」。

為了掩人耳目，呂樂培養了幾個「收租佬」，「沙皮狗」、「豬油仔」、「羊東咩」三兄弟便是最出名的「收租佬」，其中「沙皮狗」還創立了東聯社，在灣仔一帶叱咤風云。

除了東聯社，呂樂還有強大的地下勢力為自己的物業看場，如和合圖的「灣仔皇帝」傻佬泰，便看管不少呂樂旗下的麻將館。

有錢有權有人，呂樂使得呂樂步步高升，在1962年時，一躍成為總華探長，權勢滔天，掌握全港黑白兩道的話事權。