也在此時，跛豪搭上呂樂的順風車成為了三大毒梟之一，并成立「義群」社團，那時候的義群在江湖之中可謂是風生水起，但就如電影中一樣，跛豪在外面再怎麼厲害，還得看呂樂的眼神行事。

除了跛豪的「義群」崛起，新義安亦是暗中積攢力量，只是極為低調，在呂樂在位的十多年間，新義安積攢下不少錢糧，為日后插旗陀地、成為「香港第一黑幫」奠定了堅實的基礎。

呂樂在白道里辦案速度也是出奇的快，因為他根本就不需要知道誰是真兇，只需要吩咐這幫看他臉色吃飯的黑幫大佬們，大佬們就會幫他找到真兇，即使找不到了，也能叫幾個馬仔來頂包。

這就像當年叱咤上海灘的黃金榮，一邊是青幫大哥大，一邊又是法租界探長，甚至有時候案子還沒發生，他就能提前知道誰會是真兇，著實有點離奇。

1967年，呂樂收到要開始反貪的風聲，此時他的財富已經足夠吃三代人，于是提早退休。

1973年，呂樂讓家人逃往楓葉國，自己則逃往臺灣，因為他知道1974年會有廉政公署成立，這回可是動真格的。而跛豪偏偏不信邪，結果成了出頭鳥。

而新義安在呂樂退位的時候，也收斂了起來，此時錢糧充足，四處招兵買馬，由「大總管」林景帶人四處插旗，到了八十年代末，更是甩開和勝和與14K，成為香港第一大黑幫。

2010年，呂樂在加拿大病逝，一代梟雄就此落幕。

據統計，呂樂在位時斂財超過五億，于是有了《五億探長雷洛》這部電影。但呂樂在接受采訪時表示自己沒有拿那麼多，也不知道是真的還是假的。