霍芝庭乃广东南海人，少年时在香港做商店杂工，后继承其父在广州开设“福利”铁锅店，结识了广东水师提督的军需官，合伙经营旧军械投机生意，从而敛得大笔资产。龙济光入主广东时，霍芝庭与之结识。1914年，广东发生大水灾，龙济光以救灾为名，设立“水灾善后有奖议会”，在全省公开投标招商承办山铺票。大富商麦竹寰中标承办，设总厂于广州。霍芝庭与另一位叫植梓卿的人合办了江门、佛山两地的分厂。霍芝庭与龙济光暗中勾结，吞并了广州总厂，承办全省的山票和铺票赌博。
1918年至1920年，桂系军阀入主广东，大肆倡赌。霍芝庭以每月缴饷3万元，承租广州市番摊赌博最热闹的地段，设立了“明生”、“荣生”、“广恒”、“广益”四大番摊公司。陈炯明杀回广东后下令禁绝烟赌，霍芝庭逃往香港。
1923年，桂滇军又入据广东，开放烟赌。滇军招商承办全省山铺票，战事尚未结束，各赌商不敢冒险投承。结果霍芝庭以月饷51万元承办。滇军与他约定试办3个月，期满后再行协议。霍芝庭在试办的3个月，获纯利20万元。期满后，政局稳定，省财政厅收回山铺票的投承权，公开招商承投。结果霍芝庭又以月饷10万元中标。是年，霍芝庭获纯利近百万。霍芝庭对赌业兴趣愈浓，每年都设法投得山铺票的承办权，并雄心勃勃，时刻想染指香港、澳门的赌博业。霍芝庭认为，若要在赌博行业干出一番辉煌的业绩，最佳地点是在澳门。
1930年初，卢九为了投得澳门赌场的经营权，主动找上门来，希望得到霍芝庭的支持。霍芝庭喜出望外，联合香港康年银行创办人李声炬鼎力支持卢九，使“豪兴公司”再度投得澳门赌场的经营权，并成为该公司的主要股东和后台。
霍芝庭发现卢九虽热衷于赌业，实际上并无经验，且无大志。澳门赌业所以停步不前，正是因为没有雄才大略之人。
1930年5月，霍芝庭从广州来到澳门，受到了卢九、范洁朋、何士等人的盛情接待，并陪同观看了二、四楼的赌场，请求指点。以一代赌王自居的霍芝庭当场指出澳门赌业较过去虽有进步，但品种太单调，必须增设“番摊”、“骰宝”、“牌九”等新鲜玩意，旨在吸引香港、内地更多的赌客。卢九等人欣然接受。为了讨好他，还提供澳门最靓的女人为他服务……霍芝庭不觉有点飘飘然。
一天晚宴，卢九向他敬酒，说：“澳门赌业有今天，全仰仗着霍老板的扶植……请接受澳门赌业同仁的敬意，希望霍老板有时间经常过来指点。”
霍芝庭已有几分醉意，便毫无顾忌地把心里话全说了出来：“经常过来？澳门也算是我的一块地盘，我当然会常来！”
