2004年1月1日，伍星葵在某香港集团有限公司董事长张某的陪同下，在公海上参与了一场豪华的赌博活动。据记录，这场豪赌中，输赢金额达到了数十万元之巨，涉及的人员还包括了肇庆市委原副书记黄平方（已另案处理）。在2003年7月至2004年12月期间，伍星葵通过高要市原体育局局长冯某，利用互联网涉足了赌球活动，他累计下注150多万元，遗憾的是，他在这场赌博中输掉了52万元，显示出他对赌博行为的沉迷。从2003年下半年至2004年上半年，伍星葵的赌博行为并未止步，他在四会、怀集、封开、高要、肇庆以及北京等地，与相关人员进行麻将赌博，据查，这些赌博行为导致公款损失了7万多元，显示出其对公款的不当使用。综合这些指控，伍星葵因涉嫌贪污受贿和参与赌博，最终被判有期徒刑4年。这一系列事件揭示了他违反法律的行为和赌博对个人及公款的严重后果。
