曾家母女的房子被马家恶奴纵火烧掉以后，本想拿着刘子光给的二百两银子再盖一间房子，买一艘小船继续生活下去，可是马文才又带人来了几次，还抬来了花轿准备抢亲，幸亏母女俩乘船躲到了湖上才没被抓去，可是躲得了初一躲不了十五，这样下去不是个办法，就带着银子来到了距离淮阴县八十里的洪泽县，想在县城买所小房子，做点刺绣、浆洗衣服的活计，就这样生活下去。
张罗了几天，花了五十两银子买了一所小房子，可是进进出出的引起了邻居的注意，这位邻居不是旁人，正是洪泽县衙三班六房的头一号人物潘三爷。所谓六房，即吏户礼兵刑工六房的总称。所谓三班即皂班、捕班、壮班。六房三班总称吏役。皂班亦称西班，掌行刑站堂；捕班亦称快班，掌缉捕拘拿；壮班掌护从站堂。
总的来说这位潘三爷相当于县公安局刑警大队长，本来这个职位也没什么，可是人家还有点锦衣卫的背景，听说连县太爷都有点怕他，万一哪天真拿出锦衣卫的腰牌来请县太爷到外面叙话，那可是很恐怖的一件事。
所以潘三爷在洪泽县基本就是横着走的，可是这个人也不怎么欺压乡里，凡事他喜欢用计谋，因为他觉得强取豪夺太不专业，看见漂亮小妞就抢，看见有钱的外地客商当街就夺，那样不行，没脑子，丢人！
潘三爷喜欢玩女人，县城最大的妓院春香楼就是他的产业，里面每个窑姐都是他亲自试验过功夫招进来的，京城秦淮河一带的高级场所他老人家也去过无数次，据说还和八艳之一的柳如是同桌吃过酒呢，要不是文坛泰斗钱益谦抢先一步把柳美人娶进家，就凭潘三爷泡妞的本事，花落谁家还不一定呢。
潘三爷看见了曾橙，那一瞬间他只觉得自己这四十年是白活了！怎么天底下还有这么漂亮的可人儿，他脑子里有限的词汇已经不足以形容了。最后还是衙门高师爷帮他想了一句形容词“清水出芙蓉，天然去雕饰”。
太他妈贴切了！潘三爷一拍大腿，放出话去，谁也不许碰这母女俩，一切都要听从三爷的安排。
一张大网撒了下去，先是母女俩家被窃贼光顾，剩下的银子不翼而飞，邻居潘三爷慷慨解囊，赞助了几吊钱买米买菜，并且声明是不用还的。然后是泼皮流氓当街调戏曾橙，被三爷一条链子直接锁去衙门打板子。然后三爷拍着胸脯说：“有困难找我快班潘三！我就住在一拐弯十丈远的地方。”
老实说，潘三爷的形象并不差，年轻时候也是玉树临风的，现在稍微老了点，有点酒色过度的