我极度讨厌沈复回忆这段经历时玩世不恭的语气：“余四月在彼处，共费百余金，得尝荔枝鲜果，亦生平快事。”沈复后半生与芸娘穷困潦倒，可是居然在广东嫖妓花费了百余两银子；又将喜儿比作荔枝鲜果，还沾沾自喜地总结为生平快事。更有甚者，当徐秀峰告诉他喜儿几乎为他自杀，他写：“噫！‘半年一觉扬帮梦，赢得花船薄幸名’矣。”这一句，即便是感慨，也难免矫情和炫耀之嫌。
杜牧才名卓著，更是风流浪子。在扬州入牛僧孺幕府期间，足迹遍及烟花柳巷，那首《遣怀》诗中“十年一觉扬州梦，赢得青楼薄幸名”的诗句，甚至成为他游荡青楼的真实写照。可是在得知喜儿欲自杀的前提下，化用杜牧的这句诗，沈复啊，是不是说得太轻飘也太无情了？纵然是男人的一场情色游戏，那女孩儿的一番痴情，痛苦到欲结束生命的绝望和悲伤，难道，不是你种下的孽情，不是你欠下的情债？因此，这置身事外的淡然态度，实属不该。
若不是沈复有坦诚的勇气和率真的性情，若不是那个年代封建主流思想的局限，或者若没有这段情节以外的文字对他的品性进行立体印证，我简直要怀疑他的格调了。
若把他与芸娘伉俪情深的一生，当作一场对饮，那么这意外的经历，似乎更像他瞬间的分心走神。在短暂的走神期间，他给自己放了一次假，去寻了一回欢，做了一些在当时的社会环境下不足为奇的事情。他不以为然，芸娘也不会怪罪，男人三妻四妾都寻常，偶尔走走神寻寻欢，她又何必计较？
事实上，芸娘不仅没有计较，还一心一意谋划着为沈复纳妾。那个与其说是沈复中意、不如说是芸娘看中的女子，便是憨园。
论姿质，憨园胜于喜儿，这是以芸娘的审美标准来推测的。芸娘不曾见过喜儿，但见过徐秀峰从广东买回的那个妓女，徐秀峰曾向芸娘艳称新人之美，想必这新人在他与沈复“打水围”的妓船上，也算得姿色上乘，起码不亚于喜儿。但与芸娘眼中的憨园相比，显然憨园才称得上“美而韵”。
沈复虽一直婉拒芸娘为他纳妾的好意，并说“况我两人伉俪正笃，何必外求？”但私心里，除去“穷措大”的自卑和唯恐“非金屋不能贮”的窘迫，对这般“美而韵”的妙人儿，又有芸娘全力撮合，他并非没有据为己有的欲望。
被闲憨拉到浙妓温冷香家，发现这位沸传一时的名妓已徐娘半老，但她的女儿憨园却正值青春妙龄。初见憨园，沈复便写：“有女名憨园，瓜期未破，亭亭玉立，真‘一泓秋水照人寒’者也。款接间，颇知文墨。”
言辞间对憨园的倾慕和赞美，沈复自然流露，不加伪饰。何况，这女子“颇知文墨”，对于沈复这样的男人来说，这一点尤其重要，比之前与喜儿的接触，憨园显然更符合他理想中女性的标准。
最难能可贵的，是芸娘的支持，芸娘甚至信心满满地承诺：我自爱之，子姑待之。
但憨园终究不是喜儿。她虽然也年轻，人生的阅历尚不丰富，但若将她和喜儿比作两张白纸，喜儿这张白纸远比她透明，也远比她单纯。
芸娘心心念念地对她好，拉拢甚至讨好她，千方百计取得她的信任和好感，并焚香结盟，以姐妹相称，最后憨园还半推半就戴上了默许为妾的信物——翡翠臂钏，夫妇俩为此暗自庆贺，似乎佳人已得，一切只待东风为便了。
但最终，这位美而韵的女子，却成了他人金屋中的阿娇。
这样的结局让聪慧如斯的芸娘也措手不及，并引发咯血症的旧疾，病中屡念“憨何负我！”可见憨园的背弃对她是何等沉重的打击。
有人分析，说芸娘对憨园的执着，是因为她是一个女同性恋者，借为夫君纳妾这个掩体，实为行不可告人的恋情之实。这样的妄测显然很无聊，几百年后脱离沈复的文本，以猎奇的眼光重新看待芸娘，对她的性别取向产生主观上的猜测和疑问，这简直有哗众取宠和恶意炒作之嫌，让作古数百年的沈复和芸娘，情何以堪？
憨园的离去，沈复说是被有力者夺去，我倒觉得这只是一个借口罢了。憨园与沈复夫妇的交往，其实一直都处在半推半就的情绪之下。显然，她对芸娘的好感远胜于对沈复，甚至，她与沈复始终隔着远远的距离，并无真正的交接，只芸娘在其间穿针引线，殷切奔忙。她不像喜儿那样，对沈复有了割舍不下的真挚感情。她只是应付着芸娘的热情，最多，在得知芸娘为夫纳妾的意图后，见到沈复，面有羞色。可是，这也并不能说明，她对沈复就有了爱意和好感。
温冷香，憨园的母亲，一个不曾在文字中正面出现的浙妓，会作诗，懂风情，也善于同男人周旋，她的江湖阅历和对世俗人情的体验，即便称不上老辣，也已修炼得圆融通透、绵里藏针般世故无形。说憨园被有力者夺去，不如说是憨园的母亲不同意女儿嫁给一介寒士为妾，而是另择了有势力者，作为生活的依靠。
这显然并没有错。若憨园果真对沈复有意，当另作别论，但有母亲温冷香作人生指导，她比孤苦无依、缺乏温暖的喜儿，便要矜持得多，从容得多，也世故得多！因此，纵然大雨中赴了芸娘的约，也只浅尝辄止地在与芸娘结盟后便立即告辞离开。游石湖不过是托辞，她若对沈复有情，如此温馨时刻，还有心思游什么石湖？她只是不给沈复和芸娘留下半点机会旁论其他，更没有丝毫留恋的意思。因此这个美而韵的女子，她有着明确而清醒的内心，真性情的芸娘根本无法看透。
沈复的一生中，喜儿和憨园，是两朵不同的野蔷薇，更稚嫩的那一朵，坦露在阳光下，一不小心就被冷雨摧折，悲凉得让人怜惜；更娇艳的那一朵，始终与他保持着不远不近的距离，却无时无刻不在影响着他的生活。她们，也许是他命中的劫数。他负了前一个；后一个，便来负了他的整个生活——芸娘为之起病，这病继而夺走了他身边最为珍贵的女人。
包括芸娘在内，这三个女人，没有一个，能够陪他白头终老。