黄山先生早年确实是黄家的女婿，娶了黄家一个身体不好的女儿，虽然不是倒插门，但长住妻家，也被人当成了半个赘婿。他在黄家大宅边上开了私塾，收的学生也以黄家子孙以及黄家姻亲故旧子弟为主，就如同是黄家家学的主持人。
他的元配自幼体弱，不能生育，便收养了娘家一个无父无母的族侄，充作养子，指望他能给自己夫妻养老送终。黄山先生与元配感情还不错，从不提纳妾生子的话，并不反对妻子的决定。
夫妻俩抚养这个内侄兼养子，从七八岁养到十七八岁，衣食住行照看得精心，课业教导也十分仔细，把这个名为黄梦龙的养子从衣食无着的可怜孤儿，养成了风度翩翩的年轻秀才，耗尽心血。养子当时看起来也孝顺，一家三口和乐融融。
可黄山先生的元配夫人黄氏因病去世后，情况就不一样了。
黄氏夫人是家中独女，继承了父母的大笔遗产，虽然身体不好，手头却宽裕，生活无忧，还长年资助丈夫的私塾。她死后，这份财产本该由黄山先生与养子黄梦龙继承，可黄氏族中起了贪念，便觉得黄山先生这个外姓人碍眼了。
一次偶然的闲谈，黄山先生与黄氏族中几位当家人谈起了朝廷科举取士的政策，双方有了矛盾。
黄家人都希望南人上榜，占据官场，将北人赶出朝廷，朝廷便是南人说了算了。可黄山先生反对，认为南北取士失衡不利于国家稳定，眼下南人上榜多，北人太少，皇帝迟早会想法子改变现状的。
黄家人都对黄山先生的说法不满，认为他是北人，即使在南方安居多年，也终究跟南人不是一条心。双方不欢而散，过后接连有黄山先生的友人上门与他争论这个话题，黄氏族中也有了他贪图妻家财富，才会自甘堕落做赘婿的流言。
随着流言愈演愈烈，黄山先生再不澄清，就要名声扫地了。可他能如何澄清？黄氏族人都对他不满，他的朋友也有好几个与他反目。他继续留下来，反而说不清了。
而最让他难过的是，一向看重的养子黄梦龙，竟然也附和黄氏族人的说法，认为他有贪图妻子嫁产，中饱私囊维持私塾运行的嫌疑，甚至还编造出了所谓的证据，帮着外人败坏养父的名誉。
不过，兴许在黄梦龙眼中，他与黄氏族人才是一家子，身兼姑父、养父与老师三重身份的黄山先生，反倒是外人吧？
黄山先生与养子割席，只带着一个老仆和简单的行李，两袖清风地离开了黄家，飘然北上，返回了阔别多年的家乡德州。他在德州重遇族人，续娶继妻，再次开馆授徒，继续着名师的人生。
而他分文不取地离开，足以证明他的品行高洁，关于他贪图妻家财产的流言不攻自破。那些与他反目的朋友，虽有人执迷不悟，但大多数人都感到十分愧疚，有人后来还与他恢复了书信联系。
黄家人推出几个不肖子弟，便把造谣的事情蒙混过去了，但亲自出面编造谎言、中伤养父名誉的黄梦龙，就不太好过了。
他是黄山先生的养子兼弟子，却颠倒黑白，忘恩负义，还有什么脸面说自己是有风骨的正人君子？！
黄梦龙选择站在族人这一边，背刺了养父，可当他声名扫地时，族人却毫不犹豫地舍弃了他。
养母留下的财产被收归族中，他只拿着些许私产，被扫地出门。虽然黄氏族谱上还有他的名字，但他已经不能再回族中生活了，在外也不能以黄氏望族子弟身份行走。他在家乡没有立足之地，从此只能流落在外，飘泊无依。