接着海瑞又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿，不过什么时候生的不太清楚。嘉靖四十三年(1564)十月海瑞被调到北京户部(财政部)工作，海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携同二男三女扶侍海太夫人从海瑞在江西兴国县令的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞52岁。于此可知，当年海瑞任淳安县令的时候，他身边至少已有两个已经十几岁的女儿，和两个年幼的儿子。

王夫人于隆庆二年(1568)七月二十四日晚上去世，据海瑞说是生病死的，但也有人说是自杀的，《万历十五年》说王夫人“于1569年在极为可疑的情况下死去”(1569年的说法有误)。在王夫人去世前11天，海瑞的妾韩氏上吊自杀。这两件事联系起来，使海瑞的家庭生活变得扑朔迷离。韩氏为何自杀？王夫人到底因何而死？这些事已经成了历史之谜，但海瑞在官场上却有了非常不好的名声。〔1〕这时候的海瑞在南京任正四品的通政司右通政(相当于副省级干部)之职，他是半年多前才到南京来的。那么，海瑞纳韩氏为妾可能是在北京，也可能是到南京之后的事，无论哪种情况，韩氏跟随海瑞的时间都不算长。

必须交待的一件事是嘉靖四十四年(1565)十月海瑞上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”——《治安疏》而在次年二月下狱，两个儿子就在这一年死了，一个11岁，一个9岁，而海瑞已经54岁了。可以想见，这个打击对海家来说会是怎样的致命。妻死妾亡，海瑞的心态如何呢？据一封写给朋友的信件透露，海瑞说自己“每一思及，百念灰矣”，可见他未必是人们想象的那种无情之人，对妻妾也不是没有感情。而酿成这样的家庭悲剧，症结可能还是出在已近八十高龄的海太夫人身上。

海瑞还有一妾姓邱，史料中只说她为晚年的海瑞生了一个儿子，但长到三岁就夭折了。

海瑞于隆庆四年(1570)四月申请退休，获准后离开南京回家乡琼山闲居，从此离开官场15年，直到万历十三年(1585)正月已经73岁时才重新回到官场，到南京任都察院右都御史及吏部右侍郎之职。邱氏什么时候所纳史无明文，或许是海瑞在家乡闲居时所纳，但万历十五年十月十四日海瑞死的时候有“二媵四仆”〔1〕。媵是侧室，也就是小妾。这二妾中有一个可能是邱氏，另一个则可能是重回南京后所纳(因韩氏已死)。当然，也不排除这二妾中邱氏不在内的可能。假定这二妾一个是邱氏，一个便是政敌攻击海瑞时所说“瑞已耄，而妻方艾”的那个“方艾”的女孩，那么海瑞也已经有过三个小妾，这样“六娶说”就不是高估，而是有确切证据的最低估计。