马修死后，玛丽陷入了很长时间的一段消沉期，她每天无所事事，似乎心灵也已经随着马修死去。然而时光的脚步不会因为谁的悲伤而停下，唐顿依然是那个楼上楼下忙忙碌碌的唐顿。一家之长罗伯特还是要操心唐顿的营收问题，而老太太也要关心她的孙女们，二小姐还在寻找她的幸福，汤姆则逐渐融入这个大家族，马修的母亲也必须走出丧子之痛。 托马斯依旧在仆人的世界里兴风作浪，似乎没有接受之前的教训；几个女仆和男仆的感情也陷入了纠葛，甚至安娜和贝茨的感情也并非一帆风顺……随着时代的进步，唐顿落后的庄园管理方法亟待改变，而玛丽是否能继承马修的遗愿，继续他未完的事业呢？而面对他人的追求，玛丽又该作何选择？
玛丽得知是格林强奸安娜后相当震惊，她要求吉林厄姆解雇格林，但不久却传来格林被车撞死的消息。当听到没有人看到凶手是谁时，安娜松了一口气。集市当天罗伯特从美国回来，众人一阵欣喜，唐顿众人期待着玛丽在三位追…
罗斯欲与黑人歌手订婚，玛丽为此去伦敦阻止此事。罗莎蒙德姑妈欲带伊迪丝到国外旅行，实则是为伊迪丝在外生子作掩护，老夫人看出了端倪。阿尔弗莱德写信向艾薇求婚，黛西深感伤心。
