第一季的故事从 1912 到 1914 年第一次世界大战爆发。Grantham 的伯爵头衔及产业只能由男性继承人同时继承。现任伯爵 Robert 通过迎娶了极富有的 Cora 才让产业得救，同时她的巨额财产按照契约永久的成为伯爵资产 的一部分。没有子嗣的伯爵只能让侄儿 Patrick 成为法定继承人（即大女儿 Mary 的未婚夫）。可 Patrick 却在泰坦尼克号事故中丧生，而他们的远 房亲戚 Matthew 将继承他们的一切，包括伯爵夫人的个人巨额财产。围绕财产的继承问题，Mary 和 Matthew 的情感纠葛，Grantham 一家和 仆人们的关系，会发展会怎样的故事呢？

第二季的故事从 1916 年到 1918 年康边停战协定。正值战争时期，壮年男性都去了前线参加战争，而 Grantham 伯爵 Robert 因为年龄而无法服役而留下。而唐顿庄园却因此遭到了男性劳动力的短缺。Grantham 家三个女儿的命运也发生了改变。Mary 为了掩盖年少时的丑闻不得已与一暴发户订婚，当回到唐顿发现 Matthew 已经订婚时，强忍悲伤。Edith 一改往日张扬跋扈留在家中照顾前来疗养的士兵。Sybil 不但投身于为女权运动还不顾反对与家中的司机结合。同样，在本季中，Bates 和 Anna 的感情戏也加重了戏码。在这个战火缭绕的年代，这个家庭又会发生了怎么样的变化呢？

时代在向前行进，唐顿庄园则依然维持它表面的平静和不变。大表哥 Matthew 继圣诞夜求婚成功后，开始和 Mary 筹划着婚礼。Edith 依然在为自己的幸福拼搏着。Sybil 怀着身孕和小司机 Branson 回到唐顿准备参加 Mary 的婚礼。看似顺利的唐顿庄园，也潜伏着令人不安的因素。老爷被告知投资失败，唐顿庄园可能将没有资金维持。另一方面，Matthew 成了前未婚妻 Lavinia 父亲的遗产继承候选人，顺位在他前面的二人因为各种原因都丧失了继承的条件，Matthew 意外获得了一笔巨额财富，但他出于良心上的不安，不准备接受。而 Bates 依然深陷狱中，等待出头之日。围绕着“变革”二字，唐顿庄园的转型不可避免。

Matthew 死后，Mary 陷入了很长时间的一段消沉期，她每天无所事事，似乎心灵也已经随 Matthew 死去。然而时光的脚步不会因为谁的悲伤而停下，唐顿依然是那个楼上楼下忙忙碌碌的唐顿。一家之长 Robert 还是要操心唐顿的营收问题，而老夫人 Violet 也要关心她的孙女们，二小姐 Edith 还在寻找她的幸福，Tom 则逐渐融入这个大家族，Matthew 的母亲也必须走出丧子之痛。Thomas 依旧在仆人的世界里兴风作浪，似乎没有接受之前的教训。几个女仆和男仆的感情也陷入了纠葛，甚至 Anna 和 Bates 的感情也并非一帆风顺。随着时代的进步，唐顿落后的庄园管理方法亟待改变，而 Mary 是否能继承 Matthew 的遗愿，继续他未完的事业呢？而面对他人的追求，Mary 又该作何选择？

第五季背景设定在1924年，唐顿庄园面临家族和社会的挑战。当地人准备建立一座战争纪念碑，但是卡森和罗伯特、休斯夫人发生了矛盾。吉米吸引了一些女性的关注，结果给他带来了大问题。巴克斯特被迫面对一个最后通牒。汤姆与莎拉的友谊快速发展，这引发了罗伯特的担忧。玛丽已经做好了再次寻找爱情的准备。伊迪丝和德鲁的特别安排可能彻底崩溃，因为她越来越不能控制自己的感情，这给每个人都带来了灾难性的后果。

家族成员的生活遭遇戏剧性的变化，格兰瑟姆伯爵一家在拜访了一位靠着变卖家当以维持生计的邻居之后，意识到他必须精简开支。为了省钱，夫妇二人无奈遣散了家中的仆人。为了学会自己照顾自己，从穿衣到做饭，他们都需要自己动手。令人吃惊的是，推动这一改变的正是家族的大家长格兰瑟姆伯爵。他意识到家族的命运开始走向衰落。为了维护摇摇欲坠的庄园，他们需要付出一些代价，那就是家族的成员们不能再像以前那样奢侈地生活。