全书剧透：下文讲述主要情节与结局。
一封来信，让管家离开了达林顿府
一九五六年七月，英国乡间的达林顿府已换了主人。达林顿家族拥有这座宅第两个世纪，如今买下它的是美国人法拉戴。新主人喜欢这座古老的英国府第，也喜欢它所代表的生活，连继续留任的管家史蒂文斯，在他眼里都是一件难得的真品。
史蒂文斯却发现，自己越来越难以维持从前的水准。昔日府中有十几乃至二十多名仆役，如今加上他只有四个人。他细细编排工作，关闭用不到的房间，亲自承担额外差事，仍会留下没擦干净的银叉等小错误。他把这些问题归结为人手短缺，始终相信，只要配置得当，自己还能把一切料理好。
法拉戴准备返回美国一段时间，建议他开着自己的福特轿车出去度假，连汽油钱都愿意承担。史蒂文斯原本没有认真考虑。真正使他动心的，是肯顿小姐的一封来信。
肯顿小姐曾是达林顿府的女管家，一九三六年辞职结婚，去了西南部。她现在应当称为本恩太太，但史蒂文斯心里保留着从前的称呼。他们已有二十年没有见面。这次她来信，说自己离开了丈夫的家，暂住熟人处，又怀念起达林顿府的草坪、窗外的景色和一起工作的人。史蒂文斯反复读，认定她暗示想回来。他于是找到一个既体面又实用的旅行理由：到康沃尔拜访她，探询复职的可能，解决府中缺人的问题。
他为出行准备衣服，盘算开销，翻出旅游书熟读她所居住的地区。向法拉戴提起肯顿时，新主人立刻拿这位同龄女性朋友与他的旅行打趣。史蒂文斯尴尬地站着，不知如何回应。法拉戴常常开玩笑，他一直把学会接话也当作一种新的服务要求，甚至练习过俏皮话，效果却很不理想。
终于离府后，他先是反复检查空宅，迟迟不舍出发；驶出熟悉的区域，又一度感到恐慌。在一位老人的劝说下，他爬上一段山路，看见开阔绵延的英国乡野，才开始相信，自己也能享受这趟远行。第一夜，他住在索尔兹伯里。接下来的路程里，眼前的村庄、旅店和陌生人，不断将他引回旧日生活。他越想说明这趟旅行是为了工作，肯顿小姐在往事中占据的位置就越清楚。
父亲最后一次想同他说话
史蒂文斯也是一位管家的儿子。他推崇父亲，把父亲视为职业尊严的榜样：能忍受对自己的冒犯，能把私人情感压住，始终维持服务的秩序。他尤其敬佩父亲曾经伺候过一个自己痛恨的将军——哥哥伦纳德就死于那人的失当指挥之下。为了雇主的重要生意，父亲没有休假，还主动接下贴身服务，把憎恶隐藏得毫无痕迹。
到一九二二年，父亲七十多岁，原来的雇主去世，失去工作与住处。史蒂文斯让他来达林顿府任副管家。肯顿小姐差不多同时来到，接任女管家。
她年轻、能干，也愿意使日子有些颜色。初来不久，她抱着一瓶花进了史蒂文斯阴暗的餐具室，想让那里明亮一点。他谢过她，却说办公的地方不需要这些分心的东西，接着纠正她对父亲的称呼。虽然父亲职位在她之下，她也不该直呼他“威廉”，应当称“史蒂文斯先生”。在他心里，父亲拥有远超这个职位的尊严。
肯顿却看到了他不肯正视的事：老人会忘下簸箕，没擦净银器，把摆件放错地方。史蒂文斯嫌她小题大做，对自己崇敬的父亲始终抱着近乎固执的信心。直到父亲端着一大盘茶点，走向草坪另一头的凉亭时跌倒，达林顿勋爵也亲眼看到了老人的衰弱。
一场重要会议即将在府中召开，主人不愿冒险，要求削减老人的职责。史蒂文斯清早来到父亲狭窄的阁楼房间，把新的工作清单放下：不再侍餐，不得端送托盘。父亲只说自己已经连续五十四年伺候用餐，上次摔倒是因为石阶不平。
此后一个傍晚，肯顿叫史蒂文斯来到楼上窗边。他们看见父亲在凉亭前反复走那几级石阶，上去，下来，低头查看，再郑重地试一次。几十年后，肯顿仍记得这一幕，形容他仿佛要找回失落在那里的珍宝。
老人很快又设法工作起来。他推着小车搬运清洁工具和茶具，补偿不能端盘的限制。会议开始后，他却再次病倒，在走廊里跪在小车前，连抓着车沿的手都需要儿子帮他松开。肯顿主动照护，让史蒂文斯回到楼下接待客人。
第二天傍晚，父亲醒着等他。先问楼下一切是否在掌控之中，随后看着自己的双手，忽然说，希望自己对他来说是个好父亲；又说为这个儿子感到骄傲，但恐怕自己并未做得够好。
史蒂文斯没有接住这番话。他一遍遍说，很高兴父亲感觉好些了；厨房忙得不可开交，明天早上可以再谈。他随即回到宴席。后来肯顿又来通知，父亲情况危急。他上楼看了一会儿，再次离开。等父亲去世时，他仍在楼下替显贵们斟酒。
主人已看见他脸上的泪水，他却解释只是一天太劳累。肯顿问要不要上去，他说眼下太忙，过一会儿再说，请她代父亲合上眼睛。他相信，父亲会希望自己守好岗位。
这夜成了他职业生涯中最自豪的时刻之一。他觉得自己承受了最大的私人痛苦，依然做到了应有的尊严。父亲没能等到的那场谈话，就这样永远留在“明天早上”。
达林顿勋爵要为战败者讨回公道
使全府如此紧张的，是一九二三年三月的一场非官方国际会议。
达林顿勋爵参加过第一次世界大战。他与德国军人布雷曼曾隔着战线为敌，战后却成为朋友。在他看来，战争既已结束，就不该继续把战败者按在地上殴打。布雷曼一次次来访，衣着越来越破旧，人越来越消瘦、恍惚。勋爵亲赴柏林，看见德国的困顿，认为《凡尔赛和约》的惩罚有违自己参战时所相信的正义。
后来布雷曼在火车上自杀。勋爵想援助他的遗属，竟已找不到他们的下落。这件事更促使他与好友大卫·卡迪纳尔爵士奔走，召集外交官、政要和有影响力的人到达林顿府，争取在正式国际会议前形成共识，减轻对德国的限制。最关键的是说服法国代表杜邦，因为法国最不愿松动政策。
史蒂文斯把接待工作看作自己的战役。他相信，大事能否谈成，可能就取决于客人是否舒适。他安排人手、准备各种应变办法，告诉仆役们，历史可能就在这个屋檐下被创造。
美国参议员刘易斯提前抵达，表现得亲切友好，赢得英方信任，引他们坦白说出对法国政策的厌恶。等杜邦到来，他又与之寸步不离，暗中把这些批评转告给他。史蒂文斯偶然听到一些，向主人报告，担心会议遭到破坏。
但最后的宴席上，杜邦宣布支持会议的主要诉求，答应努力推动法国改变立场，还公开斥责刘易斯挑拨。众人欢欣，勋爵觉得自己的努力得到了回报。
刘易斯随即站起来，说这些善良的欧洲绅士都是天真的梦想家。达林顿正派、诚实，却是个外交外行；当今国际事务已经不能靠高贵本能处理。勋爵反驳，说自己更愿把所谓的外行称为荣誉，不愿接受靠欺骗与私利来行事的专业精神。现场为主人热烈鼓掌。
父亲的死，就发生在这场胜利般的晚宴与随后的欢庆中。史蒂文斯把服务好这些人视为参与了值得献身的事业。他相信，只要自己服务的主人足够高尚，自己的劳动就能经由他帮助整个世界。
此后的岁月，正不断考验这份信赖。
肯顿希望他至少说出自己的感受
多年共事中，史蒂文斯与肯顿建立起紧密的配合。一天的工作结束后，两人常在她的起坐间里喝热可可，讨论事务，也会相互逗趣。这种习惯持续了多年。他后来总要强调，这些会面主要是工作性质的，可两人相处时早已有了旁人无法替代的熟悉。
一九三二年，勋爵一度受到黑衫党成员巴尼特太太的影响。他开始说出反犹的话，最后命令史蒂文斯辞退府中的两位犹太女仆鲁思和萨拉，理由是为客人的安全与利益着想。她们已工作六年多，一直表现出色。
史蒂文斯后来声称，自己内心完全反对。但当时面对肯顿的抗议，他说主人已经决定，他们无权争辩；有关犹太人的问题也超出了他们的认识范围，勋爵比他们更有资格判断。
肯顿愤怒地表示，如果两位姑娘被解雇，自己也会辞职。次日上午，史蒂文斯照样通知两人离开。她们哭着来，哭着走，他只保证会给她们好推荐信。
肯顿没有兑现辞职的威胁，史蒂文斯甚至拿这件事取笑她。直到一年多后，勋爵承认当初的做法是错的，想找到两位姑娘作些补偿。史蒂文斯把消息告诉肯顿时，她才坦白自己为什么没走：她没有家人可依靠，只有一位姨妈；想到离开后孤零零生活，就感到害怕。她为自己的怯懦羞愧，却下不了决心。
史蒂文斯说，自己当时也为那次解雇忧虑。肯顿听得惊讶：他从未这样说过。她追问，为什么明知她那么痛苦，却不肯让她知道自己也不赞同？哪怕分享一点感受，她就不必以为自己完全孤立无援。他只能说，本以为自己的反对是不言自明的。
两位姑娘的职位空了出来，肯顿坚持雇用资历很不可靠的丽萨，亲自教导，很快把她培养成能干的女仆。史蒂文斯起初反对，后来也承认她做得出色。可八九个月后，丽萨与第二男仆留下书信，双双出走结婚。丽萨觉得只要有彼此与爱情，钱和前途都可以不要。
肯顿很伤心，觉得自己的心血白费，反复说丽萨本能有更好的职业前程。史蒂文斯倒没有乘机指责她，反而肯定她的培养。他们一起望着那封热切而笨拙的情书，认定姑娘将来会后悔。至于丽萨后来究竟过得怎样，他们并不知道。
他把每一次靠近都送回了工作里
后来有个晚上，肯顿来到餐具室，想看看史蒂文斯正在读什么。他合上书抱在胸口，退后，要求她尊重隐私。她步步靠近，又忽然变得严肃，轻轻掰开他的手指，把书抽出来。那只是一本感伤的爱情小说。
他坚决把她请了出去。回忆这件事时，他解释，阅读是为了改善谈吐，爱情故事中的优雅对话对职业很有帮助，最后才承认自己也会享受其中的乐趣。但在别人面前，一个有尊严的管家不能卸掉角色，他觉得肯顿已经越过了应有的界线，需要重新建立合适的工作关系。
同时，肯顿开始充分利用休假，早早外出，定期收到一个本地人的来信。史蒂文斯向同行提起她情绪反复，对方提醒她可能要结婚。他一面坚称她是献身职业的女性，一面无法停止留意那些来信与外出。
肯顿终于告诉他，自己在见一位旧识。那人曾是另一户人家的管家，如今已离开这一行，在附近商号任职。谈着对方曾有过的职业抱负，她忽然问史蒂文斯：他已经达到事业的顶点，还有什么别的人生目标？
史蒂文斯沉吟后答，只有帮助勋爵完成所有重大使命，自己才能算心满意足。谈话中原有的私人意味，又一次被这番回答挡了回去。
一次热可可聚谈中，肯顿因为疲惫心不在焉，史蒂文斯觉得她不重视工作，执意取消这种每天碰面的安排。她解释只是当晚累，也几次提议恢复，他仍拒绝。他后来才开始思量，这个决定究竟改变了多少事。
肯顿姨妈去世时，他本想安慰她。上午忘了致以慰问，下午终于找机会走进她所在的餐厅，开口却变成询问新雇员适应得怎样。她说一切很好，他又挑出瓷器摆放、角落清扫上的小毛病。她困惑而疲倦地告退。他没能把原来想说的话说出口。
这些片段在一九五六年的路途中反复出现。史蒂文斯一度觉得，每一次都可能是错过的转折；可在当年，他总以为还有无穷的日子，可以慢慢理顺彼此的误会。
一夜之内，两个人都在等他回应
一九三六年的一个晚上，肯顿出门见旧识之前，告诉史蒂文斯，对方已经求婚，她还在考虑；而那人很快就要去西南部工作。史蒂文斯只是表示知悉，祝她度过愉快的夜晚。
这天小卡迪纳尔突然到访。他的父亲大卫爵士已经去世，他如今成了评论国际事务的专栏作家，仍与教父达林顿亲如父子，却越来越不赞成教父的政治活动。他的突然出现让勋爵不快，因为府中正在准备绝密会谈。
晚间，史蒂文斯迎入几位显贵和德国大使里宾特洛甫，警方在府外警戒。他像往常一样守在门厅，等待铃声召唤。
肯顿回来，主动告诉他，自己已接受求婚，希望能早些离职，随丈夫去西南部。他向她道贺，答应尽快找替补，随即要回楼上。她追问，在一起工作这么多年后，他就没有更多的话可说吗？他回答，楼上正在发生具有全球重要意义的事，自己必须回岗位。
她开始说些刺痛他的话，说自己与未婚夫如何模仿他的举止来取乐。他仍告辞上楼。
在那里，小卡迪纳尔叫住他。这个年轻人并非偶然来借宿，而是收到消息，特地赶来阻止教父越陷越深。他告诉史蒂文斯，英国首相正与德国大使会面，达林顿相信自己在促成善事，却已被纳粹当作棋子。他的善意、名望和人脉，正在帮助德国绕过正常外交渠道，直接接触英国最有影响力的人。他还担心，教父正在推动英王访德。
史蒂文斯一再回答，自己没看见主人被利用，也看不出促进理解、维持和平有什么不高尚之处。小卡迪纳尔问：既然关心勋爵，为什么不担心，不好奇，至少考虑一下这些警告？史蒂文斯说，职责不允许他表现出好奇，最明智的做法就是完全信赖主人的判断。
这样的选择已有前因。此前一次夜谈中，贵客曾故意向他连问复杂的政治经济问题，用他的无从回答嘲笑普通民众没有资格决定国家大事。勋爵事后虽为这场折磨道歉，却认同由此证明的观点，认为民主已经过时，强有力的统治更能解决问题。史蒂文斯也逐渐用同样的理由说服自己：既然不能理解国际事务，就把判断留给主人，自己专心服务。
这一夜，他拒绝了小卡迪纳尔的警告。下楼取酒，又遇见肯顿站在门口。她为先前那些嘲弄他的话道歉，他说自己已经不记得，也没有时间闲谈。
回来时，他在她房门外停住，觉得她一定正在哭。他没有听见哭声，也没有敲门证实。手里的托盘还要赶紧送到楼上。他最后继续走了。
那天深夜，他仍守在门厅的拱门下，起初心情低落，随后却又涌起成就感：自己经受住了煎熬，几位能够决定欧洲命运的人就在门后，自己已经抵达管家所能抵达的中心。
肯顿随后离开了达林顿府。史蒂文斯留在那里，继续守护这个中心。
旅行让他越来越难以维持原来的说法
二十年后，他开着福特车驶向肯顿所在的地方，仍在为旧主人辩护。他说爵爷的动机高尚，许多人当年也曾追捧德国大使，如今却只指责达林顿。但有人问他是否曾为那位勋爵工作，他又会回避，甚至直接否认。
第二天，车子散热器缺水，一位退伍勤务兵帮他加水，并推荐莫蒂默池塘。他坐在池边反省刚才为何不承认旧主，又想起此前因同样的否认，害法拉戴在朋友面前难堪。他坚持说，自己只是为了避免听人诋毁主人。
第三天，他在汤顿又想到那些擦得闪亮的银器。主人曾夸它们使哈利法克斯放松，帮助其与里宾特洛甫会面。他过去多么以此为傲，相信连擦亮银器也能推动历史。如今他自己的银叉却开始擦不干净，肯顿的信里也实在找不到想复职的明确一句。他不得不承认，可能是自己过于一厢情愿。
当晚，在塔维斯托克找不到住宿，他迷路，耗尽汽油，只得弃车步行，摸黑穿过泥地和树篱，到莫斯科姆求助。泰勒夫妇热情收留，邻居们纷纷来看，把他当成一位有身份的绅士。他没有及时说明，反而谈起自己战前接触过的政要，以及在国际事务中有过的非官方影响，越说越难以纠正误会。
村民哈里·史密斯谈起尊严，说每一个公民都有权形成自己的意见、投票、表达，这也是他们在战争中抗击希特勒所捍卫的东西。史蒂文斯表面客气，心里仍觉得这种想法不切实际。一个普通人怎么能懂得复杂的国家大事呢？他又回到自己熟悉的答案：选择值得信任的人，然后忠诚地履行本职。
第二天清早，卡莱尔医生给他带来汽油，开车送他回福特旁，私下问他是不是某户人家的男仆。他终于如释重负，承认自己是达林顿府的管家。医生没有让他难堪。离开村子后，他继续向康沃尔开去，已经很难专心欣赏景色。他很快就会见到肯顿小姐了。
她说起了本来可以和他一起过的生活
第四天午后，肯顿主动来到小康普顿的玫瑰花园旅店找他。外面下着大雨，他们坐在茶室窗边，谈了两个小时。
起先，两人客气得有些陌生，很快又找回旧日的笑声和说话习惯。但史蒂文斯也得知，自己对来信的理解出了偏差。肯顿只是离家住了四五天，现在已经回到丈夫身边。丈夫因身体不好即将提前退休，女儿凯瑟琳已经结婚，秋天就要生孩子。她甚至热切地邀请史蒂文斯去看看女儿，女儿早就听过许多他的事。
他告诉她府中的变化，也谈起一些故人。小卡迪纳尔已在第二次世界大战中于比利时阵亡；达林顿把这个教子视若亲子，曾为噩耗悲痛不已。至于勋爵自己，战时便不断受到报纸攻击，战后决定起诉，想为自己讨回公道。结果报纸发行量大增，他的名誉彻底毁掉，整个人垮了下去，府中也日益萧索。三年前，他去世了。
史蒂文斯不愿多谈，想把记忆留在贵客盈门的年代。
见面结束后，他开车送肯顿去公交站，路上提到信中“余生在面前伸展为一片虚空”的话。她说，那也许是几天心情不好时的感受，早已过去。外孙就要出生，她的未来有许多值得期待的事。她问他回府后有什么未来，他说只有工作，做不完的工作，两人一起笑了。
到候车亭，他终于问出一个长久以来困扰自己的问题：她是不是受到丈夫的虐待，所以才会不幸福、屡次离家？
她明确否认。本恩善良可靠，从未错待她。她接着坦白，自己离开达林顿府时并没有真正意识到这次离开意味着什么，仿佛那只是又一种激怒史蒂文斯的办法。结婚后，她才惊觉，自己真的成了别人的妻子，真的离开了。最初很长时间，她并不爱丈夫，也过得很不快乐。
可是战争来了，女儿长大了，他们共同生活一年又一年。她后来发现，自己已经渐渐爱上这个可靠的人。
她也承认，在某些极其孤独的时刻，仍会觉得自己犯了可怕的错误，想象另一种可能更好的生活——例如，本来可以和史蒂文斯一起度过的生活。那时她会为琐事发怒、离家。但每一次，她也会慢慢明白，自己应当与丈夫相伴。时光不能倒流，不能永远住在可能发生的生活里。
史蒂文斯终于承认，听到这些话时，自己的心都碎了。
他没有请求她留下，也没有邀她回府。片刻之后，他微笑着赞同她，劝她珍惜已经拥有的东西，期待丈夫退休和外孙降生，不要再让这些想法妨碍幸福。公共汽车来了，她眼中含着泪，两人告别。他说，他们也许再也见不到了，请她照顾好自己。
她上车离去。他期待的重返旧日，已经有了明确的答案。
码头亮灯以后
两天后，史蒂文斯坐在韦茅斯的码头，看着海上日落，等待彩灯亮起。他计划第二天返回达林顿府。
一位退休管家坐到旁边，同他攀谈。他先讲起从前管理大宅的技巧，讲如何让庞大而复杂的工作运转得仿佛毫不费力。讲到现在，却终于说，自己已经把能奉献的一切都给了达林顿勋爵，如今所剩无几。他很努力地服务新主人，仍做不到过去的水准，失误越来越多，他知道那意味着什么。
说到这里，对方开始找手帕给他。他又以旅途太累为自己的失态解释。
这一次，他也不再只是替主人辩解。他说，勋爵并非坏人，至少到了晚年能够承认自己犯错，至少那条误入歧途的道路是主人自己选的。而自己一直相信主人的智慧，确信劳动有价值，连“是我自己犯了错误”都不能说。他问，这里面到底有什么尊严？
退休管家没有替他回答，只劝他别总回头看，人总会衰老，工作做完之后也该学着享受生活。傍晚，是一天中最好的时光。
码头彩灯亮了，人群欢呼。史蒂文斯觉得，这建议也许有些道理，自己应当把余下的人生过好。可他并没有就此完全放下原来的信念，仍在想，像自己这样的人也许只能把命运交给那些居于中心的人；如果为了有价值的事业尽过力，献身本身或许就值得自豪。
他转身看身后的人群，发现几位刚刚结识的陌生人已经相互逗趣，笑得很亲热。他这才开始觉得，说笑也许能使人建立感情，值得更加热心地学习。
法拉戴再过一周就回来。史蒂文斯决定，回府之后重新努力练习俏皮话，好给主人一个愉快的惊喜。
他仍要回到熟悉的岗位。他终于说出了心碎与疑问，也刚刚开始注意，那些自己总怕应对失当的玩笑，原来能让陌生人彼此靠近。