En 1936, Sir Hallam Holland (Ed Stoppard) et sa jolie jeune épouse Lady Agnes (Keeley Hawes) reviennent d'une affectation diplomatique à l'étranger et s'installent au 165 Eaton Place, ancienne demeure de la famille Bellamy mais vacante depuis plusieurs années. Par hasard, ils demandent à Rose Buck (Jean Marsh), une servante de longue date de la maison Bellamy, de leur trouver un personnel convenable. À la fin, Rose les rejoint en tant que femme de ménage. Les années 1930 sont une période difficile en Angleterre. La dépression a fait des ravages avec des niveaux élevés de chômage. Le fascisme, qui est devenu populaire sur le continent en Italie et en Allemagne, trouve également des adeptes au Royaume-Uni avec l'Union britannique des fascistes d'Oswald Mosely. Alors que le nouveau personnel commence son travail quotidien, la famille du bas commence à prendre forme