Le jeune Cecil Gaines, en quête d'un avenir meilleur, fuit, en 1926, le Sud des États-Unis, en proie à la tyrannie ségrégationniste. Tout en devenant un homme, il acquiert les compétences inestimables qui lui permettent d’atteindre une fonction très convoitée : majordome de la Maison-Blanche. C'est là que Cecil devient, durant sept présidences, un témoin privilégié de son temps et des tractations qui ont lieu au sein du Bureau Ovale.
À la maison, sa femme, Gloria, élève leurs deux fils, et la famille jouit d'une existence confortable grâce au poste de Cecil. Pourtant, son engagement suscite des tensions dans son couple : Gloria s'éloigne de lui et les disputes avec l'un de ses fils, particulièrement anticonformiste, sont incessantes.
À travers le regard de Cecil Gaines, le film retrace l'évolution de la vie politique américaine et des relations entre communautés. De l'assassinat du président Kennedy et de Martin Luther King au mouvement des "Black Panthers", de la guerre du Vietnam au scandale du Watergate, Cecil vit ces événements de l'intérieur, mais aussi en père de famille…