В послевоенные годы получил народное прозвище «Маршал Победы». Министр обороны СССР (1955—1957). Член Президиума ЦК КПСС (29 июня—29 октября 1957). Депутат Верховного Совета СССР 1-го, 2-го, 3-го и 4-го созывов.

 В ходе Великой Отечественной войны последовательно занимал должности начальника Генерального штаба, командующего фронтом, члена Ставки Верховного Главнокомандования, Заместителя Верховного Главнокомандующего Вооружёнными Силами СССР. В послевоенное время занимал пост Главкома Сухопутных войск, командовал Одесским, затем Уральским военными округами.

 После смерти Иосифа Сталина стал первым заместителем Министра обороны СССР, с 1955 года по 1957 год — Министром обороны СССР.