Командовал 9-м механизированным корпусом в сражении под Дубно-Луцком-Бродами. Несмотря на некомплект танков и транспорта, войска 9 мехкорпуса в течение июня—июля 1941 года активной обороной изматывали противника, отступая только по приказу. За успехи был представлен к 4-му ордену Красного Знамени.11 июля 1941 года назначен командующим 4-й армией на южном фланге Западного фронта, 17 июля Рокоссовский прибыл в штаб Западного фронта, однако в связи с ухудшением обстановки ему поручено руководство оперативной группой для восстановления положения в районе Смоленска. Ему выделили группу офицеров, радиостанцию и два автомобиля; остальное он должен был добирать сам: останавливать и подчинять себе остатки 19-й, 20-й и 16-й армий, выходивших из смоленского котла, и удерживать этими силами район Ярцево. Группа Рокоссовского способствовала деблокаде окружённых в районе Смоленска советских армий. 10 августа она была реорганизована в 16-ю армию (второго формирования), а Рокоссовский стал командующим этой армией; 11 сентября 1941 года получил звание генерал-лейтенанта.

 26 мая, после перенесенного ранения, прибыл в Сухиничи и вновь принял командование 16-й армией. С 13 июля 1942 года — командующий войсками Брянского фронта. 30 сентября 1942 года генерал-лейтенант К. К. Рокоссовский был назначен командующим Донским фронтом. При его участии был разработан план операции «Уран» по окружению и уничтожению вражеской группировки, наступавшей на Сталинград. Силами нескольких фронтов 19 ноября 1942 года началось проведение операции, 23 ноября кольцо вокруг 6-й армии генерала Ф. Паулюса было замкнуто.

 Руководство по разгрому вражеской группировки Ставка поручила Донскому фронту во главе с К. К. Рокоссовским, который 15 января 1943 года получил звание генерал-полковника.

 31 января 1943 года войска под командованием К. К. Рокоссовского пленили фельдмаршала Ф. Паулюса, 24 генерала, 2500 немецких офицеров, 90 тыс. солдат.

 28 января 1943 года Рокоссовский был награждён только что учреждённым орденом Суворова.

 В феврале — марте 1943 года Рокоссовский руководил войсками Центрального фронта в Севской операции.

 После Курской битвы Рокоссовский успешно провёл силами Центрального (с октября 1943 года переименованного в Белорусский) фронта Черниговско-Припятскую операцию, Гомельско-Речицкую операцию, Калинковичско-Мозырскую и Рогачевско-Жлобинскую операции.

Операция «Багратион» началась 23 июня 1944 года. В рамках Белорусской операции Рокоссовский успешно проводит Бобруйскую, Минскую и Люблин-Брестскую операции.

 29 июня 1944 года генералу армии К. К. Рокоссовскому была вручена бриллиантовая звезда Маршала Советского Союза, а 30 июля — первая Звезда Героя Советского Союза. К 11 июля была взята в плен 105-тысячная группировка противника. Когда на Западе усомнились в количестве пленных в ходе операции «Багратион», И. В. Сталин приказал провести их по улицам Москвы. С этого момента И. В. Сталин стал называть К. К. Рокоссовского по имени и отчеству, такого обращения удостаивался лишь маршал Б. М. Шапошников.

 24 июня 1945 года по решению И. В. Сталина К. К. Рокоссовский командовал Парадом Победы в Москве.