В Великую Отечественную войну генерал-лейтенант И. С. Конев вступил в должность командующего 19-й армией, сформированной из войск Северо-Кавказского военного округа. Армия первоначально была направлена на Юго-Западный фронт, но уже в начале июля из-за катастрофического развития обстановки на западном направлении переброшена на Западный фронт. Однако она не успела прибыть в район Витебска, в ходе дальнейшего Смоленского сражения соединения 19-й армии оказались в окружении, но сам И. С. Конев избежал плена и сумел вывести из окружения управление армии с полком связи. В августе 1941 года его 19-я армия (с новыми дивизиями) участвовала в Духовщинской операции.
Действия Конева на посту командующего армией были высоко оценены И. В. Сталиным. 11 сентября 1941 года И. С. Конев был назначен командующим войсками Западного фронта, 12 сентября ему было присвоено звание генерал-полковника. Командовал войсками Западного фронта чуть более месяца (сентябрь — 10 октября 1941 года), за это время фронт под его командованием потерпел одно из тяжелейших поражений за всю войну в так называемой Вяземской катастрофе. Потери войск фронта составили, по разным оценкам, от 400 000 до 700 000 человек погибшими и попавшими в плен после окружения противником 16-й, 19-й, 20-й, 24-й, 50-й армий и 32-й армии резервного фронта. Для расследования причин катастрофы фронта и наказания Конева прибыла комиссия Государственного комитета обороны во главе с В. М. Молотовым и К. Е. Ворошиловым. В историографии принято считать, что от суда и возможного расстрела Конева спас Г. К. Жуков, предложивший оставить его заместителем командующего фронтом, а через несколько дней рекомендовавший Конева на должность командующего Калининским фронтом.
Калининским фронтом Конев командовал с октября 1941 по август 1942 года, участвовал в битве за Москву, провёл Калининскую оборонительную операцию и Калининскую наступательную операцию. С января 1942 года имя Конева тесно связано с тяжелейшей и малоудачной для советских войск Ржевской битвой, его войска участвовали в Ржевско-Вяземской операции 1942 года, потерпели новое поражение в Холм-Жирковской оборонительной операции.
С августа 1942 года по февраль 1943 года Конев вновь назначен командующим Западным фронтом и совместно с Г. К. Жуковым как представителем Ставки Верховного Главнокомандования (фактически под руководством Жукова) провёл Первую Ржевско-Сычёвскую операцию и операцию «Марс», в которых войска Западного фронта при огромных потерях добились лишь незначительного продвижения на несколько десятков километров. В феврале 1943 года также неудачно была проведена Жиздринская операция, после чего в конце февраля Конев был снят с поста командующего Западным фронтом и назначен командовать гораздо менее важным Северо-Западным фронтом. Однако и там ему не удалось отличиться, войска этого фронта понесли тяжёлые потери и не добились успеха в Старорусской операции.
В июле 1943 года Конев назначен командующим войсками Степного фронта, во главе которого сумел добиться успехов в Курской битве, в Белгородско-Харьковской операции и в битве за Днепр. В августе 1943 года войска Степного фронта Конева освободили Белгород и Харьков, в сентябре 1943 года — Полтаву и Кременчуг, действуя в ходе Полтавско-Кременчугской операции. В конце сентября 1943 года его армии с ходу форсировали Днепр.
В октябре 1943 года Степной фронт был переименован во 2-й Украинский фронт, Конев остался его командующим и в октябре — декабре 1943 года провёл Пятихатскую и Знаменскую операцию, а в январе 1944 года — Кировоградскую операцию. Грандиозным успехом Конева как полководца стала Корсунь-Шевченковская операция, где впервые после Сталинграда была окружена и разгромлена крупная вражеская группировка. За умелую организацию и отличное руководство войсками в этой операции 20 февраля 1944 года Коневу было присвоено воинское звание Маршала Советского Союза. В марте — апреле 1944 года он провёл одно из самых успешных наступлений советских войск — Уманско-Ботошанскую операцию, в которой за месяц боев его войска по распутице и бездорожью прошли на запад свыше 300 километров и 26 марта 1944 года первыми в Красной Армии перешли государственную границу, вступив на территорию Румынии.
С мая 1944 года и до конца войны командовал 1-м Украинским фронтом. В июле — августе 1944 года под его командованием войска фронта разгромили группу армий «Северная Украина» генерал-полковника Йозефа Гарпе в Львовско-Сандомирской операции, захватили и в последующих двухмесячных боях удержали Сандомирский плацдарм, ставший одним из трамплинов для удара по гитлеровской Германии. Также часть сил фронта приняла участие в Восточно-Карпатской операции.
Звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» Ивану Степановичу Коневу присвоено 29 июля 1944 года за умелое руководство войсками фронтов в крупных операциях, в которых были разгромлены сильные группировки противника, личное мужество и героизм.
В январе 1945 года войска фронта в результате стремительного удара и обходного манёвра в Висло-Одерской операции помешали отступавшему противнику разрушить промышленность Силезии, которая имела большое экономическое значение. В феврале 1945 года войска Конева провели Нижне-Силезскую операцию, в марте — Верхне-Силезскую операцию, добившись в обоих существенных результатов. Блестяще действовали его армии в Берлинской операции и в Пражской операции.
Второй медалью «Золотая Звезда» маршал Конев И. С. награждён 1 июня 1945 года за образцовое руководство войсками в завершающих операциях Великой Отечественной войны.
Умер Иван Степанович Конев 21 мая 1973 года. Похоронен на Красной площади у Кремлёвской стены. | 
