Разработал план Керченско-Феодосийской десантной операции. С января по март 1942 года — начальник штаба Крымского фронта. Был снят с должности 10 марта 1942 года после донесения Л. З. Мехлиса И. В. Сталину с обвинением Толбухина в неумелом руководстве войсками при неудачном наступлении на Керченском полуострове. Парадоксальным образом, это решение спасло Толбухина два месяца спустя, когда войска Крымского фронта потерпели катастрофу под Керчью.

 После короткого пребывания в распоряжении Главного управления кадров НКО СССР в мае 1942 года Толбухин был назначен на тыловую должность заместителя командующего войсками Сталинградского военного округа. Но уже через месяц разгорелась Сталинградская битва и немецкие войска развернули наступление на Сталинград. В то время в округе находилась на пополнении 57-й армия, командующим войсками которой в июле 1942 года был назначен Ф. И. Толбухин. В составе Сталинградского фронта армия надёжно держала оборону южнее Сталинграда, а с ноября успешно действовала и в ходе контрнаступления советских войск.

 С февраля по март 1943 года — командующий войсками 68-й армии на Северо-Западном фронте. Участвовал в Старорусской операции в марте 1943 года.

 С марта 1943 года Ф. И. Толбухин командовал войсками Южного (преобразованного 20 октября 1943 года в 4-й Украинский фронт) и с мая 1944 года — 3-го Украинского фронтов. Руководил войсками этих фронтов при освобождении от нацистских захватчиков Донбасса, Южной Украины, Крыма, Югославии и при разгроме противника в Румынии, Болгарии, Венгрии, Австрии. С сентября 1944 года — председатель Союзной контрольной комиссии в Болгарии.