В ночь на 6 апреля 1941 года Югославия подписала с СССР договор о дружбе и взаимопомощи, а утром того же дня над Белградом появились германские бомбардировщики. Когда в Белграде запылали первые пожары, танковая группа Клейста, дислоцированная в Болгарии в составе 12-й армии, перешла югославскую границу. Уже в первый день оборона противника была прорвана. Отбросив 5-ю югославскую армию, Клейст взял направление на север. 11 апреля его танки вошли в пригороды разрушенного немецкой авиацией Белграда. Через шесть дней Югославия капитулировала.
6 мая войска 12-й армии двумя клиньями, из Болгарии и покоренной Югославии, вторглись на территорию Греции. Уже 27 мая над Акрополем развивался немецкий флаг, а танковая группа фон Клейста находилась в Афинах.
22 июня 1941 года немецкие войска вторглись на территорию Советского Союза. Группа армий «Юг» фон Рундштедта в составе трех армий и одной танковой группы наносила главный удар в направлении на Киев. В задачу группы армий «Юг» входило уничтожение частей противника в Галиции и на Западной Украине, овладение переправами через Днепр в районе Киева и дальнейшее наступление после переправы через Днепр в глубь территории СССР. Фон Клейст был назначен командующим 1-й танковой группой, которая должна была стать главной ударной силой вермахта на южном направлении.
На Украине были сосредоточены основные силы РККА. В отличие от частей фон Клюге танковая группа Клейста с первых же дней встретила ожесточенное сопротивление. Командующий фронтом маршал Буденный подтянул свежие танковые части, которые контратаковали немцев и сдерживали их продвижение. До 3 июля продолжались упорные бои. Советские войска отходили очень медленно, часто только после ожесточенных контратак вырвавшихся вперед танковых групп фон Клейста.
4 июля 1-я танковая группа достигла района западнее реки Случь, но обе армии группы «Юг» отставали, преследуя медленно отходящие части Красной Армии. В итоге после двенадцатидневных боев группе армий Рундштедта не удалось вырваться на оперативный простор. Ее армии фронтальным наступлением теснили советские войска, которые, собрав все свои силы, снова контратаковал немецкие части и избежали широкого охвата. Красная Армия, неся тяжелые потери, смогла отвести основные части за реки Случь, Западный Буг, Днестр и в район южнее Могилева. Клейста поражало количество русских танков, участвовавших в контратаках.
5 июля Клейст начал наступление на «линию Сталина» – оборонительные сооружения на старой советской границе. Прорвав укрепленные оборонительные позиции, немецкие танки через несколько дней достигли Бердичева и Житомира. Рундштедт отдал Клейсту приказ захватить Умань, но сильные дожди на несколько дней сделали дороги непроходимыми. Воспользовавшись этим, русские нанесли удары по растянутым флангам 1-й танковой группы. Прошло больше недели, пока Клейст с помощью 6-й армии смог продвинуться к Белой Церкви. Когда после этого он захотел развернуть свои танки на юго-восток, подошедшие части РККА неожиданно ударили по левому флангу, и Клейсту пришлось использовать часть сил для обороны. Только к началу августа войскам группы армий «Юг», постоянно отбивая контратаки, удалось окружить Уманскую группировку Красной Армии. В котле оказались 6-я и 12-я армии.
Теперь танковая группа Клейста быстро продвигалась в сторону Кременчуга, но командование Красной Армии отвело свои части из Бессарабии. К 24 августа Днепр до самого устья оказался в руках немцев.
6-я армия фельдмаршала фон Рейхенау не смогла с ходу взять Киев, натолкнувшись на мощную группировку советских войск. 22 августа Гитлер отдал приказ об уничтожении Киевской группировки противника. 2-я танковая группа, переброшенная из Белоруссии, начала наступление на юг. Через две недели танки фон Клейста вместе с 17-й армией стремительным броском из района Кременчуга вышли на соединение с Гудерианом. 19 сентября Киев был обойден и взят, и советские части, находившиеся в треугольнике Киев – Черкассы – Лохвица, оказались зажаты со всех сторон. Танковые группы в ожесточенных боях отбивали все попытки противника деблокировать свои войска с востока и расчленили внутри котла окруженные армии. К 26 сентября сражение закончилось. В сводке германского главнокомандования сообщалось о пленении 665 000 человек, захвате 3718 орудий и 884 танков.
После окончания битвы за Киев танковая группа Клейста была сосредоточена на восточном берегу Днепра и 24 сентября начала наступление в юго-восточном направлении. Она прорвалась к Запорожью и вместе с 11-й армией генерал-полковника Риттера фон Шоберта в ходе «сражения у Азовского моря» взяла в плен более 100 000 человек. Пока переименованная в армию 1-я танковая группа продвигалась дальше на восток, 11-я армия захватила Крым и окружила Севастополь.
20 октября армия фон Клейста подошла к Таганрогу. Там ее застала осенняя распутица, которая совершенно парализовала снабжение войск. В результате Клейст подошел к Ростову-на-Дону только к середине ноября. Дожди сменились морозами, и машины стали вмерзать в грязь. Когда наконец Клейст был готов продолжить наступление, по его правому флангу ударили три армии РККА, подтянутые с Кавказа. По приказу Рундштедта, несмотря на приказ Гитлера, требовавшего стоять до последнего солдата, Клейст оставил Ростов и отошел обратно к Таганрогу на правый берег реки Миус. Упорная оборона частями РККА Севастополя помешала командованию вермахта бросить 11-ю армию через Керченский пролив и тем самым усилить 1-ю танковую армию, понесшую большие потери. Первая попытка прорваться на Кавказ к источникам нефти провалилась.
Германское командование перед началом летнего наступления хотело ликвидировать выступ, образовавшийся в ходе зимнего контрнаступления Красной Армии в районе города Изюм юго-восточнее Харькова. Одновременно командующий советскими частями Тимошенко по приказу Сталина готовился отбить Харьков.
Тимошенко опередил немцев на неделю. Впервые используя тактику танковых клиньев, войска РККА двинулись в наступление. Первые несколько дней успех сопутствовал советским войскам, но затем Клейст перешел в контрнаступление. Его танковая группа в течение пяти дней окружила 6-ю и 57-ю советские армии. По немецким официальным данным, в плен попали около 240 000 человек.
В конце июня 1942 года на фронте от Таганрога до Курска стояло пять армий вермахта. Группа армий «Юг» была разделена на две части: южную группу «А» под командованием фельдмаршала фон Листа и северную группу «В» под командованием фельдмаршала фон Бока. 28 июня в соответствии с оперативным планом почти миллион солдат вермахта перешли в наступление на южном направлении. Танки Клейста форсировали Северский Донец. Поскольку советское командование ждало наступления на московском направлении, а основная часть сил на юге была уничтожена в ходе последней неудачной операции Тимошенко, Клейст практически не встречал сопротивления. Значительный перевес в живой силе и недостаток в танках не позволяли РККА провести даже местные контрудары.
Форсировав Дон, танки Клейста разделились на две колонны. Одна двинулась на Краснодар, а вторая в сторону Ставрополя. 8 августа немецкие танки вошли в Майкоп. Одновременно два танковых корпуса, продвигавшихся севернее среднего течения Кубани, повернули на Грозный. Но постепенно начала сказываться оторванность передовых частей фон Клейста от баз снабжения. 9 августа танки Клейста заняли Пятигорск, но им пришлось несколько недель ждать горючего. 25 числа наступление продолжилось, но вскоре окончательно застопорилось в Моздоке и южнее Нальчика.
В ноябре 1942 года фон Клейст был назначен командующим вновь созданной группы армий «А».
Советское командование планировало встречными ударами Южного фронта и Черноморской группы войск окружить 1-ю танковую армию, прорвав оборону противника на линии Тихорецк – Ростов-на-Дону. В январе 1943 года Красная Армия начала наступление и без особых усилий прорвала оборону союзников Германии по фашистской «оси». Положение стало катастрофическим. Клейст засыпал ставку требованиями разрешить отвод войск. Наконец Гитлер буквально в последний момент разрешил отход частей вермахта с Кавказа. 1 февраля 1943 года в разгар сражения Клейсту было присвоено звание генерал-фельдмаршала.
Развивая наступление после победы на Курской дуге, 3-й и 4-й Украинские фронты форсировали Днепр. 1 ноября русские вышли к Перекопу и высадили десант в Керчи. После тяжелых боев десанту удалось закрепиться, но как Перекопский перешеек, так и Керченский полуостров успешно оборонялись 17-й армией. Однако в апреле 1944 года немецкие войска пришлось эвакуировать.
За неделю до начала Крымской операции 4-го Украинского фронта – 3 марта 1944 года – Гитлер отправил Клейста в отставку. Чтобы смягчить удар, фюрер наградил фельдмаршала мечами к Рыцарскому кресту.
