Советские войска штурмовали немецкую оборону в течение следующих пяти дней, но свежие и очень подвижные танковые дивизии практически безошибочно появлялись там, где возникала угроза, и ударами во фланг вынуждали советские войска переходить к обороне, защищая то немногое, что им удалось отвоевать. В эти же дни серьезное потрясение испытала служба разведки немецких войск: из данных аэрофотосъемки там стало известно о двух крупных танковых формированиях, двигавшихся к полям сражений под Орлом. Помимо этого, было замечено передвижение крупных армейских группировок к югу от Курска под Белгородом, и это несмотря на то, что наступление советских войск было отбито и на Миусе, и под Изюмом. Все это говорило о готовящемся новом наступлении русских. Стало очевидным, что советское командование оказалось способным собрать гораздо большую ударную силу, чем немцы когда-либо могли подозревать.
Операция «Румянцев» началась 3 июля наступлением советских войск на главном направлении удара. Планы советского командования, автором которых являлся сам Жуков, были просты и бесхитростны. На направлении главного удара он собрал почти пять полностью укомплектованных армий (5-ю и 6-ю гвардейские, а также 53-ю, 69-ю и часть 7-й гвардейской армии), поддержанных двумя танковыми армиями — 1-й и 5-й гвардейской. Через два дня после начала этого наступления нанесут свой удар две армии правого фланга; спустя три дня после этого должны будут ударить еще две армии на левом фланге. В целом к моменту принятия решения на трех советских фронтах — Воронежском, Степном и Юго-Западном — было сосредоточено 990 000 штыков, 12 000 орудий и 2 400 танков.
Этой силе противостояла 4-я танковая армия Готта и оперативная группа «Кемпф». Хорошо отдохнувшие пехотинцы заняли позиции на передовой, и непосредственную поддержку им обеспечила 7-я танковая дивизия. Немецкая оборона была глубоко эшелонированной — семь линий обороны защищало Харьков с севера и три линии с востока. Белгород, который находился на минимальном удалении от линии фронта, тоже защищало несколько линий обороны, а также многочисленные фортификационные сооружения. Поддержку пехоте обеспечивали высокоподвижные боевые формирования, которые готовились для участия в операции «Цитадель» — XLVIII танковый корпус и II танковый корпус СС. За исключением двух танковых дивизий, которые успешно отражали попытку прорыва русских войск на реке Миус, здесь в полном составе присутствовала группа армий «Юг». Кроме того, для уничтожения плацдарма русских под Изюмом, II танковый корпус СС временно направил туда 3-ю моторизованную дивизию СС «Мертвая голова». Но в целом немцы смогли вывести на поле боя только 350 000 штыков и около 900 танков.
Когда войска Жукова пошли в наступление, решающую роль сыграло неравенство в силах. В пять часов утра началось артиллерийское наступление, в 8 часов 00 минут пошла в бой пехота, и к полудню в первой линии немецкой обороны была пробита брешь шириною в 10 км. Для развития успеха в образованную брешь были введены обе танковые армии, и к концу дня они ушли примерно на 25 км в глубину немецкой обороны. Наступая, пехотинцы Жукова отставали от танкистов примерно на 15 км, поскольку им приходилось подавлять очаги немецкой обороны. Этот разрыв в рядах наступающих создаст благоприятную возможность, которая будет на руку фон Манштейну.
В то время когда разгорались ожесточенные бои на Харьковском направлении, Гитлер рассматривал предложение командования группы армий «Центр» о выводе войск с Орловского выступа. Как это много раз бывало с ним ранее, Гитлер первоначально хотел сказать этому предложению «нет», но тунисская катастрофа была еще слишком жива в его памяти. Из-за внезапного прорыва фронта под Харьковом ему приходится иначе распорядиться теми резервами, которые он мог бы использовать, чтобы удержать Орел. Четвертого июля Гитлер разрешил фон Клюге отступить к «Линии Хагена». Шестью днями позже, когда англичане и американцы захватили Сицилию, это разрешение превратилось в приказ, подлежащий немедленному исполнению.
На Северном направлении фон Клюге и командующие его армиями были вынуждены сдерживать постоянный напор русских и их танков, подходивших к передовой. К счастью для них, Сталин 'И его генералы упростили им эту задачу. Последние вводили танковые армии в бой отдельно, по мере их поступления, и это позволяло немцам маневрировать внутри своей системы обороны и поочередно отбивать атаки противника.
Первой на передовую пришла 3-я танковая армия, которая шла сюда с Восточного направления. Вместо того чтобы использовать успех, достигнутый 3-й и 63-й армиями, и развить тот неглубокий прорыв, который был сделан ими, генерал П. С. Рыбалко, который командовал этой армией, решил совершить свой прорыв. Атака, которую подразделения его армии совершили 6 июля, была в общем успешной. Внезапность и сила удара позволила его солдатам углубиться более чем на 11 км в оборону противника, однако потери в живой силе и в технике были высокими. Задачи на расходящихся направлениях, которые были поставлены, с одной стороны, Сталиным и его непосредственным фронтовым командованием, с другой стороны, вынудили Рыбалко разделить свою и без того уже ослабленную армию на две части. Эти приказы привели к тому, что 3-я танковая армия не смогла противостоять контратакам 2-й и 8-й танковых дивизий, каждая из которых, действуя самостоятельно, остановила продвижение обоих ее звеньев.
К тому времени, когда на фронт прибыла 4-я танковая армия, у советского командования уже не оставалось сомнений, что немцы выводят войска из выступа. Оно попыталось усилить натиск своих частей, чтобы запереть здесь как можно больше войск противника. Неосновные мобильные силы Сталина, а именно 2-я и 3-я танковые армии, оказались практически разбитыми: имея в своем исходном составе соответственно 450 и 730 танков, каждая армия располагала теперь не более чем 60 машинами. Преследование отходящего противника силами пехоты не имело необходимой скорости и в силу этого не могло быть эффективным. Поэтому получилось так, что 4-я танковая армия была отправлена в наступление практически без всякого прикрытия. В первый же день она попала в противотанковую засаду в виде расположенных в укрытии танков и штурмовых орудий и потеряла 50 процентов своих машин.
После того как потерял свою силу последний высокоподвижный резерв советского командования, немцы к 20 июля смогли завершить отвод своих войск и вывезти 53 000 тонн боеприпасов. Они уничтожили все сооружения, которые могли иметь военное значение, и, уходя, сожгли урожай зерновых. В активе советского командования оказалась огромная территория, освобожденная при проведении операции «Кутузов», но при этом было потеряно более 550 000 человек убитыми и ранеными и 80 процентов бронетанковой техники.
Наступление на юге, которое было запланировано Жуковым, замедлилось. В должный час оно было начато одновременной атакой с двух сторон, но оказалось практически бессильным преодолеть немецкую оборону. Однако ввод в бой дополнительных сил вбил клин между немецкими армиями и повлиял на их способность справиться с критической ситуацией. Пехотинцы Жукова на несколько дней увязли в боях в районе населенных пунктов Грайворон и Борисовка, пытаясь окружить и уничтожить подразделения пяти немецких пехотных дивизий. Контратаки, проведенные 11-й танковой дивизией и дивизией «Великая Германия», создали проходы в кольце блокады, благодаря чему оказалось возможным вывести из окружения большую часть войск, несмотря на то, что этому очень мешал сильный артиллерийский огонь наступающих советских армий.
Операции по выводу войск из окружения у Борисовки не дали немцам своевременно принять меры для отражения наступающих танковых армий, но они же привели к тому, что 1-я танковая армия вела наступление при минимальной поддержке пехоты. 10 июля две мотострелковые дивизии — 1-я дивизия СС «Лейб-штандарт Адольф Гитлер» и 2-я дивизия СС «Дас Рейх» — пошли в контратаку на лишенные прикрытия головные части атакующих советских войск в районе Богодухова. На следующий день 3-я танковая дивизия и 10-я танковая бригада, которые имели на вооружении 200 новых танков «Пантера», ударили по боевым порядкам советских войск с противоположного фланга. В этом бою новые танки показали, что если у них ничего не сломано, то по своим тактико-техническим характеристикам они превосходят танки противника, действовавшие против них. Слишком многие из этих танков оказались непригодными к бою из-за технических неисправностей. Тем не менее эти две атаки во фланг обеспечили разгром 1-й танковой армии и незадолго до наступления 40-й армии, которая сама ударила во фланг 3-й танковой дивизии, нанесли серьезный урон танковому корпусу.
В то время как 1-я танковая армия вела свой бой на выживание, Жуков начал самостоятельное наступление на Харьков. Согласно его планам 53-я армия и часть 5-й гвардейской танковой армии должны были штурмовать город с северо-западного направления, а 57-я армия Юго-Западного фронта — с юго-восточного. Фронтальный удар 40-й гвардейской армии и охватывающий маневр сохранивших боеспособность частей 5-й танковой армии либо запрет немцев в городе, либо вынудит их покинуть его.
