Член Военного совета Юго-Западного фронта и направления Никита Хрущев вспоминал: «Был намечен такой план: главный удар нанести противнику весною на дуге, которую мы создали южнее Харькова, а вспомогательный удар меньшими силами – севернее Харькова, и таким образом, взяв Харьков в клещи, освободить его. Когда планировали, мы были уверены, что эта операция у нас получится, что мы решим задачу и откроем весенне-летние военные действия таким эффектным результатом, как освобождение крупнейшего промышленного и политического центра Украины».
Наступление не стало неожиданным для немцев. Их главная оборонительная полоса под Харьковом имела глубину до 20 км. Основу обороны составляли опорные пункты и узлы сопротивления, созданные вокруг населенных пунктов. Вторая оборонительная полоса была построена в 10–15 км от переднего края, тыловая – в 20–25 км от фронта.
Тем не менее, сначала наступление развивалось успешно. С юга главный удар наносила 6-я армия генерала Авксентия Городнянского. Армейская группа генерала Леонида Бобкина наносила удар на Красноград, обеспечивая 6-ю армию с юго-запада. 57-я армия генерала Кузьмы Подласа и 9-я армия генерала Михаила Харитонова из состава Южного фронта должны были оборонять барвенковский плацдарм с юга, чтобы обеспечить с юга ударную группировку Юго-Западного фронта.
Части армии Городнянского прорвались к Чугуеву и Мерефе. На севере 28-я армия Дмитрия Рябышева и 38-я армия генерала Кирилла Москаленко смогли продвинуться на 65 км в районе Волчанска, но не сумели соединиться с южной группой и замкнуть кольцо окружения. 21-я армия генерала Василия Гордова, действовавшая на севере, ввязалась в борьбу за отдельные немецкие опорные пункты и почти не продвигалась. Тем не менее, первый оборонительный рубеж был прорван. 28-я армия продвинулась на 6–8 км и вышла к тыловому рубежу немецкой обороны. Однако командование Юго-Западного фронта так и не решилось ввести в прорыв танковые соединения. Оно также допустило просчет во времени, когда могут подойти немецкие оперативные резервы. Тимошенко полагал, что на это потребуется 5–6 дней, тогда как на самом деле они начали подходить к полю боя уже на второй день советского наступления.
Под Харьковом 430 немецким танкам и штурмовым орудиям противостояли 1 100 советских танков, причем на равных с Т-34 могли сражаться только 12 модифицированных немецких танков Т-IV с длинноствольной 75-мм пушкой.
Еще 15 мая Тимошенко и Хрущев оптимистически оценивали перспективы наступления. В донесении, посланном ими в этот день в Ставку, утверждалось: «Для нас теперь совершенно ясно, что противник, сосредоточив в Харькове две полнокровные танковые дивизии, вероятно, готовился к наступлению в направлении Купянск и что нам удалось сорвать это наступление в процессе его подготовки. Очевидно также, что сейчас противник в районе Харькова не располагает такими силами, чтобы развернуть против нас встречное наступление…»
Южнее Харькова Тимошенко решил ввести в бой утром 16 мая два танковых корпуса. Группа Бобкина должна была силами 6-го кавалерийского корпуса овладеть Красноградом. Однако к назначенному сроку танковые корпуса не успели подойти к линии фронта. Немцы же в течение 16 мая завершили перегруппировку и приготовились к наступлению. В то же время они привели в порядок отошедшие части и уничтожили все мосты через реку Берестовая, которая в условиях весеннего паводка превратилась в серьезное противотанковое препятствие. Тем не менее, к исходу 16 мая советские войска форсировали Берестовую. Но для того, чтобы утром 17 мая ввести в прорыв танковые корпуса, требовалось восстановить мосты, что саперы сделать не успели. Кавалеристы Бобкина не смогли овладеть Красноградом.
В целом к исходу 16 мая советские войска продвинулись на 20–35 км и вели бои на рубежах, выход к которым планировался уже на третий день операции. Танковые корпуса на северном участке втянулись в оборонительные бои, а на южном участке только готовились к вводу в прорыв. Здесь еще предстояло прорвать тыловой оборонительный рубеж 6-й немецкой армии по реке Берестовая.
Но 17 мая немецкие 1-я танковая армия генерала Эвальда Клейста и 17-я армия генерала Германа Гота в рамках операции «Фредерикус I», готовившейся еще до начала советского наступления, атаковали барвенковский плацдарм с юга, прорвали слабый фронт 9-й армии и вышли на тылы обеих ударных группировок. Двух танковых дивизий, 14-й и 16-й, хватило, чтобы взломать советскую оборону. Замысел операции состоял в том, чтобы встречными ударами 6-й армии от Балаклеи и армейской группы Клейста от Славянска и Краматорска в направлении на Изюм окружить и уничтожить советские войска на барвенковском выступе и захватить плацдарм в районе Изюма, который в дальнейшем должен был стать исходным рубежом для будущего генерального наступления. Немецкое наступление явилось полной неожиданностью как для командования Юго-Западного направления, так и для Ставки. Положение усугублялось тем, что войска левого фланга 9-й армии и фронтового резерва утром 17 мая находились в процессе перегруппировки в связи с тем, что ранее, с 7 мая, командование 9-й армии по своей инициативе, но с разрешения Военного совета Южного фронта, проводила частную наступательную операцию в районе Маяки, чтобы расширить узкую горловину Барвенковского выступа. Эта операция не принесла особого результата (дело ограничилось занятием западной окраиной селения Маяки) и была закончена только 15 мая. Часть войск двигалась в новые районы сосредоточения для занятия оборонительного положения и сосредоточения в качестве резервов, и у них не было надежной связи со штабами армии и фронта. Штаб 9-й армии 15–16 мая по приказу Ставки передислоцировался из с. Долгенькая в Каменку, где средства связи еще не были готовы, поэтому в Долгенькой остался Временный пункт управления. Командованию 9-й армией, а потом и командованию Южного фронта и Юго-Западного направления слишком поздно стало известно о масштабах немецкого прорыва. Хотя 9-я армия находилась в обороне с начала апреля, за месяц она так и не успела толком укрепить свои позиции. Были отрыты лишь окопы полного профиля и построены легкие блиндажи. ДЗОТы только начали возводить, а противотанковых и противопехотных препятствий в виде ежей, надолбов и колючей проволоки, а также минных полей почти не было.
В первый же день авианалетами был выведен из строя пункт управления 9-й армии, через который проходили и основные линии связи 57-й армий. Фронт 9-й армии был прорван. Штаб Южного фронта узнал о начавшемся наступлении противника лишь во второй половине дня, когда прорыв уже осуществился, а штаб Юго-Западного направления – только к исходу дня. 17 мая на фронте 6-й советской армии были введены в прорыв два танковых корпуса, которые продвинулись вперед на 15 км. Была перерезана железная дорога Харьков – Красноград. Однако из– за недостатка боеприпасов кавалерийский корпус не смог овладеть Красноградом. 18 мая группа Клейста, развивая наступление, заняла южную часть Изюма и уничтожила 12-ю танковую бригаду. Повернув от Изюма на запад, противник отрезал от переправ части 5-го кавкорпуса и двух стрелковых дивизий. Советскую авиацию пришлось срочно перебазировать с аэродромов в Изюме и Петровской, находившихся под угрозой захвата, так что она не могла поддержать свои войска. 18 мая заместитель начальника Генштаба Василевский предложил остановить наступление на Харьков и бросить основные силы ударных группировок для ликвидации прорыва на юге, но Тимошенко убедил Сталина, что угроза со стороны краматорской группировки преувеличена. В этот день 6-й кавкорпус полностью окружил Красноград. Лишь во второй половине 19 мая Тимошенко принял решение приостановить наступление 6-й армии, закрепиться на достигнутых рубежах и совместным ударом 6-й, 57-й и 9-й армий разгромить армейскую группу Клейста. Одновременно 38-я армия должна была разгромить чугуевскую группировку немцев. Однако организация контрудара затянулась. А 22 мая две танковые дивизии 6-й немецкой армии форсировали Северский Донец и двинулись навстречу группе Клейста. В этот день советские войска на барвенковском выступе были окружены. В «котле» оказались 20 стрелковых, семь кавалерийских дивизий и 14 танковых бригад. Из окружения несколькими группами удалось вырваться лишь 22 тыс. человек. К 30 мая основные силы 6-й, 9-й, 57-й армий и оперативной группы генерала Леонида Бобкина были уничтожены. В плен попали 239 тыс. бойцов и командиров. Было потеряно 2 026 орудий, 1 249 танков и 540 самолетов. В окружении погибли генералы Костенко, Бобкин, Городнянский и Подлас. 1-я танковая, 6-я и 17-я немецкие армии во 2-й и 3-й декаде мая потеряли 5 048 человек убитыми, 22 127 ранеными и 2 269 пропавшими без вести. Успех германских войск был обеспечен благодаря их преимуществу в маневренности и средствах управления, лучшего взаимодействия родов войск, благодаря лучшей боевой подготовке войск.