T-III и T-IV, хорошо зарекомендовавшими себя в ходе Французской кампании. Гот также имел прекрасно подготовленные танковые экипажи, большинство из которых имели опыт боевого применения тактики танковых клиньев.
Танковая группа Гота должна была взаимодействовать с 9-й полевой армией и 2-й танковой группой. В задачу группы на начальном этапе вторжения на территорию СССР входило уничтожение сил противника между Белостоком и Минском с дальнейших продвижением на Витебск.
22 июня 1941 года, перейдя границу Советского Союза, Герман Гот нанес удар по Сувалкскому выступу. Захватив все три моста через Неман, немецкие танки ринулись в глубь территории СССР. Через два дня 7-я танковая дивизия (39-й корпус) захватила Вильнюс, затем был взят Молодечно и через несколько дней Минск. Под Минском части Гота встретились с авангардом 47-го танкового корпуса Гудериана.
Продолжив наступление, 39-й корпус двинулся в направлении Витебска, обойдя Березину, а 57-й корпус должен был выйти в район Полоцка, захватив переправы через Западную Двину. Хотя наступление было стремительным, но упорное сопротивление советских частей нанесло значительный урон соединениям Гота.
В июле обе танковые группы были объединены в 4-ю танковую армию, управление которой было возложено на штаб Гюнтера фон Клюге, входившего во 2-ю полевую армию под командованием генерала фон Вейхса. Вызванный в штаб армии, Гот получил задание прорвать оборону противника в районе Смоленска и обеспечить выход 4-й армии к Невелю.
К 10 июля обе группы 4-й танковой армии вышли к Днепру и Западной Двине. На следующий день был взят Витебск, и соединения Гота начали обход Смоленска с севера. Тем временем войска 57-го танкового и 23-го армейского корпусов наступали на Невель, который был взят 16 июля. Наступление танковых соединений было остановлено под Великими Луками контрударом 22-й армии РККА. Тогда танки 57-го корпуса обошли Великие Луки с запада, сломили сопротивление советских частей и взяли Торопец. А 15 июля соединения Гудериана взяли Смоленск. Несмотря на упорное сопротивление частей РККА под Ельней и Дорогобужем, группам Гудериана и Гота удалось соединиться, тем самым замкнув кольцо окружения под Смоленском. Герман Гот был награжден дубовыми листьями к Рыцарскому кресту. После Смоленска танковые части были заменены пехотными соединениями, которые сдерживали попытки противника вырваться из кольца, и у Гота появилась возможность заняться доукомплектованием своих подразделений и дать отдых войскам.
В конце июля согласно директиве за № 34 3-я танковая группа Гота была временно передана группе армий «Север». Перед ней была поставлена задача занять Валдайскую возвышенность и обеспечить прикрытие группы армий с флангов. В перспективе танковая группа Гота должна быть готова осуществить наступление на Москву, продвигаясь вдоль берегов Волги.
В середине августа 39-й корпус группы Гота был переправлен на северный фланг группы армий фон Лееба, действующего на ленинградском направлении. И в то же время с ленинградского направления был снят 41-й танковый корпус Рейнгарда, который был переправлен на московское направление фон Боку. Эта замена не была понятна никому, в том числе и Герману Готу. К этому времени он все меньше и меньше понимал, что же происходит в ставке Гитлера и как будет развиваться дальше наступление.
Вскоре он получает приказ окружить части РККА под Вязьмой. Действуя совместно с 4-й танковой группой, выступавшей из района Рославля, группа Гота двинулась к Холму и, перейдя на восточный берег Днепра, в начале октября вышла к Вязьме. Преодолевая упорное сопротивление частей РККА, 7 октября 1941 года 10-я дивизия 4-й танковой группы и 7-я дивизия группы Гота соединились. В окружение попало пять армий РККА, а группа армий «Центр» получила возможность стремительно продвигаться к Москве.
Герман Гот не участвовал в сражении под Москвой, его танковая группа заняла территорию между Вязьмой и Калинином. А 17 октября Герман Гот был назначен командующим 17-й полевой армией и переведен в группу армий «Юг».
17-я армия наступала на северном фланге группировки фон Рундштедта, продвигаясь к реке Донец. Затем, перейдя его вместе с 1-й танковой армией фон Клейста, армия Гота стала наступать на Ворошиловград.
В начале января 1942 года позиции Гота и 1-й танковой армии атаковала 37-я армия РККА, вынудив Гота отвести свои части за Северский Донец. Только помощь танковой группы генерала фон Макензена смогла остановить наступление частей РККА на армию Гота. В результате на линии фронта группы армий «Юг» образовался выступ, с которого советское командование в любой момент могло начать наступление на Харьков и Киев. После отражения советского контрнаступления и ликвидации столь опасного выступа фронта группа армий «Юг» была поделена на две части. Герман Гот был назначен командующим 4-й танковой армией, которая вместе с 6-й и 2-й полевыми армиями вошла в группу армий «Дон» под командованием фон Бока.
В июне 1942 года армия генерала Гота перешла в наступление. Ей была поставлена задача выйти на Дон близ Воронежа. Отражая непрерывные контратаки войск Брянского фронта под командованием Голикова и нанеся сокрушительное поражение советской 5-й танковой армии, части Германа Гота вошли в Воронеж. В ходе операции армия генерала Гота за десять дней боев прошла около 200 километров и блестяще справилась с поставленной задачей. Успех Гота был определен ясностью и четкостью отдаваемых приказов, проведенной разведкой и выяснением планов противника, поддержкой авиации и слаженным взаимодействием всех армейских структур и средств связи. Сам Гот часто бывал на передовых позициях и всегда мог быстро использовать подходящий момент.
После взятия Воронежа соединения Гота и Клейста двинулись в южном направлении на Ростов, который был взят 23 июля. Позднее в своих воспоминаниях фон Клейст выдвинул предположение, что если бы в то время Готу дали возможность наступать на Сталинград, а не перебросили на Ростов, он смог бы взять город еще летом 1942 года.
Заняв Ростов, 4-я танковая армия Гота была вынуждена с тяжелыми боями прорываться к Сталинграду. К этому времени советское командование успело сосредоточить в районе Сталинграда достаточное количество сил, чтобы остановить ее продвижение. Армия Гота вышла к Сталинграду к середине сентября 1942 года.
В ходе начавшегося 19 ноября контрнаступления советских войск армия Гота вместе с 4-й румынской армией были отброшены от Сталинграда и оказались южнее внешнего кольца окружения. В создавшейся тяжелейшей обстановке Герман Гот смог закрыть своими танковыми частями гигантскую брешь, которая образовалась между 6-й полевой армией, группой армий «А» и «Дон». Благодаря его умелым действиям советскому командованию не удалось отрезать группу армий «А» от основных сил. Командование группой армий «Дон» перешло к фон Манштейну, который стал руководить действиями воинских частей, чтобы вывести 6-ю армию Паулюса из окружения. Приказ о проведении этой операции был отдан 1 декабря 1942 года, когда окруженная, замерзающая и вымирающая от голода 6-я армия была практически разгромлена.
Операция по выводу 6-й армии получила кодовое название «Зимняя гроза». План операции предусматривал прорыв обороны и уничтожение советских войск, занимавших внутренний фронт южнее или западнее Сталинграда главными силами 4-й танковой армии Гота. Одновременно 48-й танковый корпус из состава группы Холлидта наносил удар в тыл войскам противника с плацдарма на реках Дон и Чир.
Но уже на следующий день советское командование приступило к уничтожению 6-й армии Паулюса. Армия Гота начала прорыв к 6-й армии 12 декабря. За неделю ей удалось продвинуться на 70 километров, но затем она была остановлена 2-й гвардейской армией генерала Малиновского. 24 декабря 1942 года фельдмаршал фон Манштейн был вынужден начать отвод армии Гота, чтобы создать оборону на новом рубеже и прикрыть Ростов.
С января 1943 года армия Гота беспрерывно принимала участие в боях против частей РККА; приходилось то оставлять позиции, то снова занимать их. Контратака частей Гота помогла 1-й танковой армии под командованием Макензена избежать окружения и переправиться за реку Миус. Затем танки Гота приняли участие в битве за Харьков. Однако в ходе общего наступления советские войска вклинились в позиции группы армий «Дон», в которую входила 4-я танковая армия Гота, и 16 февраля 1943 года город был взят частями РККА. Но уже к 22 февраля соединения Гота, усиленные тремя батальонами «тигров», контратаковали части Красной Армии, ликвидировали прорыв, восстановили линию фронта по правому берегу Донца и вновь заняли Харьков. Кроме этого, фельдмаршал Манштейн рассчитывал продолжить наступление и ликвидировать еще и Курский выступ, но ему пришлось отказаться от этой идеи, поскольку командование группы армий «Центр» заявило, что не сможет участвовать в данной операции.
