Первой операцией полка СС «Адольф Гитлер» стало присоединение к рейху Саарского района. В марте 1935 года, после проведенного здесь в соответствии с условиями Версальского договора референдума, на котором подавляющее большинство населения высказалось за возвращение в состав Германии, солдаты в черной форме под командованием обергруппенфюрера СС Йозефа Дитриха вошли в украшенный нацистскими флагами Саарбрюккен.
Затем под руководством Йозефа Дитриха полк «Адольф Гитлер» принимал участие в аншлюсе Австрии и походе на Судеты в 1938 году, в оккупации Моравии и Богемии. В 1939 году полк участвовал в Польской кампании, в 1940 году воевал в Голландии, Бельгии и Франции, а в 1941 году – в Югославии и Греции. За успешное проведение операций Дитрих был награжден Рыцарским крестом, а его полк в августе 1940 года был превращен в 1-ю мотопехотную бригаду СС. Обергруппенфюрер Йозеф Дитрих получил под свою команду еще один полк, моторизованный саперный батальон, артиллерийский батальон и моторизованный разведывательный батальон.
При разработке плана вторжения в СССР мотопехотная бригада «Адольф Гитлер» была включена в состав 6-й полевой армии, входившей в группу армий «Юг». Сразу же после нападения на Советский Союз бригада Дитриха вела тяжелые приграничные бои с силами Юго-Западного фронта. Затем, обойдя Киев с юга, бригада достигла восточных подступов к Крыму и замкнула кольцо окружения. 4 октября танки Йозефа Дитриха захватили Запорожье и после удара фон Клейста с северного фланга в прибрежный район западнее Мариуполя рванулись к Сталино. К началу ноября 1941 года группа армий «Юг» оккупировала юго-западную часть Донбасса и вышла на подступы к Ростову-на-Дону.
Йозеф Дитрих сыграл выдающуюся роль в сражении под Ростовом в ноябре—декабре 1941 года. Войска фон Рундштедта начали наступление на город 5 ноября, пытаясь охватить город с севера и северо-востока. Им противостояли силы Южного фронта, командование которого успело создать мощный оборонительный рубеж. Бригада Дитриха вела бои менее чем в 20 километрах от города. Позади ее позиций стояли части 9-й полевой и 1-й танковой армий, в том числе и набранная из норвежских добровольцев 5-я мотопехотная бригада СС «Викинг». Они далеко продвинулись на восток и оторвались от своих пехотных соединений. Начавшаяся наступательная операция советского командования создала угрозу окружения этих частей вермахта, выйдя в тыл 1-й танковой армии. К этому времени бригада Дитриха после упорных боев вошла в город. Через восемь дней Дитрих был вынужден оставить Ростов и отойти на оборонительный рубеж по реке Миус вместе с остальными войсками группы армий «Юг». Сражение было проиграно. В ходе этой операции немецкая армия потеряла убитыми и ранеными более 20 тысяч человек. Фельдмаршал Рундштедт был отстранен от должности. Гитлер намеревался сместить с должности также и командующего 1-й танковой армией генерал-полковника фон Клейста. Но Дитрих вступился за Клейста и прямо заявил Гитлеру, что сам фюрер, а не кто-то другой виноват в неудаче под Ростовом и что решение о снятии с поста Рундштедта также было поспешным. Вмешательство Дитриха спасло карьеру Клейста и в итоге привело к возвращению на службу Рундштедта в марте 1942 года. Сам Йозеф Дитрих за ростовскую операцию был награжден дубовыми листьями к Рыцарскому кресту.
Под Ростовом Дитрих получил сильное обморожение и в январе 1942 года был отправлен для лечения в Германию. Он пролежал в госпитале почти полгода. Тем временем изрядно потрепанную в боях на юге России бригаду «Адольф Гитлер» вывели на переформирование во Францию. В июле 1942 года она была преобразована в 1-ю мотопехотную дивизию СС, численность личного состава которой достигла 20-тысячной отметки. До февраля 1943 года дивизия оставалась во Франции, а Дитрих после выздоровления получил другое назначение. Он снова был отправлен на Восточный фронт, получив под свое командование 1-й танковый корпус СС, названный «Лейбштандарт Адольф Гитлер».
Последние два года войны Йозеф Дитрих провел в непрерывных боях. После разгрома под Сталинградом германская армия покатилась назад, и отступление немецких частей было остановлено только в марте 1943 года. 16 числа того же месяца Йозеф Дитрих получил мечи к Рыцарскому кресту.
Летом 1944 года 1-й танковый корпус, состоящий из 9-й, 10-й и 12-й танковых дивизий СС и 17-й мотопехотной дивизии, был переброшен во Францию, где ожидалась высадка войск союзников. Танковый корпус Дитриха вошел в состав группы армий «Запад». К этому времени Дитрих окончательно разочаровался в гитлеровском стиле руководства и даже вел переговоры с Роммелем на предмет своего участия в заговоре против Гитлера.
В августе 1944 года Йозеф Дитрих получает звание оберстгруппенфюрера СС (соответствует генерал-полковнику вермахта) и бриллианты к Рыцарскому кресту. В это время Дитрих спас от виселицы своего друга, начальника штаба Роммеля генерал-лейтенанта Шпейделя, который был членом «Черной капеллы». Генерала арестовало гестапо, но после личного вмешательства Дитриха он был немедленно освобожден. Гиммлер и Кальтенбруннер побоялись связываться с Йозефом, который по-прежнему продолжал пользоваться безграничным доверием Гитлера.
Когда англо-американские войска высадились в Нормандии, танковый корпус Дитриха с первых дней оказывал им упорное сопротивление. В течение трех недель все попытки Монтгомери взять Кан были отбиты 12-й танковой дивизией СС. Сдав город, части Дитриха сумели задержать дальнейшее продвижение войск союзников еще на целый месяц и вынуждены были отступить только под напором значительно превосходящих сил американских войск.
7 августа немецкие танки нанесли контрудар по позициям союзников между Фалезом и Аржантаном, окружили Мотрен и отбросили американцев на 10—15 километров. Контрудар был осуществлен 2-й танковой дивизией СС «Рейх», остатками 7-й танковой армии Хауссера и частями 5-й танковой армии, командующим которой Гитлер назначил оберстгруппенфюрера Йозефа Дитриха. Контрудар стал полной неожиданностью для союзников, которые сначала не придали ему большого значения, посчитав отвлекающим маневром. В ночь с 10 на 11 ноября Дитрих ввел в бой 12-ю танковую дивизию СС «Гитлерюгенд» и свою любимую дивизию «Лейбштандарт Адольф Гитлер». Но взять город немцы не смогли. Более того, приказав 7-й и 5-й танковым армиям провести контрудар, фюрер поставил их в крайне невыгодное положение, что позволило союзникам охватить фланги обеих армий. Части Дитриха успели выскочить из Фалезского котла прежде, чем союзники замкнули кольцо окружения. Сам Дитрих чуть было не попал в руки британского патруля.
Затем Дитрих был вызван обратно в Германию. Ему поручили организацию новой 6-й танковой армии СС и назначили ее командующим. В состав 6-й армии вошли 1-я, 2-я, 3-я, 9-я и 17-я танковые дивизии СС. В ее задачу входило контрнаступление в Арденнах. С самого начала Дитрих возражал против этого плана, но Гитлер остался глух к его замечаниям.
Наступление в Арденнах закончилось провалом. Несогласованность действий командующих армиями – Дитриха и Мантойфеля – привела к поражению немецких войск. Если бы войска Мантойфеля, прорвавшие позиции американцев и стремительно продвигавшиеся к Маасу, были поддержаны танками Дитриха с севера, трудно сказать, чем бы закончилось это наступление.
После неудачи в Арденнах Дитрих был отправлен на восток. Ему поручалось руководство контрнаступлением на озере Балатон. Две танковые армии вермахта начали продвижение по разные стороны озера в начале марта 1945 года. 2-я танковая армия, наступавшая на южном направлении, была практически сразу остановлена советскими частями. Армия Дитриха смогла продвинуться в глубь оборонительной линии 3-го Украинского фронта на 30 километров. Более недели танковые дивизии СС вели упорные бои, но 6-я армия была вынуждена отступить под ударами советских войск, обладавших огромным превосходством во всех отношениях – в живой силе и материальном обеспечении.
В начале апреля оберстгруппенфюрер СС Дитрих был направлен в Вену с приказом Гитлера любой ценой удержать этот город. Зная заранее, что его миссия обречена на провал, Дитрих мрачно пошутил: «Мы называем себя 6-й армией, потому что у нас осталось всего 6 танков». А 17 апреля Дитрих вывел свои части из столицы Австрии, несмотря на приказ Гитлера расстреливать на месте любого, кто даст приказ отступать. Он остался на территории Австрии и окружил себя верными частями, опасаясь репрессий со стороны фюрера.
8 мая 1945 года Йозеф Дитрих во главе 6-й танковой армии СС сдался в плен американским войскам.
Дитрих был признан виновным по ряду статей обвинения и 16 июля 1946 года осужден на 25-летний срок тюремного заключения. В 1950 году ему сократили срок до 15 лет, а в 1955-м вообще амнистировали. Он отбывал срок в крепости Ландсберг, куда в 1920-е годы был заключен Гитлер.