Абакумов возглавил Ростовское областное управление, когда авральная чистка, устроенная Ежовым, уже закончилась. Работа при Берии приобрела более спокойный, методичный характер. И начальники управлений перестали меняться каждые несколько месяцев, поэтому Абакумов просидел на своем посту два с лишним года и сумел произвести наверху самое выгодное впечатление. Он получил знак «Почетный работник ВЧК — ОГПУ» в 1938-м и орден Красного Знамени в 1940-м.
3 февраля 1941 года НКВД поделили на два наркомата — внутренних дел и госбезопасности — в связи с чем понадобилось вдвое больше высших чиновников. Берия вызвал Абакумова в Москву, и 25 февраля он был назначен заместителем наркома внутренних дел вместе с другим будущим министром — Сергеем Никифоровичем Кругловым.
Со временем они сами возглавят органы, Абакумов — министерство госбезопасности, Круглов — внутренних дел…
В роли заместителя Берии Абакумов курировал Главное управление милиции, Главное управление пожарной охраны и 3-й отдел (оперативно-чекистское обслуживание пограничных и внутренних войск). Но этим он занимался всего несколько месяцев.
После начала войны, 19 июля 1941 года, Сталин поставил Абакумова во главе Управления особых отделов НКВД СССР — военной контрразведки.
Особый отдел ВЧК в армии и на флоте был создан в декабре 1918 года. Отдел возглавлял сам Дзержинский, потом Менжинский. Двадцать с лишним лет военная контрразведка находилась в составе органов госбезопасности ВЧК — ОГПУ — НКВД. 8 февраля 1941 года совместным постановлением ЦК и правительства был ликвидирован Особый отдел ГУГБ НКВД СССР и созданы органы военной контрразведки в наркоматах обороны и военно-морского флота — Третьи управления НКО СССР и НКВМФ СССР. Военная контрразведка перешла в руки военных. Но ненадолго.
Через несколько недель после начала войны, 17 июля 1941 года, Государственный комитет обороны передал военную контрразведку из наркомата обороны назад в НКВД, где было создано Управление особых отделов. Видя, что армия отступает, Сталин вернул контроль над вооруженными силами в руки НКВД. Начальником управления стал заместитель наркома внутренних дел Виктор Абакумов. Начальники особых отделов фронтов назначались приказами Берии.
Реорганизация сперва коснулась только сухопутных войск. Но в январе 1942 года Третье управление наркомата военно-морского флота преобразовали в 9-й отдел Управления особых отделов НКВД. Однако на этом перекройка органов контрразведки не закончилась.
Через год, 19 апреля 1943 года, особые отделы из НКВД опять забрали, и на их основе были созданы Главное управление контрразведки (ГУКР) СМЕРШ наркомата обороны и Управление контрразведки СМЕРШ наркомата военно-морского флота. Один из отделов контрразведки СМЕРШ присматривал за войсками наркомата внутренних дел.
Начальником ГУКР СМЕРШ был назначен Абакумов. По должности он стал заместителем наркома обороны и подчинялся напрямую самому Сталину. Впрочем, через месяц, 25 мая, он перестал быть заместителем наркома, но подчинялся все равно только Верховному главнокомандующему.
В 1946 году военную контрразведку в виде особых отделов вернули в систему госбезопасности…
НАЧАЛЬНИК СМЕРШСМЕРШ обладал собственной следственной частью и благодаря широким полномочиям и личному покровительству Сталина превратился в мощное ведомство.
1-й отдел СМЕРШ контролировал Генеральный штаб Рабоче-Крестьянской Красной армии, штабы фронтов и армий, Главное разведывательное управление и разведорганы фронтов и армий.
2-й отдел ведал противовоздушной обороной, авиацией и воздушно-десантными войсками.
3-й отдел — танковыми войсками, артиллерией, гвардейскими минометными частями.
4-й отдел руководил агентурно-оперативной работой фронтов. 2-е отделение занималось борьбой с дезертирством, изменами и самострелами и организацией заградительной службы, 4-е — ведало редакциями военных газет, трибуналами, военными ансамблями и военными академиями.
5-й отдел отвечал за интендантское снабжение, военную медицину, военные перевозки.
6-й отдел занимался оперативным обслуживанием войск НКВД (пограничники, внутренние и конвойные войска, части по охране тылов фронтов).
7-й отдел вел оперативный учет изменников Родины, шпионов, диверсантов, террористов, трусов, паникеров, дезертиров, самострельщиков и антисоветского элемента. 2-е отделение проверяло высший командный состав — тех, кто входил в номенклатуру ЦК, наркоматов обороны и военно-морского флота, а также шифровальщиков. Кроме того, оно давало допуск к секретной работе и проверяло командируемых за границу.
Первыми заместителями Абакумова были генерал-лейтенант Исай Яковлевич Бабич, который встретил войну заместителем начальника Особого отдела Северо-Западного фронта, и генерал-лейтенант Николай Николаевич Селивановский, до этого начальник Особого отдела Сталинградского фронта.
В центральном аппарате СМЕРШ служило 646 человек. Размещались сотрудники в доме номер 2 на площади Дзержинского на четвертом и седьмом этажах.
Офицеры СМЕРШ получали такие же продовольственные и промтоварные карточки, как и армейские офицеры, вспоминает генерал госбезопасности Борис Гераскин, который начинал службу под началом Абакумова. Карточки отоваривались в магазинах на Кузнецком мосту и на улице Горького. Обедали офицеры по талонам в ведомственной столовой на Малой Лубянке.
Весной 1944 года молодой контрразведчик Гераскин докладывал лично Абакумову: «В большом, обшитом деревом кабинете возле письменного стола стоял Абакумов. Запомнилось его крепкое телосложение, правильные черты лица, высокий лоб и темные волосы гладко зачесанные назад. На нем ладно смотрелась серая гимнастерка и синие бриджи с лампасами, заправленные в сапоги. Пальцы обеих рук он держал за широким военным ремнем…»
Абакумов получал от особых отделов фронтов отчеты о допросах пленных немцев, анализ захваченных на поле боя писем, адресованных немецким солдатам из дома, офицерских дневников. Особые отделы выбирали исключительно негативную информацию о состоянии немецкой армии и положении в Германии. Абакумов усиливал эти акценты и отправлял спецсообщения членам политбюро. Эти сообщения годились для пропаганды, но создавали искаженное представление о реальном состоянии немецкой армии и настроениях в Германии…
О своей работе в СМЕРШ мне подробно рассказывал Николай Николаевич Месяцев, который после войны был секретарем ЦК комсомола, работал в ЦК, возглавлял телевидение и был послом в Австралии.
В 1941 году он окончил Военно-юридическую академию Красной армии (морской факультет) и был назначен младшим следователем Третьего (контрразведывательного) управления наркомата военно-морского флота, а затем следователем Управления особых отделов НКВД СССР. Два года служил в отделе контрразведки СМЕРШ 5-й гвардейской танковой армии. А после войны — еще полгода в Главном управлении контрразведки СМЕРШ.
— Я доволен тем, что мне пришлось пройти школу контрразведки СМЕРШ, — рассказывал Николай Месяцев. — Почему? Во-первых, я был на пике борьбы во время Великой Отечественной войны — на пике борьбы двух мощных разведок и контрразведок, нашей и германской. Во-вторых, я научился разбираться в человеческой натуре. Можете мне не верить, но, когда я распрощался с органами, мне иногда было неудобно разговаривать с людьми. Я видел, что человек говорит неправду, я чувствовал. Мой профессиональный опыт позволял слышать шорох скрытых мыслей сидящего передо мной…
К сожалению, даже в центральном аппарате контрразведки СМЕРШ было недостаточно людей с юридической подготовкой. На местах тоже. Составлялись протоколы, вызывавшие смех. Например, начальник контрразведки Кронштадтской военно-морской базы допрашивает, скажем, Иванова. И записывает в протокол: «Иванов (т. е. арестованный) странно реагировал на мои патриотические убеждения. Смотрел в сторону и двусмысленно произносил: „М-да…“» И вот это расценивалось как антисоветские настроения…
— Или попалось мне дело одного журналиста из газеты «Морской флот», — вспоминал Месяцев. — Симпатичный мужик. Никакой там антисоветчины не было. Болтнул что-то «под мухой», его агентура зацепила, и все. Я разобрался, освободили… Некоторые начальники увлекались незаконными арестами, приходилось серьезно поправлять.
Тактика вражеской разведки состояла в том, чтобы организовать массовую заброску своей агентуры за линию фронта. Немцы доводили пленных до такого состояния, когда человек ломался и давал согласие на вербовку. Как правило, вербовка под таким диким нажимом не приносила им успеха. Люди переходили линию фронта и сразу все нам рассказывали. Лучших своих агентов немцы готовили в разведывательных школах — и тех, кто должен был немедленно включиться в работу, и тех, кто должен был вживаться и, только через некоторое время начать действовать.