В марте 1941 года в Дрездене Фельфе получил свидетельство о среднем образовании и после отборочного экзамена был зачислен служащим в охранную полицию в системе Главного управления имперской безопасности (PCXА) с одновременным откомандированием на учебу на юридический факультет Берлинского университета. Параллельно с учебой Фельфе занимался на курсах по подготовке комиссаров уголовной полиции. После их окончания, не завершив университетский курс, был направлен на работу в уголовную полицию Дрездена, а затем Гляйвица. В августе 1943 года произошло важное событие: в связи с полученной разнарядкой он выехал в Берлин, где был принят на работу в 6-е (разведывательное) управление РСХА, в реферат по Швейцарии, который позже и возглавил.
В конце 1944 года его направляют на работу в Нидерланды с задачей заброски диверсионных групп в тылы англо-американских войск. Как вспоминает Фельфе, в этот период он уже не проявлял большой активности: война шла к концу, каждый думал, как бы уцелеть. В мае 1945 года он сдался в плен канадским войскам, прошел через опросы и допросы и в октябре 1946 года из плена был освобожден. После освобождения поехал в городок Бад-Хоннеф, что под Бонном, где жила сестра жены. Нужно было начинать новую жизнь, пройти денацификацию. О Дрездене Фельфе не думал: там были русские да и город был полностью разрушен. Через две недели в Бад-Хоннеф приехала жена с сыном.
Спустя несколько месяцев Фельфе смог начать учебу в Боннском университете на факультете государства и права в качестве свободного слушателя, занялся журналистикой, стал расширять свои связи. Частые поездки в качестве свободного журналиста и корреспондента Берлинского радио по Германии, в том числе в советскую зону оккупации, дали ему возможность установить многочисленные контакты.
В этот период под влиянием развития событий в Западной Германии да и в мире в целом произошла переоценка взглядов Фельфе как на историю Третьего рейха, так и на обстановку в Западной Германии. На это потребовались, конечно, не месяцы, а годы. К 1949 году Фельфе стал достаточно критически относиться к политике США и правящих кругов Западной Германии. Он пришел к мысли, что те силы Запада, которые привели ко Второй мировой войне, не могут быть гарантами прогресса. Фельфе все больше интересовался процессами, происходившими в Восточной Германии, политикой Советского Союза.
Ему приходилось встречаться с советскими журналистами, офицерами из советской военной миссии в английской зоне оккупации. В ходе общения возникали политические дискуссии. Как журналист он брал интервью и беседовал с политическими и общественными деятелями Восточной Германии. Шаг за шагом по образу мышления Фельфе шел к тому, что называется «идейной близостью».
Советским чекистам, находившимся в Дрездене, удалось выйти на жену бывшего сотрудника СД (впоследствии сотрудника разведки РСХА в Берлине) Ганса Клеменса, оставшуюся с детьми в этом городе. Они смогли установить с ней доверительные отношения.
В 1946 году супруга Клеменса, вернувшись из Западной Германии, куда она была направлена для свидания с мужем, рассказала, что Клеменс в разговоре с ней высказал желание встретиться с сотрудниками советской разведки и в принципе готов к сотрудничеству. Клеменс был приглашен приехать в Восточный Берлин на беседу с представителями советской разведки. На встрече, которая вскоре состоялась, Клеменс рассказал, что пытается устроиться на работу в так называемую «Организацию Гелена», рассказал о своей жизни, о своих связях на Западе. В числе своих связей по Дрездену и по Западной Германии он назвал Хайнца Фельфе, работавшего в то время свободным журналистом. О Фельфе он рассказал, что познакомился с ним во время работы в реферате по Швейцарии в разведке РСХА, что они близко сошлись, как бывшие дрезденцы. После освобождения из тюрьмы (Клеменс был осужден американцами как военный преступник) Фельфе помог ему найти квартиру, подыскать работу. То обстоятельство, что Клеменс располагал связями среди бывших сотрудников СД и имел возможности для устройства в «Организацию Гелена», вызывал к нему интерес. Было принято решение привлечь его к сотрудничеству с нашей разведкой в качестве агента, наводчика и, возможно, вербовщика.
В конце 1951 года Клеменс провел с Фельфе зондирующую беседу, а затем предложил ему сотрудничать с советской разведкой.
В августе 1951 года в Восточном Берлине Фельфе встретился с представителями советской разведки. Беседа касалась работы Фельфе в адвокатской конторе и в Министерстве по общегерманским вопросам, его связей среди сотрудников разведывательных и контрразведывательных органов. Фельфе было рекомендовано предпринять шаги для устройства на работу именно в разведывательную службу Гелена.
Активная деятельность «Организации Гелена» против советских оккупационных войск в Германии и Австрии, а также подрывная работа против ГДР заставляли советские спецслужбы предпринимать серьезные контрусилия.
К началу 50-х годов советская разведка уже располагала солидными агентурными позициями в «Организации Гелена», систематически получала информацию об агентуре Гелена, работавшей против советских войск и правительственных учреждений ГДР. Наступательную работу против геленовцев вели и спецслужбы молодой ГДР. В тот период Гелен насаждал агентуру в расположении военных городков, на железных дорогах, вблизи аэродромов, в министерствах и ведомствах ГДР. Руководство республики решило провести аресты геленовской агентуры. В результате первой операции было арестовано сразу более 400 агентов, результаты второй были не ниже. Территория была очищена от значительного числа вражеских агентов.
Выполняя задание, полученное в Восточном Берлине, Фельфе стал перебирать старые связи по Дрездену, по работе в разведывательном управлении PCX А. Осенью 1950 года было создано так называемое «ведомство Бланка», будущее министерство обороны ФРГ. Несколько позже, вопреки Потсдамскому соглашению, министры иностранных дел трех западных держав одобрили решение о ремилитаризации Германии. Укреплялись и спецслужбы. Нужны были кадры.
Именно в это время с Фельфе восстановил контакт бывший полковник вермахта Крихбаум. Он был хорошо осведомлен о работе Фельфе в Министерстве по общегерманским вопросам и предложил ему работу в генеральном представительстве «L» «Организации Гелена», находившемся в Карлсруэ. 15 ноября 1951 года Фельфе был зачислен в состав этого представительства. Оно действовало под вывеской торговой фирмы, шефом был бывший сотрудник абвера Бен-цингер. Работа началась с изучения старых личных дел и поиска кандидатов для вербовки. И здесь Фельфе столкнулся с тем, что геле-новская разведка работала не только против Востока. Как он сообщал в Восточный Берлин, в 1951–1952 годах генеральное представительство интенсивно работало над приобретением агентуры в ключевых политических и экономических сферах ФРГ и Западного Берлина: в федеральных и земельных министерствах, политических партиях, профсоюзах и др. При этом заводились досье на ведущих политиков как правящих, так и оппозиционных партий.
Начало работы Фельфе в «Организации Гелена» заставило уделять больше внимания его безопасности и организации надежной конспиративной связи. Наряду с личными встречами, которые стали проводиться два-три раза в год, Фельфе предложил использовать в качестве связника Клеменса, который раз в два месяца регулярно появлялся в Западном Берлине. До 1953 года переход из Западного Берлина в Восточный особых проблем не составлял. Это использовалось для доставки агентурных материалов от Фельфе. По мере упрочения положения Фельфе их количество возрастало: как правило, на каждую встречу Фельфе или Клеменс привозили 10–12 заснятых пленок фотоаппарата «Минокс» и пару магнитофонных катушек. Спустя год с согласия Центра они периодически стали использовать в качестве связника и своего коллегу по Дрездену и по СД Эрвина Тибеля. По их утверждению, Тибель использовался ими «втемную», не зная, что везет и кому. Таким образом, постепенно сложилась агентурная группа, где лидером был Хайнц Фельфе — интеллектуал и организатор.
Работая в генеральном представительстве в Карлсруэ и в одном из филиалов, Фельфе и Клеменс снабжали советскую разведку информацией об операциях на территории ФРГ и ГДР, шпионаже против французских представительств в ФРГ (что делалось по согласованию с американцами). В этот период от Фельфе периодически поступала важная политическая информация. Фельфе смог направить в Восточный Берлин так называемую «Ориентировку 6600», в которой речь шла о мероприятиях геленовской разведки по подготовке к путчу 17 июня 1953 года, а также ряд других документов по проведению специальных мероприятий.
Полученные от Фельфе сведения позволили своевременно прореагировать на инспирированный Западом в 1953 году путч в Берлине.