В возрасте 14 лет Карл Маннергейм поступил в кадетское училище в Фридрихсгаме недалеко от Выборга. За плохое поведение Карл был исключен из училища. Однако через год он поступил в Николаевское кавалерийское училище в Петербурге, что в то время было большой удачей. В роду Маннергеймов относились критически как к военной карьере, так и ко всему русскому. И тем не менее Карл Маннергейм вскоре сделал блестящую карьеру в русской армии. За годы учебы в столице он завел множество полезных знакомств и близко сошелся с великим князем Николаем Александровичем, ставшим впоследствии последним русским императором. Маннергейм получает назначение в придворный полк «черных драгун», дислоцированный в Западной Польше. Но он мечтал попасть в знаменитый полк кавалергардов, куда и был переведен в 1891 году, что имело решающее значение для его дальнейшей военной карьеры. В гвардии он приобрел много друзей и полезных связей, и у него появилась возможность приобщиться к светской жизни столицы. Позже Маннергейм служил в Конюшенном управлении при дворе. В связи с новыми обязанностями он много ездил по Европе для приобретения лошадей. Затем он перешел на должность начальника образцового эскадрона в офицерское кавалерийское училище в Петербурге.
Когда разразилась Русско-японская война, Маннергейм отправился на фронт в Маньчжурию, где участвовал в боевых действиях. Получив несколько орденов, заслуженных в сражениях, Карл Маннергейм вернулся в столицу.
После поражения в войне русский Генеральный штаб искал человека, который смог бы заняться сбором военно-топографических сведений в Средней и Центральной Азии. И подполковник фон Маннергейм вызвался добровольцем. В течение двух лет он в сопровождении нескольких казаков на лошадях пересек Туркестан, пустыню Гоби и через Тибет добрался до Пекина. Это путешествие позволило Маннергейму стать почетным членом Русского географического общества и приобщило его к научному труду.
Вернувшись в Петербург, полковник фон Маннергейм был зачислен в гвардейский Кавалергардский полк. В 1911 году фон Маннергейм получил чин генерал-майора, стал командиром Кавалергардского полка и был включен в свиту Николая II.
В начале 1914 года генерал-майор фон Маннергейм был назначен командующим 12-й кавалерийской бригадой, дислоцированной в Варшаве. Здесь и застало его начало Первой мировой войны. Бригада, которой командовал фон Маннергейм, была направлена в Галицию и участвовала в боях с австро-венгерской армией. Довелось генералу повоевать и в Румынии, возглавляя кавалерийский корпус. За три года войны Маннергейм был награжден почти всеми российскими орденами и получил звание генерал-лейтенанта.
В марте 1917 года во время Февральской революции он находился в Петрограде в отпуске, а после мятежа Корнилова решил вернуться на фронт. В сентябре 1917 года Верховный главнокомандующий Духонин перевел его в резерв. Узнав об Октябрьском перевороте и падении Временного правительства, фон Маннергейм решил вернуться на родину. Прибыв в Петроград, генерал забрал из разгромленных казарм знамя Кавалерградского полка и выехал в Финляндию.
6 декабря 1917 года в бывшем Гельсингфорсе, переименованном в Хельсинки, была провозглашена независимость Финляндии.
В начале января 1918 года генерал Маннергейм был приглашен в состав военного комитета, ставившего перед собой задачу сформировать финские вооруженные силы. 14 января фон Маннергейм стал руководителем этого комитета, а 16 января глава государства Пер Эвинд Свинхувуд назначил его главнокомандующим. В стране шла гражданская война. Под руководством генерала Маннергейма помимо шюцкоровских отрядов – военизированных формирований для защиты законности и порядка – были части германского экспедиционного корпуса и части Белой армии, которым противостояли части Красной гвардии. Весной 1918 года Красная гвардия потерпела поражение по всей стране, и в начале мая Маннергейм торжественно вошел в столицу. Однако на финский престол был возведен зять кайзера Вильгельма II принц Фридрих Карл Гессенский, и в начале октября 1918 года Маннергейм, который не питал любви к немцам, вынужден был эмигрировать.
Вспыхнувшая в Германии революция уничтожила кайзеровский трон. И уже в декабре 1918 года Густав фон Маннергейм вернулся в Хельсинки, где в качестве регента управлял страной с декабря 1918 по июль 1919 года. Он укрепил государственный строй Финляндии как республики, усилил роль вооруженных сил в стране и пытался наладить связи со странами Северной Европы. Маннергейм совершил поездку по Европе и встречался с Пилсудским, Клемансо и Уинстоном Черчиллем. Западные руководители хотели осуществить интервенцию в Россию и таким образом поддержать Белое движение. Маннергейм выступил в поддержку этой идеи. В качестве условия помощи со стороны Финляндии Белому движению он выдвинул признание ее независимости, однако лидеры Белого движения отвергли такую возможность.
В июле 1919 года, будучи еще регентом, он ратифицировал конституцию республики Финляндия. После выборов президентом страны стал Стольберг, а Маннергейм оставил за собой пост главнокомандующего вооруженными силами Финляндии. В 1920 году правительство приняло решение реформировать финскую армию по германскому образцу. Фон Маннергейм подал в отставку.
В начале 1930-х годов он вернулся в политику и на государственную службу. В марте 1931 года он был назначен председателем Совета обороны. В 1937 году Маннергейм добился принятия семилетнего плана перевооружения армии, по которому к 1944 году планировалось создать 19 дивизий. На Карельском перешейке финны к началу войны успели построить 100 бетонных дзотов и бункеров. По плану, который так до конца и не успели реализовать, «линия Маннергейма» состояла из легких приграничных укреплений, большого предполья и собственно самого укрепрайона, разделенного на пять секторов. Карельский перешеек являлся единственными естественными воротами в страну и был изрезан многочисленными озерами и болотами, что делало его идеальным местом для сдерживания противника.
Несмотря на попытки форсировать программу строительства вооруженных сил, к началу войны Маннергейм успел сформировать только 9 новых дивизий из 19 запланированных. Сам генерал оценивал вооруженные силы Финляндии весьма скептически: системы ПВО и противотанковой защиты крайне слабые, ВВС укомплектованы только на 50 процентов, малочисленный танковый парк состоит из машин времен Первой мировой войны, количество артиллерии явно недостаточно. Всего в армии было 15 дивизий, из которых три не имели оружия, а одна – артиллерии. Более того, к началу декабря у финнов был острый дефицит боеприпасов. Патронов в войсках имелось всего на 2,5 месяца не очень интенсивных боев, гранат и снарядов – на месяц, запасы горюче-смазочных материалов с трудом удалось бы растянуть на 2 месяца. Не хватало также обмундирования, из-за чего большая часть резервистов прибыли на фронт в собственной одежде, а некоторые и с собственным оружием.
Еще в начале 1938 года СССР по закрытым каналам обращался к Финляндии с предложением начать переговоры по пограничным вопросам, чтобы обеспечить безопасность Ленинграда на случай войны. Для этого СССР хотел получить некоторые финские территории. Но правительство Финляндии ответило отказом. Сам Маннергейм стоял на более гибких позициях и высказался за уступки. Он считал, что Финляндия без особого ущерба для себя может отодвинуть границу на Карельском перешейке севернее на 20—30 километров.
5 октября 1939 года Молотов пригласил делегацию финского правительства на переговоры в Москву. На следующий день финский посол в Швеции госсоветник Паасикиви и главный эксперт по России полковник Паасонен вылетели в Советский Союз, а Маннергейм тайно начал всеобщую мобилизацию. Одновременно с Карельского перешейка и из Хельсинки эвакуировались местные жители. Паасикиви прекрасно знал русский язык, именно он в 1920 году подписал в Тарту мирный договор с Советской Россией, положивший конец войне.
12 октября в Кремле начались переговоры Молотова и Паасикиви. Маннергейм понимал, что СССР просто так не отступится от своих требований по решению вопроса о новых границах, поэтому он советовал Паасикиви: «Вы должны обязательно достичь договоренности. Армия неспособна сражаться».
23 октября в Москве начался второй раунд советско-финских переговоров. Финляндия, поддержанная международным сообществом, отказалась идти на уступки.
Как ни странно, в самой Финляндии ни правительство, ни население не верили в возможность войны. После того как переговоры были прерваны, население начало возвращаться на Карельский перешеек, а резервистов стали распускать по домам. Маннергейм, по-прежнему считавший, что нужно было согласиться с требованиями Советского Союза, подал в отставку, которая, однако, не была принята. В то время Маннергейму было уже 72 года, и он полагал, что не обязан руководить вооруженными силами страны, поскольку его советы не были приняты во внимание.