В рядах красных имелась яростная оппозиция использованию офицеров старого режима (их называли «военными специалистами»), но Троцкий, истинный отец Красной армии, смог их отстоять. Таким образом, большевики оказались перед лицом армии, состоящей из насильно мобилизованных в нее рядовых (из которых в 1920 году редко когда коммунистом был один человек из двадцати), и офицерским корпусом, по большей части из бывших царских офицеров. Чтобы противостоять первому обстоятельству, в армии были образованы коммунистические партийные ячейки, игравшие роль информаторов и пропагандистов, демонстрировавших преданность режиму. Имелись также подразделения частей особого назначения (где насыщенность коммунистами была особенно большой), которые перебрасывались на наиболее угрожающие участки фрнта. Для присмотра за военачальниками в армии был введен институт политических комиссаров при командующих всех уровней. Они обладали такими же правами, что и командиры, и были обязаны одобрять (или не одобрять) каждый приказ офицера. Двойное командование никогда не бывает эффективным, но напряженность ситуации потребовала такого решения, которое стало лучшим и, возможно, единственным из возможных.
В конце 1920 года последняя белая армия (под командованием генерала Врангеля) была вытеснена за пределы Европейской России (Дальний Восток полностью попал под власть большевиков лишь в 1922 году, когда красными был занят Владивосток). Тогда как Гражданская война подвергла тяжелейшим испытаниям души многих красных солдат, война с Польшей в 1920 году полностью отвечала национальному характеру и привлекла многих из тех, кто до сих пор отказывался служить в Красной армии. Был сформирован военный совет, в который вошли несколько бывших царских генералов, и среди них Алексей Брусилов, под командованием которого был осуществлен известный в военной истории Брусиловский прорыв. Спешно формировались новые дивизии, общая численность вооруженных сил большевиков на Польском фронте составила около 200 000 человек. Снаряжение и вооружение по-прежнему были в дефиците, особенно чувствовалась нехватка артиллерии и боеприпасов.
Несмотря на военное положение, в войсках имелось много случаев дезертирства, и морально-политическое состояние личного состава находилось отнюдь не на самом высоком уровне. Из воспоминаний о польской войне французского генерала Вейганга: «Пленный офицер [русский] сообщил, что он все время своего пребывания на фронте находился под пристальным наблюдением и ему дважды грозили расстрелом. Красная армия в целом держится только системой террора. Пленный русский солдат сказал: «В старые времена мы шли в наступление, повинуясь дисциплине. Теперь же мы делаем это, потому что мы боимся получить пулю в спину!»
Когда изможденная страна стала восстанавливаться после восьми лет войны, началось обсуждение принципов построения новой армии. Гражданская и польская войны выдвинули целую плеяду новых военачальников. Одни из них, такие как Семен Буденный, бывший кавалерийский унтер-офицер, и блестящий молодой Михаил Тухачевский, бывший офицер гвардии, имели определенный военный опыт, другие же, как Климент Ворошилов и Михаил Фрунзе, были одаренными дилетантами. На этом этапе уже не было насущной необходимости в офицерах старого режима, не ставших коммунистами, и тысячи их были демобилизованы.
Новая армия должна была стать частично регулярной, частично территориальной, причем большая часть регулярных войск должна была быть дислоцирована на рубежах страны. Действительная воинская служба начиналась с двадцати одного года. Часть призывников должна была служить от двух до четырех лет в регулярных частях, другие меньший срок — в частях территориальных. Народы, которые при царском режиме не призывались на действительную службу, — магометане, выходцы с Северного Кавказа, калмыки, киргизы, туркмены и другие, — теперь должны были служить на общих основаниях.
Допризывная военная подготовка молодых людей была возложена на Общество содействия авиации и химической обороне страны — Осоавиахим, образованному в 1927 году.
Задача создания современной армии из расколотого и измотанного войной крестьянства была неимоверно трудной. Страна лежала в развалинах. За годы Гражданской войны промышленность почти исчезла. Свирепствовала преступность, а сопротивление большинства населения насильственным экономическим мерам постоянно вызывало восстания и беспорядки. После организованного разрушения дисциплины в 1917 году вдвойне трудно было вернуть ее. Но все же Фрунзе начал этот процесс — военнослужащие были обязаны носить военную форму как на службе, так и вне ее, гораздо больше внимания стало уделяться строевой и боевой подготовке.
Страна по-прежнему была еще не в состоянии восстановить промышленное производство, тогда как ощущалась острая необходимость в насыщении армии современным оружием. Для реализации этого была принята первая из чрезвычайных программ развития экономики — пятилетний план. Принося в жертву социальное благополучие людей, страна принялась за восстановление тяжелой промышленности и развитие ее новых отраслей. Причем при решении вопросов размещения новых производств принимались прежде всего оборонные, а не чисто практические соображения. В случаях, когда это было возможно, новые предприятия размещались в стратегически безопасных районах — на Урале и в Сибири. Возведение крупных промышленных центров вне доступности врага стало одним из жизненно важных обстоятельств в ходе Второй мировой войны. Строительство же Туркестано-Сибирской железной дороги открыло доступ к богатому сельскохозяйственному району, что стало особенно важно после потери Россией житниц на занятой врагом Украине.
Новые промышленные предприятия, хотя на первых порах и были недостаточно эффективными, смогли справиться с трудностями и начать выпускать вооружение в количествах, намного превосходящих все предварительные оценки большинства иностранных экспертов. В 1928 году все бронетанковые силы Красной армии состояли из тридцати легких танков и нескольких бронемашин. К началу Второй мировой войны в ней уже имелось тридцать шесть бронетанковых и механизированных бригад. Ко времени германского вторжения эта цифра возросла до семидесяти восьми бронетанковых и механизированных бригад, а в период с июня 1941 по ноябрь 1942 года их число возросло до 186 бригад, и это при том, что примерно 1300 заводов и фабрик было эвакуировано из потенциально опасных районов и переброшено в другие регионы России при значительных потерях в личном составе и технике. Этот поразительно быстрый рост производства вооружения, который намного превышал все то, что мог себе вообразить Гитлер, и стал решающим фактором победы русских.
За годы между двумя мировыми войнами Красная армия не только превратилась в современную механизированную вооруженную силу, но и претерпела значительные изменения в своей структуре и командном составе. В 1934 году был ликвидирован двойной контроль командиров и комиссаров — роль последних была сведена до положения политических советников. Численность армии возросла с 562 000 до 940 000 человек, а в 1935 году — и до 1 200 000 человек. В 1936 году, вместе с войсками Народного комиссариата внутренних дел (НКВД) и пограничными войсками, численность вооруженных сил составляла 1 550 000 человек. В армию вернулись воинские звания, было введено также звание Маршала Советского Союза.
Массовая чистка командного состава, начавшаяся летом 1937 года, лишила армию значительной части ее высших военачальников, в том числе трех из пяти маршалов. Ряды высшего командного состава были выметены почти дочиста — 90 процентов всех генералов и 80 процентов полковников были арестованы и, во многих случаях, казнены, по оценкам, их общее число составило 35 000 человек. Причиной, стоявшей за этой массовой и пагубной чисткой, жертвам которой были предъявлены обвинения в предательстве и измене родине, было желание сделать офицерский корпус армии более преданным Сталину. Значительное число из репрессированных были ветеранами Гражданской и/или служили в армии Российской империи. Люди эти мало чем были обязаны лично Сталину. Многие из них не принимали безжалостную политику «раскулачивания» крестьянства, бывшего основным поставщиком солдатских кадров, и осуждали правительственные репрессии. Массовое избиение высших военачальников было, по существу, шагом типичного восточного деспота, казнящего тех, кто позволял себе быть с ним не согласным. Если такой шаг и мог иметь какой-либо отдаленный эффект, заключающийся в усилении власти Сталина над партией и армией, то непосредственным его результатом было значительное ослабление духа и эффективности армии, которые ощущались еще и в 1941 году. В частности, весьма ощутимым было отсутствие Тухачевского, пионера в области применения воздушно-десантных войск, сторонника мощной артиллерийской подготовки перед началом наступления и использования значительных масс танков. Итогом пренебрежения таким тактическим приемом стали значительные потери советской бронетанковой техники в первоначальном периоде войны, когда танковые части были распылены между отдельными сухопутными формированиями. Другим негативным эффектом обернулось решение вернуть в армию двойную систему контроля, когда комиссары снова стали играть свою первоначальную роль.