В 1801 году Серен писал другу: «Мои домашние радости недавно умножились: на третий день Рождества жена подарила мне здорового сына». То был Ханс Матиас. Его брат Нильс Хенрик появился на свет летом 1802 года. С первого своего дня Нильс страдал плохим здоровьем, и мать проводила много времени, ухаживая за ним.
Тем временем в Европе росло напряжение, и объединенное государство Норвегии и Дании оказалось зажатым между главными центрами военной силы — Англией и Францией. Наполеон желал поставить его под свои знамена, так что когда Британия заключила союз со Швецией, Норвегия-Дания внезапно стала противником Британии, немедленно предпринявшей вторжение. Через три дня Норвегия-Дания капитулировала, чтобы спасти Копенгаген от разрушения. Позднее, когда власть Наполеона стала ослабевать, его приближенный Жан-Батист Бернадотт стал королем Швеции. После того как Норвегию передали под власть Швеции, норвежский парламент — Стортинг — был вынужден признать Бернадотта своим монархом.
В 1815 году обоих мальчиков отправили в Кафедральную школу в Осло. Учитель математики по имени Петер Бадер принадлежал к тому типу учителей, которые стимулировали своих учеников посредством тяжелых физических наказаний. Тем не менее оба мальчика учились хорошо.
Затем, в 1818-м, Бадер так избил одного из своих учеников — сына депутата Стортинга, — что мальчик умер. Невероятно, но Бадера даже не отдали под суд, а просто заменили другим учителем математики по имени Бернт Холмбоэ, который до того был ассистентом у профессора прикладной математики Кристофера Ханстеена. Это событие ознаменовало решительный поворот в математической карьере Нильса, потому что Холмбоэ позволял своим ученикам разбираться с интересными задачами, выходящими за рамки обычной программы. Нильсу разрешили взять классические учебники, среди них — некоторые книги Эйлера. «С этих пор, — писал позднее Холмбоэ, [Нильс] Абель посвящал себя математике с максимальным рвением и желанием и добивался прогресса в своих занятиях со скоростью, изобличавшей гения». Вскоре после окончания школы Нильс убедил себя, что он решил уравнение пятой степени. Ни Холмбоэ, ни Ханстеен не смогли найти ошибки, так что они отправили его вычисления известному датскому математику Фердинанду Дегену на предмет возможной публикации работы Датской академией наук. Деген также не нашел ошибок в работе, но, обладая немалым опытом и зная, что всякое бывает, попросил Нильса подробнее провести вычисления в применении к некоторым конкретным примерам. Нильс быстро понял, что где-то закралась ошибка; он был расстроен, но испытывал облегчение от того, что ему не дали выставить себя на посмешище, опубликовав ошибочный результат.
Честолюбие Серена в соединении с отсутствием здравого смысла привело к неприятным последствиям. Он выступил с заявлением, в котором обвинял двух членов Стортинга в несправедливом заключении в тюрьму управляющего металлургическим заводом, принадлежавшим одному из них. В результате таких нападок на их репутацию поднялся шум. Вскоре выяснилось, что управляющий не вызывал доверия, но Серен отказался извиняться. Впав в депрессию, несчастный запил и в конце концов допился до смерти. На похоронах вдова Серена Анна-Мари напилась до такого состояния, что затащила в постель своего любимого слугу. На следующее утро, когда к ней с визитом пришли официальные посетители, она принимала их в постели, лежа рядом со своим любовником. «Бедные мальчика мне их жаль», — писала их тетка.
В 1821 году Нильс закончил Кафедральную школу и отправился сдавать вступительные экзамен в университет Христиании (ныне Осло). Он получил максимальные оценки по арифметике и геометрии, а также хорошие оценки по остальной математике, но по всем другим предметам выступил ужасно. Он был теперь отчаянно беден, поэтому подал прошение о предоставлении ему бесплатного жилья и дров для отопления. Он также пытался получить субсидию, покрывающую расходы на проживание, и некоторые из профессоров, распознав его необычные способности, собрали деньги ему на стипендию. Получив такую поддержку, Нильс посвятил себя математике и решению уравнения пятой степени, на этот раз серьезно намереваясь обратить в успех свою неудачную первую попытку.
В 1823 году Нильс работал над эллиптическими интегралами — областью анализа, которой предстояло стать самым долговечным памятником своему создателю, превосходящим по важности даже его работы по уравнениям пятой степени. Он пытался также доказать Последнюю теорему Ферма, но не смог найти ни доказательства, ни опровержения, хотя ему удалось показать, что пример, опровергающий утверждение теоремы, может появиться только в области поистине гигантских чисел.
Летом того года он отправился на бал, познакомился там с молодой женщиной и пригласил ее на танец. После нескольких неудачных попыток начать оба они разразились смехом — ни один из них не имел ни малейшего представления о том, как танцуют. Женщину звали Кристин Кемп, но все называли ее Крелли; она была дочерью военного интенданта. Как и у Нильса, у нее не было денег, и на жизнь она зарабатывала частными уроками по всем предметам — от рукоделия до естественных наук. «Она некрасива, у нее рыжие волосы и веснушки, но она чудесная девушка», — писал Нильс. Они полюбили друг друга.
Эти события стимулировали занятия Нильса математикой. Ближе к концу 1823 года он доказал невозможность решения уравнения пятой степени — причем в отличие от прошедшего чуть мимо цели выстрела Руффини он не промахнулся. Доказательство, стратегия которого была схожа с использованной Руффини, но тактика совершеннее, не содержало пробелов. Исходно Нильс не знал о работе Руффини. Впоследствии он наверняка должен был с ней познакомиться, поскольку упоминает о ее неполноте. Но даже Нильс не смог точно указать то место, где в доказательстве Руффини таилась дыра, — и это несмотря на то, что его метод оказался ровно тем, что требовалось для заделки этой дыры.
Нильс и Крелли отпраздновали помолвку. Чтобы жениться на своей возлюбленной, Нильсу надо было получить работу, а это означало, что требовалось признание его талантов со стороны ведущих европейских математиков. Опубликовать свою теорию было бы недостаточно: медведя следовало ловить в его берлоге. А для этого требовалась некоторая сумма денег на путешествия.
После длительных переговоров университет Христиании согласился предоставить Нильсу достаточно средств, чтобы он смог отправиться с научным визитом в Париж, где ему предстояло встретиться с ведущими математиками мирового уровня. Готовясь к поездке, он решил, что ему понадобятся печатные экземпляры его лучшей работы. Он полагал, что доказательство невозможности решения уравнения пятой степени произведет впечатление на французских коллег. Но, к сожалению, все его работы были изданы по-норвежски, в малоизвестном журнале. Поэтому он решил, что необходимо частным образом издать свою работу по теории уравнений в переводе на французский. Заглавие ее звучало как «Мемуар по алгебраическим уравнениям, в котором доказана невозможность решения общего уравнения пятой степени». Чтобы сэкономить на расходах по изданию, Нильс оставил лишь выжимку из самого существенного в своем методе, так что печатный вариант уложился всего лишь в шесть страниц. Это было куда меньше пятисот, написанных Руффини, но в математике бывают случаи, когда краткость скорее затемняет идеи. Целый ряд логических деталей — которые в этой области играли определяющую роль — пришлось оставить за бортом. Работа представляла собой набросок, а не доказательство.
Нильс открыл ее словами «Математики в целом занимались задачей нахождения общего метода для решения алгебраических уравнений, и некоторые из них предпринимали попытки доказать, невозможность такого решения. Поэтому я смею надеяться, что математики благосклонно встретят эту статью, которая ставит своей целью заполнить пробел, существующий в теории уравнений». Надежда оказалась бесплодной. Хотя ему удалось посетить некоторых математиков в Париже и заручиться их согласием взглянуть на его статью, аргументация в ней была настолько сжатой, что большинство, вероятно, нашли ее непригодной для понимания. Гаусс не выбросил свой экземпляр, но так и не прочел его — когда статью нашли после его смерти, страницы в ней оставались неразрезанными.
Позднее, быть может осознав свою ошибку, Абель опубликовал два развернутых варианта своего доказательства, приведя в них больше подробностей. Узнав к этому времени о работах Руффини, он писал: «Первая попытка доказательства невозможности алгебраического решения общего уравнения была предложена математиком Руффини; но его мемуар настолько труден для понимания, что судить о верности его аргументами нелегко. Мне представляется, что его рассуждения не всегда удовлетворительны». Но, как и все остальные, он не указал, почему именно.