Дворовые да заводские рабочие знали лишь, что за барской усадьбой выстроена целая слобода для трёхсот рабочих, которых барин привёз откуда-то со стороны. При этом было одно странное обстоятельство: дома ли, в кабаке, на гулянье их можно было видеть только 150 человек, остальная же половина всегда отсутствовала. Заметили лишь то, что ровно в полночь 150 человек этих таинственных рабочих отправлялись к одной из башен, помешавшейся в задней стене парка, и исчезали за её дверями, а оттуда выходила другая половина и безмолвно рассыпалась по своим домикам. Долгое время напрасно старались допытаться от кого-нибудь из этих рабочих — куда они ходят по ночам и что делают, но и от пьяных даже получали один ответ: мол, своя голова ещё не надоела, а «с вашим барином шутки плохи». Некоторые вообще отвечали угрозой «доложить самому» об излишнем любопытстве дворовых, после чего всякие расспросы прекратились.
А через некоторое время жуткий слух взволновал всю округу: в десяти верстах от имения Баташёва, в дремучем лесу, был ограблен огромный обоз, вёзший товары из Касимова в Муром. Часть извозчиков была перебита, а часть успела разбежаться и спрятаться в лесу. Добравшись до ближайшей деревни, они рассказывали, что их окружил целый отряд всадников «в чёрных образинах», и те стали стрелять по ним «из пищалей». Все спасшиеся удивлялись лошадям и амуниции нападавших: на разбойников не похожи — точно войско какое! Никто не смел ничего сказать вслух, но молва расходилась всё шире и шире, и втихомолку Баташёва стали называть не только «масоном-безбожником» и «монетчиком», но и просто «душегубом-разбойником». А случаи ограбления богатых обозов стали повторяться всё чаще и чаше, так что губернские власти волей-неволей должны были устроить «расследование», которое, впрочем, конечно, ничего не раскрыло. Только в конторских книгах того времени особо часто стали попадаться записи о щедрых дарах губернскому заседателю.
Андрей Родионович признавал только один закон — собственную волю, а благодаря покровительству Потёмкина, с одной стороны, и поблажке, закупленной им у местной власти, — с другой, ему всё сходило с рук. Новые налёты со своими молодцами, видимо, пришлись ему по вкусу, и на Муромском тракте стало опасно проезжать не только купцам, но и богатым помещикам.
При этом рассказывают, что, когда Баташёв появился в здешних краях, по среднему течению Оки ютились целые разбойничьи шайки, и для них Андрей Родионович был истинной грозой. Эти шайки он всячески истреблял, но при этом сам поступал по-разбойничьи: тут же захватывал в свои руки имения мелких землевладельцев, из которых редкий не был в дружбе с разбойниками.
Вообще для расширения своих владений он не останавливался ни перед какими средствами. Как-то у одного из соседних помещиков Баташёв оттяпал деревню Роксаново, причём прежний её владелец исчез неизвестно куда. Наследники помещика начали дело: приехали следователи, которые осмотрели издали деревеньку, затем переночевали у Баташёва, а утром решили ехать в Роксаново. Вышли на крыльцо, и что же? Видят: деревни как не бывало! «Где деревня?» — спрашивают следователи у понятых. «Знать не знаем и ведать не ведаем! — отвечают те. — Да такой деревни у нас и не бывало!» С тем следователи и уехали от Баташёва. После оказалось, что две тысячи человек работали в ночь пребывания на заводе следователей. Деревню снесли по брёвнышку, а землю распахали, так что и следа деревни не осталось, а жителей её Баташёв разослал по своим заводам.
Что же касается загадочного исчезновения этого помещика и многих других пропавших без вести людей, вошедших в конфликт с Баташёвым, то свет на это могут пролить записанные в начале нашего века рассказы одной девяностолетней старухи, родной дед которой служил «казачком» у Андрея Родионовича. По словам старухи, дверь в угловую правую башню парка была железная, а пол весь «по шарниру двигался, и вот как барин на кого „опаску поимеет“ и надо, чтобы его и следа не осталось (больше из начальства, которые ему супротивничали), — сейчас того угостит хорошенько, да пьяного и поведёт свои постройки смотреть. Сам на пороге станет, а его наперёд в эту самую башню пропустит. Только как тот на эти самые доски станет, они сразу на обе стороны, под стену-то и уйдут, а под полом-то этим колодезь бездонный… Полетит человек и крикнуть не успеет, а барин пуговку какую-то нажмёт — и опять пол ровный и следов нет — хоть век ищи, не найдёшь человека…»
До поры до времени благодаря богатствам и связям Баташёва все его выходки и проделки сходили ему с рук. Не раз против него пытались возбудить дело, но каждый раз они улаживались на месте, и даже если и доходили до столицы, то и там не получали должного хода. Но грозовая туча уже висела над «Орлиным гнездом». Смерть Потёмкина сильно поколебала его влияние в столице, а при вступлении на престол Павла всё вообще круто изменилось. Начались гонения на всех любимцев Екатерины, живших в столице, а затем добрались и до тёмного прошлого «Баташёвского магната».
Везде была рука у Андрея Родионовича, и вот однажды прискакал к нему нарочный с секретным извещением от «благожелателя» из столицы, что назначена «строжайшая ревизия» всех его дел, особенно касающихся слухов о «монетном дворе», находящемся где-то в тайниках баташёвской усадьбы. Раньше бы это не смутило грозного владельца — он знал, что никто из дворовых не дерзнул бы донести на него, не исключая и тех рабочих, которые продолжали посменно исчезать в одной из башен парка. Но теперь всем было известно, что пожелания «владыки» пошатнулись, что и на него могла найтись управа, и здесь-то, по рассказам, и произошло одно из самых страшных деяний Баташёва. Когда на другой день после приезда «эстафеты» очередная смена «ночных» рабочих ушла на свои всегдашние занятия, ей никто не вышел навстречу: барский доверенный ещё днём сказал всем, что надо разом прикончить спешное дело, после чего «барин» выдаст всем по 100 рублей и отпустит их по домам.
Весёлые и радостные ходили этот день рабочие и всем хвастались, что, мол, «скоро сами богатеями будем и уйдём от вас на родную сторону». Такие же весёлые шли они и на «последнюю работу», но больше никто их уже никогда не видел… Как в воду канули 300 человек, а управляющим было объявлено, что барин «тех рабочих отпустил домой, а стройку их жертвует своим заводским». Как ни боялись все Андрея Родионовича, но всё же пошёл кругом возмущённый глухой гул, особенно когда один из двух любимцев барина в тот же вечер в кабаке «сбрехнул», что, мол, теперь хоть сто ревизий приезжай, никто ничего не дознается, всё у нас «шито-крыто».
Все поняли, что не добром сразу исчезли без следа 300 человек, а когда на другой день и проболтавшийся любимец «нечаянно утонул», то ни у кого не было сомнения в том, что барин ловко «схоронил концы».
Приехавшая ревизия ничего не смогла открыть, так как никто действительно теперь не знал, где искать ход в «подземные хоромы», и хотя показали башню, куда входили рабочие («отпущенные домой и убиравшие парк»), но там оказались только дверь в сад и больше ничего… Но страшное предание прожило более ста лет, и ещё в начале нашего века местные крестьяне рассказывали, будто «барин собственноручно задвинул засовы чугунной двери подземелья, где лежали напившиеся на радости рабочие, которые и умерли там голодной смертью».
Вскоре после этого звезда Баташёва закатилась окончательно, а в 1799 году он умер семидесяти трёх лет. С тех пор владения Баташёва стали приходить в упадок.
Посетивший в середине второй половины XIX века Гусь-Железный писатель Мельников-Печерский, оставив подробные описания баташёвского имения, обращал внимание на «страшное запустение и развалины, незаметные только снаружи». Но не обошёл он в своём описании и легендарной «подземной части»: «Нижний этаж по расположению комнат напоминает верхний, а под этим этажом находятся подвалы, частью от времени разрушившиеся, и молва гласит, что из некоторых подвалов когда-то были подземные ходы, выходившие в поле».
Сегодня, к сожалению, мало, что из описанных грандиозных построек уцелело, от некоторых даже не осталось и следа. Ещё краевед Л. П. Чекина, пять лет проведшая в Гусь-Баташёве, изучая это удивительное место, писала через полвека после поездки Мельникова-Печерского: «Хотя все постройки, кроме „барского дома“ и нескольких флигелей, теперь наполовину разрушены, но всё же не потеряли своего стиля, и по ним легко восстановить картину прошлого. Целы огромные развалины театра и бесконечных оранжерей, а в каменной, наполовину осыпавшейся стене и сейчас видны маленькие бойницы для пищалей. В конце столетней липовой аллеи, идущей через весь парк от главного крыльца „хором“, помещаются развалины „павильона любви“… Недалеко от этих развалин находится полуразрушенная угловая башня, представляющая теперь наполовину осыпавшиеся стены без крыши, а вместо пола на аршин ниже уровня земли — остатки прогнивших балок, опавшие листья да всякий мусор».