Памятник именуется Андреевским домом (домом Андреева). Это единственная каменная постройка на территории бывшей Семипалатинской крепости, сохранившаяся до наших дней. Здание возвел в 1795 году первостроитель Семипалатинска — капитан-инженер Иван Андреев.

В этом доме в 1854–59 гг. нес службу рядовой 7-го Сибирского линейного батальона, великий русский писатель Федор Достоевский, отбывавший в ссылке воинскую повинность. Сейчас дом оказался никому не нужен. Его хозяева с молчаливого согласия акимата (администрации) Семея на с вороватой торопливостью приступили к сносу культурно-исторического памятника.

По словам члена городского общества краеведов «Прииртышье» Натальи Рыковой, в разные годы в доме Андреева располагались гауптвахта, кордегардия, а сразу после революции — Дом обороны. В позднее советское время здание занимала военная прокуратура. Она всячески противилась тому, чтобы дому присвоили статус объекта, имеющего культурно-историческую ценность.

А затем пришли «лихие 90-е», и дом Андреева перекочевал в частные руки. Больше десятка лет заброшенное здание разрушалось на глазах у семипалатинцев. Надежда на спасение дома Андреева то появляется, то исчезает. Когда до председателя городского краеведческого общества «Прииртышье» Павла Жукова дошел слух, что Андреевский дом в ближайшее время снесут, а на его месте построят банк, он попытался достучаться до акимата Семея. Ему удалось подключить к решению проблемы и учреждение по охране историко-культурного наследия Восточно-Казахстанской области. Оттуда в городскую администрацию направили письмо с предложением приостановить снос Андреевского дома. Более того, начальник облуправления культуры Омар Жаксылык сообщил краеведу: решается вопрос о приобретении дома банком. Это давало надежду на сохранение памятника. Однако через несколько дней с крыши дома начали сдирать листы железа.

Когда журналисты республиканской газеты «Время» обратились к главному специалисту отдела архитектуры и градостроительства Семея Гульнар Абишевой, не поверили своим ушам.

— Да, здание снесут, — не моргнув глазом, заявила чиновница. — Есть постановление акимата. Андреевский дом не внесли в реестр исторических памятников, и теперь на его месте построят пятиэтажное административное здание.

Пока еще теплится хоть какая-то надежда, краеведы Семея направили письма с просьбой спасти уникальный дом акиму (губернатору) Восточно-Казахстанской области Бердыбеку Сапарбаеву, премьер-министру Кариму Масимову и президенту Нурсултану Назарбаеву.

В нехорошее время затеяли борьбу за сохранение историко-культурного памятника русские краеведы. В Казахстане вновь подняли голову «кумысные патриоты»: в начале мая группа представителей творческой интеллигенции потребовала «прекратить дискриминацию казахского языка», а также переименовать все города, села, улицы и площади, носящие русские названия.

В сентябре 2011 года «нацпаты» призвали лишить русский язык в Казахстане статуса второго государственного. По их мнению, русский язык и наименования являются «мрачным наследием эпохи советского тоталитаризма», а также «зловещим напоминанием периода колонизации нашего государства».