В 1888 году Харьковский купец Григорий Владимирович Юм решил на своей земле основать улицу, чтобы выгоднее продать участки под застройку. Землю под новую Юмовскую улицу он передавал городу бесплатно. Однако, только в 1895 году вопрос был решен окончательно. В том же году городские власти озаботились и о выравнивании Немецкой улицы и дворовое место самого Григория Юма, которое значилось под № 1 по улице его имени, было увеличено на 54 сажени (примерно 115 метров – ред.) за счет городской земли, которую он и прикупил за 600 рублей.

Дворовые участки по вновь устроенной улице были куплены зажиточными гражданами, например, инженером Здиславом Харманским, дворянкой Верой Васильевой, Наталией Грот, Марией Миклашевской, Лидией Кованько, купцами Дмитрием Кисилевским и Иваном Ершовым.

В 1908 году харьковский купец 2-й гильдии Михаил Иванович Рощупкин купил дворовое место № 12 по Юмовской улице у дворянки Марии Феликсовны Миклашевской. По всей видимости, оно было пустопорожним. Здесь Рощупкин построил двухэтажный каменный дом с небольшим подвалом под частью здания. Авторство проекта на сегодняшний день неизвестно. В доме было всего две квартиры: на первом этаже, она сдавалась внаем, и на втором, в которой жил владелец с супругой Зинаидой Дмитриевной и сыном Александром. В доме было центральное электричество, водоснабжение и канализация.

В 1920 году дом Рощупкина был национализирован и вскоре передан Всеукраинскому совету Всесоюзного общества политкаторжан и ссыльнопоселенцев. В столичном Харькове у Общества было несколько зданий, в 1929 году приступили к постройке нового здания по Пушкинской улице. Строительством занимался Харьковский союз жилищных кооперативов (Жилстройконтора) по проекту его главного архитектора Дмитрия Торова.

Заключив договор с Жилстройконторой на постройку нового здания, Общество политкаторжан решило продолжить сотрудничество с этой организацией и в части перестройки дома по Юмовской улице, 12. От лица заказчика выступали заместитель старосты Общества Дмитрий Константинович Белановский и член президиума Дмитрий Ефимович Яблоновский.

Задача, которую ставило Общество архитектору Дмитрию Торову, состояла прежде всего в перепланировке первых двух этажей, где предполагалось сделать несколько двухкомнатных квартир. Подвальный этаж предназначался для современной котельной установки с запасом топлива и необходимым количеством погребов по одному на каждую квартиру.

Второй задачей архитектору заказчик ставил надстройку третьего этажа над зданием и проездом, где собирались устроить контору Общества с проектным и производственным отделами, канцелярией, бухгалтерией, месткома, двумя кабинетами, комнатой прислуги, гардеробом и уборной. К июлю 1929 года Общество политкаторжан пожелало надстроить не один этаж, а два.

Инженеры Окржилсоюза, изучив постройку, пришли к выводу, что этажность можно увеличить, а над проездом устроить парадный подъезд. Чтобы облегчить надстройки, архитектор Торов предложил сделать деревянные перекрытия, а толщину стен уменьшить до двух кирпичей. По договору смета не должна была превышать 45000 рублей, однако позднее она была увеличена, не в последнюю очередь благодаря новым запросам от Общества политкаторжан. Так, они пожелали постелить в здании линолеум.

После заключения договора 7 сентября 1929 года работы должны были начаться 1 октября. Строительство шло довольно быстро. Некоторую задержку вызвали провода телефонной станции, закрепленные на крыше дома, а также отселение жильцов. Уже 31 января 1930 года комиссия Управления окружных инженеров осматривали перестроенное здание, правда, надстроен был только третий этаж, были и некоторые мелкие незаконченные работы. Типичными для такого рода работ были рассохшиеся и осевшие двери, некачественная малярка, неисправности газового, канализационного и водяного оборудования. Зима не позволяла выполнить и штукатурку фасада.

Взаимоотношения заказчика и подрядчика не сложились, последовали судебные заседания, в которых ожидаемо выиграло Общество политкаторжан. Строительство нового здания они заказали другой строительной организации. Несмотря на некачественную работу, здание купца Рощупкина, перестроенное по проекту Дмитрия Торова, до сих пор стоит по тем же № 12, только улица теперь носит имя Гуданова.