خانهای تاریخی در یکی از محلههای کهن شهر سمنان که برج افشاری، مهمترین بازمانده حصار دفاعی دوره نادرشاه افشار در آن واقع شده، با صدور مجوز ساخت یک سازۀ پنجطبقه، در تهدید قرار گرفته؛ موضوعی که بار دیگر مطالبه ثبت ملی این اثر و ساماندهی بافت تاریخی پیرامون آن را به صدر دغدغههای فعالان میراث فرهنگی استان رسانده است.در یکی از محلههای تاریخی شهر سمنان، خانهای تاریخی که در دل آن «برج افشاری» قرار دارد، در معرض تهدید جدی ساختوساز قرار گرفته است؛ بنایی که بر اساس اسناد تاریخی و تصاویر موجود، بخشی از حصار افشاری سمنان بوده است.در آلبوم «فتوگرافی ایالت قومس» عکسی از دورنمای شهر سمنان به تاریخ ۱۳۰۷ قمری وجود دارد که زیر آن آمده است: «دورنمای شهر سمنان از سمت مشرق مشتمل است بر شصت و شش برج، فاصله هر برجی به برجی از دویست الی دویست و پنجاه قدم است و این بنا از نادرشاه افشار و تعمیر نموده اوست».