قلعه خورموج از جمله جاذبه های تاریخی شهر خورموج است که قدمت آن به دوران قاجار باز می گردد. در ساخت این قلعه از سبک دوران ساسانی بهره گرفته شده و استفاده از گچ بری و طاق نمای باعث بیشتر شدن زیبایی آن شده است. در زمان ساخت قلعه خورموج تعدادی معمار اصفهانی و شیرازی دعوت شدند تا به سبک و سیاق معماری دوران صفویه و معماری ایتالیایی اقدام به ایجاد بخش هایی همچون مهمانخانه در این قلعه کنند.
قلعه خورموج در گذشته وسعت زیادی را داشته و شامل 4 حصار، 4 برج، اندرونی، عمارت مرکزی و بخش های دیگری می شد. به مرور زمان قسمت اعظمی از این بنا تخریب شده و در حال حاضر تنها یکی از برج های آن باقی مانده که در نوع خود بسیار زیبا می باشد. این قلعه تاریخی که دارای 3 طبقه و زیرزمین می باشد در فهرست آثار ملی ایران نیز قرار دارد.