הארמון נבנה ב-1307 על ידי מנפרדי קיארמונטה, ממשפחה רבת עוצמה ששלטה באי. הארמון נבנה בסגנון גותי עם השפעות ערביות ונורמניות . השער בנוי מאבן ומעל סדר של חלונות לאנסט כפולים ומשולשים במילוי צבעוני.
אחרי שמלכי אראגון עלו לשלטון, הם חיסלו את קיארמונטה והארמון הפך לביתם .
במאה ה-17 שכן פה בית הדין של האינקוויזייה ושימש לחקירה ועינויים, אותם אפשר לבקר במסגרת הסיור המודרך שנערך במקום.
בקומה הראשונה נמצא אולם המעוטר בתקרת עץ מצוירת בסצנות המציגות הרפתקאות אבירים.
הארמון שוחזר במאה ה-20, עם אלמנטים רבים הקשורים לתפקידו ככלא של האינקוויזיציה. במהלך העבודות התגלו בחזית החריצים שהותירו כלובי ברזל בהם נתלו ראשיהם הכרותים של האצילים שמרדו בקיסר קרל החמישי.
הארמון הוא כיום גם מוזיאון ובו נמצאים המשרדים של הרקטור של אוניברסיטת פאלרמו.
בין יצירות האמנות השוכנות במוזיאון ניתן למצוא את "לה ווצ'ריה (La Vucciria) של רנאטו גוטוזו (Renato Guttuso). מאחור נמצאת הכנסייה הגותית הקטנה של סנט אנטוניו אבטה.
בארמון נערכים סיורים מודרכים והחצר פתוחה לציבור.