Anfang der 1920er-Jahre wollte der aus der Pfalz stammende Fassholzfabrikant Jakob Kornmann an den Rand Gerns übersiedeln. Er kaufte die große Grünfläche südlich des Waisenhauses.

Die Wahl für die Ausführung seiner gewünschten Villa fiel auf das Baugeschäft Heilmann & Littmann. Durch ihre Verknüpfung mit bedeutenden Bauten wie dem Hofbräuhaus, dem Kaufhaus Oberpollinger und dem Prinzregententheater hatten sich die Architekten Jakob Heilmann und Max Littmann längst einen hervorragenden Ruf in München und darüber hinaus erarbeitet. In der unmittelbaren Umgebung der geplanten Villa hatten Heilmann & Littmann ab 1892 mit der "Familienhäuser-Colonie Nymphenburg Gern" bereits die älteste Reihenhaussiedlung Süddeutschlands geschaffen.

Die ältesten Entwürfe der Littmann-Villa stammen vom Juni 1923. Sie zeigen, dass Jakob Kornmann gehobene, aber konservative Ansprüche an das Baugeschäft Heilmann & Littmann stellte. Von der Einreichung bis zur ersten Genehmigung der Pläne vergingen nur 14 Tage. Im Frühjahr 1924 war die Villa gebaut, der Garten bepflanzt und die Einfriedung gesetzt.

Die Zeitschrift „Der Baumeister“ schrieb im Oktober 1925: „Im Hause Kornmann ist die Vereinigung zwischen herrschaftlichem Wohnsitz und Geschäftsbüro vortrefflich gelungen.“ Hervorgehoben wurde die räumliche Verbindung der geschäftlichen und gesellschaftlichen Funktionen der Villa.

Der Mitteltrakt des Gebäudes sollte Wohnzwecken vorbehalten bleiben. Die im Erdgeschoss liegenden Räume waren als „Speisezimmer“, „Salon“ und „Damenzimmer“ für die Hausbewohner geplant. Für Geschäftskunden und Hausangestellte gab es eigene Eingänge in die mit Türmchen angebundenen Seitenflügel.

Ob Jakob Kornmann jemals die Villa bezogen hat, ist unklar. 1927 wurde jedenfalls ein Teil des Grundstücks an das benachbarte Waisenhaus verkauft. Die Villa bewohnte damals Regierungsrat Dr. Wilhelm Schmidt. Später erwarb sie der Wirt Johann Panzer, der zuvor einige bekannte Münchner Gaststätten wie das Hofbräuhaus betrieben hatte. 1930 zog er als Pensionär mit Familie ein.

1940 kaufte die Deutsche Reichspost das Anwesen und richtet Labore und Arbeitsräume ein. Die Littmann-Villa beherbergte nun das von dem Physiker Dr. Friedrich Vilbig geleitete „Amt für Wellenausbreitung“, eine Zweigstelle der „Forschungsanstalt der Deutschen Reichspost“. Es erforschte die Grundlagen der Ausbreitung von Funkwellen.

Die Intensivierung dieser als kriegswichtig erachteten Tätigkeit führte zu erheblichem Personalbedarf. 1943 wurde deshalb im nördlichen Teil des Anwesens eine Behelfsbaracke für Bürozwecke errichtet. Die Fundamente sind noch heute sichtbar.

Während das benachbarte Waisenhaus durch Luftangriffe nahezu vollständig zerstört wurde, stellten Inspektoren der Besatzungsmächte im Juni 1945 nur leichte Kriegsschäden an der Littmann-Villa fest.

Nach Kriegsende beherbergte die Littmann-Villa eine Zweigstelle des „Fernmeldetechnischen Zentralamts“. 1961 wurde das später wieder abgebrochene „Wähllabor“ angebaut und 1967 erfolgte der Umbau des 1. Obergeschosses für Wohnzwecke.

Danach diente das Gebäude als Postarztpraxis und Dienstwohnung des Präsidenten der Oberpostdirektion. Dieser hatte zuvor in einem von Robert Vorhoelzer geplanten Gebäude in der Waisenhausstraße 2 residiert. 

1995 verkaufte die Deutsche Post AG die Littmann-Villa an die Bayerische Architektenkammer. Das Gebäude wies deutlich sichtbare Spuren seiner langen Nutzungsgeschichte auf.

Das von Max Littmann als Büro geplante Zimmer im Erdgeschoss des Südflügels war während der NS-Zeit mit technischen Geräten ausgestattet. Heute nutzen es Mitarbeitende des Referats Recht und Berufsordnung.

Im Treppenhaus befand sich zeitweise eine verglaste Trennwand mit Tür zu den Wohnräumen des Oberpostdirektors. Heute ist der Zugang zu den als Büros genutzten Räumen im 1. und 2. Stock wieder offen. Aus Arbeitsschutzgründen wurde das Treppengeländer erhöht.

Nach einer Modernisierung beim Kauf des Gebäudes erfolgte von 2012 bis 2016 dessen grundlegende Sanierung.

Neben einem Hausschwammbefall am denkmalgeschützten Mosaikparkettboden der Sitzungssäle wurde unter anderem eine Durchfeuchtung der erdberührten Außenwände im Untergeschoss entdeckt. Nach 90 Jahren war auch die Erneuerung des Schieferdaches notwendig. Zudem wurden Teile des Erdgeschosses durch die Innenarchitektin Silke Kahl neu konzeptioniert.

Alle Arbeiten wurden bei laufendem Geschäftsbetrieb durchgeführt. 

Die Sanierung des Gebäudes leitete der Architekt Martin Schmöller. 

Die Anforderungen des Brandschutzes wurden durch Materialverstärkung sowie den Einbau neuer Brandschutztüren erfüllt. Besonderes handwerkliches Geschick erforderte die Sanierung der historischen Kastenfenster. 

Die Fassade und die Außenbauteile des Gebäudes erhielten nach Farbuntersuchungen ihre ursprünglichen schlichten Grautöne zurück.

Schließlich wurde eine denkmalgerechte Sanierung bei gleichzeitiger wesentlicher energetischer Optimierung erreicht. 

Als Ergebnis eines Architektenwettbewerbs wurde 2002 neben der Villa das Haus der Architektur (HdA) eröffnet. Mit der Planung beauftragt worden war der Träger des ersten Preises, das Büro Drescher & Kubina Architekten. 2024 erhielt das HdA eine Solaranlage sowie ein begrüntes Dach.

2023 wurde der neue, von realgrün Landschaftsarchitekten geplante Vorplatz eingeweiht. Der Zugang zum Gebäude ist nun offener und das HdA ist vollständig barrierefrei erreichbar.

Seit Januar 2025 steht auf dem Vorplatz ein öffentlicher Bücherschrank für Werke der Architektur, der Kunst und des Designs.

Das Viertel Gern gehört heute zum mehr als 100.000 Einwohner zählenden Stadtbezirk Neuhausen-Nymphenburg.

Das Leben dort ist äußerst facettenreich, es gibt belebte und geschäftige Ecken, aber auch ruhige Straßenzüge. Zu diesem lebenswerten Bild trägt die Bayerische Architektenkammer bei, indem sie das Grundstück, auf dem die Littmann-Villa und das Haus der Architektur stehen, nach Jahrzehnten der Verschlossenheit dem Dialog mit der Gesellschaft Schritt für Schritt öffnet.

Ein Spaziergang durch das Gern der Gegenwart hätte wohl auch Jakob Heilmann gefallen. Schließlich schrieb er schon 1881, dass „eine Stadterweiterung nicht von Straße zu Straße, sondern mit großen, weitsehenden Gedanken“ geplant und immer auf die Zukunft bezogen sein müsse.