Multimodal AI – how images, language and maps think together

Building design
a-city-street-full-of-traffic-next-to-tall-buildings-L7RbsRIG7DQ

A traffic street in the urban center, framed by skyscrapers - Photo by Bin White

Multimodale KI – wie Bilder, Sprache und Karten gemeinsam denken

Stadtplanung, die mitdenkt, spricht und sieht – das klingt nach Zukunftsmusik, ist aber längst im Hier und Jetzt angekommen. Multimodale Künstliche Intelligenz verknüpft Bilder, Sprache und Karten zu einer neuen, hochdynamischen Planungsintelligenz. Was steckt hinter dem Hype? Wer nutzt diese Technologien tatsächlich, und wie werden sie unserer Disziplin den Takt vorgeben? Willkommen in der Welt, in der Algorithmen nicht nur rechnen, sondern die Stadt »verstehen« wollen.

  • Definition und Grundlagen multimodaler KI: Wie verschiedene Datenarten zusammengeführt werden
  • Relevanz und Potenzial für Urbanistik, Landschaftsarchitektur und Stadtplanung
  • Kombination von Sprachmodellen, Bildverarbeitung und Geoinformationen in der Praxis
  • Innovative Anwendungen: Echtzeit-Analysen, partizipative Planung, Nachhaltigkeit und Szenarien
  • Konkrete Beispiele aus Deutschland, Österreich und der Schweiz
  • Chancen für neue Beteiligungsformate und transparente Entscheidungsprozesse
  • Herausforderungen: Bias, Datenschutz, Kommerzialisierung und Planungsverantwortung
  • Governance und Open Urban Platforms als Schlüssel für die Integration
  • Ausblick: Wie multimodale KI die Zukunft der Stadtentwicklung prägen wird

Was ist multimodale KI? Von der Dateninsel zur urbanen Intelligenz

Multimodale Künstliche Intelligenz – kurz: KI, die nicht nur mit Zahlen jongliert, sondern Bilder liest, Texte versteht und Karten analysiert – ist in den letzten Jahren zum Hoffnungsträger der digitalen Stadtplanung geworden. Hinter dem Begriff verbirgt sich weit mehr als technischer Zaubertrick: Es geht um Algorithmen, die verschiedene Sinneskanäle digital nachbilden und miteinander kombinieren. Klassische KI-Modelle beschränkten sich oft auf einen »Modus«, etwa reine Textverarbeitung oder Bildanalyse. Multimodale KI hingegen orchestriert mehrere Datenarten gleichzeitig. Sie verknüpft beispielsweise Luftbilder, Sensorwerte, amtliche Karten, Social-Media-Texte und Sprachaufnahmen. Die eigentliche Magie entsteht dort, wo diese Quellen nicht mehr nebeneinanderstehen, sondern sich gegenseitig ergänzen und interpretieren.

Die technologische Basis bildet dabei eine neue Generation tiefer neuronaler Netze, die sich auf sogenannte »Embeddings« verlassen. Das bedeutet: Bilder, Worte und räumliche Informationen werden in einen gemeinsamen mathematischen Raum übersetzt. In diesem Raum kann die KI dann beispielsweise erkennen, dass die Beschreibung »grüner Park am Fluss« mit einem bestimmten Luftbildausschnitt und einem Flächennutzungsplan zusammenpasst. Für die urbane Praxis ist das ein Quantensprung. Denn nun lassen sich Szenarien simulieren, die nicht nur auf Zahlen, sondern auf visuellen und semantischen Zusammenhängen basieren.

Doch was bedeutet das konkret für Planer, Stadtverwaltungen und Landschaftsarchitekten? Erstens: Die Qualität und Geschwindigkeit von Analysen steigt sprunghaft. Zweitens: Neue Quellen wie Bürgerbeteiligung per Sprachaufnahme, Drohnenbilder oder Geotagging aus sozialen Medien können erstmals strukturiert ausgewertet werden. Drittens: Die Grenzen zwischen klassischer GIS-Analyse, Textauswertung und Bildinterpretation verschwimmen. Die Stadtplanung wird damit nicht nur digitaler, sondern auch ganzheitlicher.

Es ist allerdings nicht alles Gold, was glänzt. Multimodale KI verlangt nach sauberen, interoperablen Daten und klaren Governance-Strukturen. Wer heute investiert, muss wissen: Die Systeme sind mächtig, aber auch anspruchsvoll. Fehlerhafte Trainingsdaten, unsaubere Kartengrundlagen oder lückenhafte Metadaten führen schnell zu schiefen Ergebnissen. Gerade deshalb ist Expertise gefragt – und ein kritischer Blick auf die Versprechen der Anbieter.

Die deutsche, österreichische und schweizerische Stadtplanung steht damit an einem Wendepunkt. Multimodale KI bietet die Chance, Planung sozialer, ökologischer und technischer zu denken. Aber sie verlangt auch eine neue Kultur der Kooperation. Die Stadt als Datenraum – das ist keine Science-Fiction mehr, sondern längst Bestandteil der urbanen Realität.

Bilder, Sprache und Karten: Wie multimodale KI urbane Räume neu lesbar macht

Die eigentliche Revolution der multimodalen KI liegt in ihrer Fähigkeit, Informationen aus unterschiedlichen Quellen miteinander zu »verhandeln«. Ein klassisches Beispiel: Die Auswertung von Bürgerbeteiligung zu einem neuen Stadtpark. Früher mussten Planer lange Excel-Listen, schriftliche Kommentare und handgezeichnete Karten separat analysieren. Heute kann eine multimodale KI ein Foto einer geplanten Fläche, gesprochene Statements aus einer Beteiligungs-App und den offiziellen Flächennutzungsplan gleichzeitig verarbeiten. Das System erkennt, welche Wünsche sich auf welche Teilflächen beziehen, visualisiert Konflikte und identifiziert unterrepräsentierte Themen. Die Stadt wird »spürbar« – in Daten und Bildern, nicht nur in Tabellen.

Auch in der Bestandserfassung sind die Fortschritte enorm. Drohnenbilder, historische Karten, aktuelle Luftaufnahmen und Textarchive werden miteinander verschmolzen. Die KI erkennt etwa, wo Bäume verschwunden sind, wie sich Gewässerränder verändert haben oder welche Bebauung einen Hitzeinsel-Effekt begünstigt. Gerade für die Klimaanpassung und Biodiversitätsplanung sind solche Quervergleiche Gold wert. Die Maschine lernt, Muster zu erkennen, die dem menschlichen Auge entgehen – und liefert so Entscheidungsgrundlagen für resiliente Stadtentwicklung.

Ein weiteres Feld: Die automatische Generierung von Vorschlägen. Multimodale KI kann auf Basis von Fotos, Standortdaten und Textbeschreibungen eigene Entwurfsskizzen oder Nutzungsszenarien vorschlagen. Sie filtert aus zehntausenden Best-Practice-Beispielen die relevantesten heraus, passt diese an lokale Gegebenheiten an und bewertet die Umsetzbarkeit nach sozialen, ökologischen und rechtlichen Kriterien. Das klingt nach Science-Fiction, ist aber bereits in Pilotprojekten in Zürich, Wien und Hamburg im Einsatz.

Für die Verkehrsplanung ergeben sich ebenfalls spannende Optionen. Stauprognosen, Luftschadstoffmessungen, Social-Media-Meldungen und Kamerabilder werden zu einem umfassenden Bild verknüpft. Die KI erkennt nicht nur, wo es gerade stockt, sondern prognostiziert auch, wie sich Großevents, Baustellen oder Wetterumschwünge auf die Mobilität auswirken werden. Wer heute Verkehrsströme steuern will, kommt an multimodaler Analyse nicht mehr vorbei.

All diese Beispiele zeigen: Multimodale KI ist viel mehr als ein weiteres Digitalisierungstool. Sie ist der Hebel, um urbane Räume als lebendige, vielschichtige Systeme zu begreifen. Bilder, Sprache und Karten werden zu einer neuen, gemeinschaftlichen Wissensbasis – und eröffnen damit Perspektiven, die weit über die klassische Planungsmethodik hinausgehen.

Praxis und Projekte: Multimodale KI in Deutschland, Österreich und der Schweiz

Damit die Theorie nicht in der Cloud versandet, lohnt sich ein Blick auf aktuelle Projekte im deutschsprachigen Raum. In München etwa wird eine multimodale KI eingesetzt, um städtebauliche Entwürfe in Echtzeit mit Klimadaten, Lärmprognosen und Mobilitätsanalysen zu verknüpfen. Die Planer laden CAD-Modelle, Standortfotos und Verkehrsdaten hoch, die KI erstellt daraus Szenarien, simuliert Auswirkungen und schlägt alternative Lösungen vor. Das spart nicht nur Zeit, sondern macht bisherige Blindflecken in der Entwurfsplanung sichtbar.

Wien wiederum experimentiert mit einem System, das Bürgerbeteiligung in neuem Licht erscheinen lässt. Spracheingaben aus Online-Workshops, handgezeichnete Skizzen und Geodaten werden in einer gemeinsamen Plattform zusammengeführt. Die multimodale KI wertet die Beiträge aus, ordnet sie räumlich zu und erkennt Themencluster. So entsteht ein partizipativer Atlas der Stadtentwicklung, der auch von politischen Entscheidungsträgern genutzt wird.

In Zürich nutzt das Tiefbauamt multimodale KI, um Baustellenmanagement und Verkehrsfluss-Optimierung zusammenzudenken. Kamerabilder, Social-Media-Posts über Verkehrsprobleme und Echtzeitdaten der Verkehrsleitsysteme werden kombiniert. Die KI schlägt Optimierungsmaßnahmen vor, die nicht nur technische Machbarkeit, sondern auch Nutzerakzeptanz und Umweltauswirkungen berücksichtigen. Das Ergebnis: Weniger Stau, bessere Luft und zufriedene Anwohner.

Doch nicht nur in Großstädten gibt es Fortschritte. Auch kleinere Kommunen in Baden-Württemberg und der Ostschweiz experimentieren mit multimodalen Plattformen. Hier geht es oft um die Integration von Flächennutzungsplänen, historischen Luftbildern und Bürgerfeedback. Die KI hilft, verborgene Potenziale zu erkennen, etwa für die Nachverdichtung, Klimaanpassung oder die Entwicklung von Grünachsen.

Diese Beispiele zeigen: Multimodale KI ist kein exklusives Spielzeug für Tech-Metropolen. Mit Mut, Know-how und den richtigen Partnern profitieren auch Mittel- und Kleinstädte. Entscheidend ist ein klarer Fahrplan: Datenhoheit sichern, offene Schnittstellen schaffen, Pilotprojekte mit konkretem Mehrwert aufsetzen – und stets ein kritisches Auge auf die Ergebnisse werfen.

Chancen und Risiken: Governance, Transparenz und der Faktor Mensch

So verheißungsvoll die Potenziale multimodaler KI sind, so groß sind auch die Herausforderungen. Der wichtigste Punkt: Transparenz. KI-Systeme, die aus Bildern, Sprache und Karten Entscheidungen ableiten, müssen nachvollziehbar bleiben. Wer nicht versteht, wie eine Empfehlung zustande kommt, wird ihr kaum vertrauen – das gilt für Planer genauso wie für Bürger. Open Urban Platforms, offene Schnittstellen und verständliche Visualisierungen sind deshalb essenziell. Nur so wird die KI vom Blackbox-Orakel zum echten Instrument der demokratischen Stadtentwicklung.

Ein weiteres Thema ist die Gefahr algorithmischer Verzerrungen. KI-Systeme lernen aus Daten – und diese Daten sind nie neutral. Wenn etwa Fotos von bestimmten Stadtteilen schlechtere Qualität haben oder bestimmte Gruppen in Bürgerbeteiligungen unterrepräsentiert sind, spiegelt die KI diese Schieflagen wider. Es drohen Planungsfehler, die strukturelle Ungleichheiten verstärken. Verantwortungsvolle Entwickler und Planer müssen deshalb auf Diversität und Datenqualität achten – und regelmäßig evaluieren, ob die Systeme ihren Zweck erfüllen.

Auch die Frage der Kommerzialisierung ist nicht trivial. Immer mehr große Softwareanbieter bieten KI-gestützte Planungstools als »as-a-service« an. Das klingt verführerisch, birgt aber die Gefahr, dass Städte ihre Planungsdaten aus der Hand geben. Digitale Souveränität bleibt das Gebot der Stunde. Wer heute mit multimodaler KI experimentiert, sollte offen verfügbare Datenstandards, quelloffene Algorithmen und eine starke öffentliche Kontrolle favorisieren.

Datenschutz ist ein weiteres Minenfeld. Je mehr Bilder, Texte und Geodaten integriert werden, desto sensibler werden die Informationen. Gerade bei Echtzeit-Analysen und partizipativen Anwendungen ist ein strenger Datenschutz zwingend nötig. Nur wenn Bürger sicher sein können, dass ihre Daten geschützt sind, werden sie KI-Projekte unterstützen. Transparente Datenschutzerklärungen, lokale Datenspeicherung und die Möglichkeit, eigene Beiträge jederzeit zurückzuziehen, sind Mindeststandards.

Und nicht zuletzt: Die Rolle des Menschen darf nicht unterschätzt werden. Multimodale KI ist kein Ersatz für planerische Erfahrung, Kreativität und Fingerspitzengefühl. Sie ist ein Werkzeug, das neue Horizonte eröffnet – aber nur dann, wenn Fachleute es mit klarem Kopf und kritischem Geist einsetzen. Weiterbildung, interdisziplinäre Teams und der Austausch zwischen Technik und Planung sind deshalb wichtiger denn je.

Fazit: Multimodale KI als neues Paradigma der Stadtgestaltung

Die Integration von Bildern, Sprache und Karten durch multimodale KI ist mehr als ein technischer Fortschritt – sie ist der Auftakt zu einem neuen Denken in der Stadt- und Landschaftsplanung. Wer diese Systeme klug einsetzt, kann urbane Räume nicht nur schneller, sondern auch gerechter, nachhaltiger und transparenter entwickeln. Die Stadt wird zum gemeinsamen Datenraum, in dem Verwaltung, Politik, Planung und Bürgerschaft auf Augenhöhe agieren.

Doch der Weg dorthin ist anspruchsvoll. Datenqualität, Governance, Transparenz und Datenschutz müssen konsequent mitgedacht werden. Multimodale KI verlangt nach neuen Kompetenzen, offenen Plattformen und einer starken öffentlichen Kontrolle. Wer sich diesen Herausforderungen stellt, wird mit Planungsergebnissen belohnt, die näher an den Bedürfnissen der Menschen und den ökologischen Realitäten der Stadt liegen.

Deutschland, Österreich und die Schweiz sind gut beraten, die Chancen dieser Technologie mutig zu ergreifen – aber auch die Risiken nicht zu unterschätzen. Multimodale KI ist kein Allheilmittel, aber das bislang leistungsfähigste Werkzeug, um die Komplexität moderner Städte zu meistern. Sie fordert uns heraus, über Disziplingrenzen und Routinen hinauszudenken – und eröffnet genau darin ihre größte Stärke.

Am Ende bleibt festzuhalten: Die Zukunft der urbanen Planung wird nicht von Einzelbildern oder isolierten Texten geprägt, sondern von der Fähigkeit, verschiedenste Datenquellen intelligent miteinander zu verbinden. Multimodale KI ist der Schlüssel zu einer Stadt, die sich selbst versteht – und damit zu einer Planung, die wirklich Zukunft hat.

YOU MAY ALSO LIKE

besgen landscape architecture: outdoor facilities Dietrich-Bonhoeffer-Haus

Building design

The redesign of the entrance area of the community center transforms a previously unsafe concrete arena into an inviting, colorful seating arena for young people. Noël Besgen, besgen landscape architecture

The redesign of the entrance area to the community center was a major challenge. Despite years of experience in designing outdoor areas, it was difficult to redesign the steep “concrete arena”, which was no longer safe to use. In the following project presentation, the besgen landscape architecture firm explains how it nevertheless succeeded in transforming this space into an inviting area.

The redesign of the entrance area to the community center was a major challenge. Despite years of experience in designing outdoor areas, it was difficult to redesign the steep “concrete arena”, which was no longer safe to use. In the following project presentation, the besgen landscape architecture firm explains how it nevertheless succeeded in transforming this space into an inviting area.

The starting point was the redesign of the steep, no longer safe to use concrete arena that leads to the “Sonderbar” children’s and youth club in the community center. The aim was to create a friendly and colorful entrance situation that invites people to the “Sonderbar”. A seating arena is intended to invite young people and confirmands to linger, chill out and celebrate, while also appealing to everyone who passes by. As part of the design, the extended outdoor area was also integrated into the design to create a harmonious overall look for the community garden and make access to the community center more inviting. The greywacke rock seating arena forms a transition and acts as a “front garden bed backdrop” to the community center, which changes over the course of the seasons. Strictly trimmed hedge bands serve as “green hedge railings” and protect the footpath from the flowerbeds. The steps are atmospherically set off by bollard lights in the clusters of shrubs and grasses, while recesses in the path decking serve as small seating niches. Herbaceous perennials were planted at the sides of the flowerbeds to turn the steps into a “scented staircase”.

A connecting element between the front and rear garden areas is the “community meadow”. At the rear is the “community terrace”, which adjoins the worship hall and is slightly higher, like a small bastion. This previously little-used terrace has now been transformed into an extended worship and open space that is used for congregational activities, open-air services, baptisms, meetings and festivities. The terrace is structured by intersecting strips of light-colored slabs and protected from noise and views from the main road by a hedge. Beds of ground cover and vertical grasses reinforce the effect of a sheltered, framed space. Here too, bollard lights in the beds provide atmospheric lighting accents, especially in the evening and in winter.

The garden was designed to be climate-friendly, with robust, low-maintenance plants that can withstand drought, urban climates and cold. The plants are also insect and bee-friendly. The plant beds consist mainly of ground covers, ornamental perennials, grasses and specimen plants that change depending on the season. Especially in summer, white hydrangeas and solitary grasses with taut stems add to the atmosphere.

The selection of plants in the community garden includes a variety of robust and climate-resistant plants. Strictly pruned hedges such as hornbeam (Carpinus betulus) and Schmidt’s alpine currant (Ribes alpinum Schmidt) form a structured framework. Flowering plants such as the panicle hydrangea (Hydrangea paniculata Limelight), the autumn anemone (Anemone japonica ‘Honorine Jobert’) and the white summer wood aster (Aster divaricatus Tradescant) provide seasonal color accents. Ground cover plants such as the ground cover rose Noatraum and the ornamental lady’s mantle (Alchemilla epipsila) fill the garden with vibrant greenery. The candle knotweed (Bistorta amplexicaulisLisan) and the cranesbill (Geranium wallichianum Azure Rush) complete the floral variety. Other plants such as steppe sage (Salvia nemorosa Caradonna), coneflower (Rudbeckia fulgida var. sullivantii Goldsturm), mountain mint (Calamintha nepeta Triumphator) and Patagonian verbena (Verbena bonariensis) not only provide aesthetic accents, but also attract insects. The catmint (Nepeta x faassenii) and various grasses, such as the autumn head grass (Sesleria autumnalis) and the garden riding grass (Calamagrostis x acutiflora Karl Foerster`), round off the plant selection and ensure a dynamic garden appearance all year round.

“Every garden is the result of an individual idea,” says Noël Besgen (landscape architect AKNW) – creative idea finder and design-competent planner for all aspects of garden and open space architecture. The starting point is the location, the garden, the square, the street, the park – and people.

The office “besgen Landschaftsarchitektur” was founded in 2008 with a focus on open space and object planning of private gardens. We create innovative, pragmatic, individual and low-maintenance concepts for feasible planning and design proposals for urban garden and open space culture that meet the special requirements of contemporary living and working environments. The designs stand for functionality, timelessness, formal restraint and clear reduction to simplicity. Competent and complete project support from the first sketch to the realized object.

Climate-resilient, sustainable and aesthetic redesign and redesign of the community center’s outdoor facilities as the seasons change. “And in the middle of the paradise garden, the werewolf chills in the sea of flowers,” commented the church community on the opening of the outdoor facilities.

Realization: 2021-2022
Client: Evangelical parish of Sankt Augustin & Niederpleis and Mülldorf
Design + planning: besgen landscape architecture & Noël Besgen I landscape architect AKNW

Our September issue is all about urban oases. Find more exciting projects here.

By the way: The long-awaited vote of the European Parliament on the Nature Restoration Law did not go as planned. Find out more about the result here.

English eat up Germany?

Building design

The pitfalls of language

The politician Jens Spahn sees German city centres being overrun by the English language and a globalized hipster culture. Our author wishes him more serenity.

Jo, it’s funny, the picture above. A subtle linguistic attack on the common Teutonic tourist. Whether an unconscious act of Germano aversion or rather sloppiness in the Adriatic high season – the impression currently haunting Facebook refers to the great theme of longing and loss in globalization: dealing with one’s own, and foreign, language. An emotional subject. Believe me, I know what I’m talking about – I’m currently living in Mexico and am trying, with moderate success, to improve my Spanish. That’s important, because hardly anyone speaks English here. Unlike in Berlin-Mitte.

Which brings us to the topic. The dominance of English in core tourist areas such as the center of Berlin has just been made an issue by CDU politician (and, according to those in the know, upcoming party star) Jens Spahn. He says that too much English is spoken in Berlin’s hipster cafés. And tries, somewhat strenuously, to combine his position as the only CDU hipster with his Anglo-critical core argumentation. Of course, this is aimed more at the CDU core electorate “out in the country”, people in Wanne-Eickel or Salzgitter-Lebenstedt, who may not speak English as well as the Berlin hipsters Spahn doesn’t appreciate (and like himself, as he casually lets slip).

Very important for Spahn: the reversal of the provincialism accusation. It is not the people from Wanne-Eickel who are provincial, but the hipsters themselves. A popular mental maneuver: take your opponent’s main argument and throw it at them yourself. Am I stupid? No, you are stupid. No, you are. No you…

Now, the presence of English in the tourist centers of our cities – as well as in those of other metropolises – cannot be denied. Occasionally I sit with a German friend at the bar of Berlin’s Soho House and order drinks from the German barman – in English. It does feel a bit strange. But to be honest, it’s not that bad. In any case, it doesn’t give me the identity crisis Spahn is talking about. And the drinks are still good.

What is interesting about Spahn’s criticism, however, is his observation that a kind of global tourism culture is spreading in our centers and replacing everything regional. That’s true, these cultural processes do exist. They also have an architectural impact, in Berlin, for example, through the construction of architecturally disastrous hotel bunkers that signal to Easyjet tourists in particular: This is your place. Berlin has little to counter this as a city due to empty coffers. At least investment is now being made, it seems. But the question is at what point the atmosphere of a city center is actually undermined to such an extent that nothing specific to the city remains.

Although – ultimately, I’m not so pessimistic about this. And that’s because I believe in the power of our cities more than Jens Spahn does. It’s not true that “all of Mitte” or the entire city centre of Munich is degenerating into vulgar, globalized party zones. Rather, backpacker tourism and hipsteritis are being added to other cultural elements. And alongside the aforementioned hotel monstrosities, a lot of good architecture is still being created in our cities. In this respect, dear Mr. Spahn: Relax. Oh sorry – don’t despair, I meant.