Häufige Fragen zum Vorgehensmodell für KI-Engineering PAISE®

PAISE^® fokussiert sich auf die Nutzung und die Integration einer Subgruppe von KI-Verfahren, nämlich der maschinellen Lernverfahren (ML), in komplexe technische Systeme. Als Personen werden Projektleiter und ihre Teams adressiert, welche die Entwicklung eines ML-basierten Produkts verfolgen. Hierbei werden folgende Dinge vorausgesetzt:

• Der Projektleiter verfügt über grundlegendes Wissen zum Thema Projektmanagement und bedient sich entsprechender Werkzeuge (z.B. für zeitliche Planung, Budgetplanung, etc.) nach Bedarf.
• Es gibt eine grundlegende Produktidee, welche einen Business Case adressiert.
• Der Projektleiter verfügt über ein grundlegendes Verständnis von ML, insbesondere der folgenden Aspekte:
  
  • Abhängigkeit von ML von Daten und deren Qualität
  • Abhängigkeit von Performance-Metriken der ML-Modelle von der Menge der Daten
  • Validierungsmethoden von state-of-the-art ML-Modellen
• Das Team enthält sowohl Data Scientist(s) als auch ML-Expert*innen. Die weiteren benötigten Disziplinen orientieren sich am jeweiligen Anwendungsfall.

Ja, sofern „from scratch“ bedeutet, dass es bereits eine Produktidee gibt, jedoch aber sonst keine Vorarbeiten.

PAISE^® ist ein Vorgehensmodell für die systematische Entwicklung von KI-basierten technischen Systemen mit dem Ziel eines Produkts, welches in den Betrieb geht. Dies setzt voraus, dass es eine grundlegende Produktidee gibt. Die grundsätzliche Anwendbarkeit von KI zur Problemlösung kann in Ansätzen bereits im Vorfeld untersucht worden sein, muss aber nicht.

Sie können direkt in die erste Phase von PAISE^®, der Beschreibung der Ziele und des Problemverständnisses einsteigen. Ziele und Problemverständnis können in dieser Phase noch recht vage formuliert sein und werden in den weiteren Phasen stärker präzisiert.

Interessant könnten für Sie auch Frage 1 (Für wen ist PAISE^®?), Frage 8 (Wie ordnet sich der PoC/Vorentwicklung in PAISE^® ein?) und Frage 4 (Was muss ich wissen, bevor ich mit PAISE^® anfange?) sein!

PAISE^® kann in diesem Fall trotzdem angewendet werden. Sofern keine ML-Komponente entwickelt wird, fällt das Vorgehen der ML-Komponentenentwicklung weg. Sollte es jedoch Komponenten geben, deren Design stark von Daten abhängt, dann kann im Einzelfall entschieden werden, ob das Vorgehen der Datenbereitstellung zur Entwicklung von Datensätzen trotzdem sinnvoll ist. Zudem ist nicht ausgeschlossen, dass in der Zukunft doch eine ML-Komponente integriert werden wird. Dann ist man mit PAISE^® gut darauf vorbereitet.

Insbesondere adressiert PAISE^® die Herausforderung, KI-basierten Systemlösungen systematisch und standardisiert zu entwickeln. Somit ist eine klare Zieldefinition, d.h. das Verständnis, welche Prozesse mit PAISE^® strukturiert werden sollen, wichtig.

Unternehmensinterne Anforderungen und bestehende Prozesse bei Produktentwicklungsprojekten müssen beim Projektleiter bekannt sein. Es sollten die Grundkonzepte von PAISE^® verstanden sein und ein Plan existieren, wie man diese auch auf unternehmensinterne Prozesse abbilden kann. Hier können PAISE^®- Schulungen helfen (Siehe Frage 5 (Gibt es Schulungen?)). Grundsätzlich kann PAISE^® an verschiedene Vorgehensmodelle und Kulturen andocken (siehe Frage 9 (Kann ich PAISE^® mit SCRUM kombinieren?)).

Die Projektleitung muss ein Grundverständnis über datengetriebene Entwicklung und die Validierung von ML-Subsystemen mitbringen und Risiken bewerten können. Die Kompetenz für die Entwicklung und vor allem die Validierung von ML-Modellen sollte an verschiedenen Stellen im Projekt vorhanden sein. Risiken sind speziell beim KI-Engineering stark an die Datenqualität gekoppelt, da diese ausschlaggebenden Einfluss auf die Funktionalität der ML-Komponente hat. Ein ML-Basiskurs ist daher die Mindestvoraussetzung für die Projektleitung und kann auch für andere Beteiligte Nicht-ML-Experten sinnvoll sein, um ein Grundverständnis zu erreichen.

Die im Projekt involvierten ML-Expert*innen sollten die in Frage kommenden ML-Verfahren souverän beherrschen und bereits erste Erfahrungen im Kontext der relevanten Daten gesammelt haben.

Interessant könnte für Sie auch Frage 1 (Für wen ist PAISE^®?) sein!

Schulungen zu PAISE^® werden zukünftig über das Kompetenzzentrum für KI-Engineering in Karlsruhe (CC-KING) angeboten werden. Es wird sowohl klassische Vorortschulungen als auch virtuelle Seminare geben. Schulungstermine findet man auf der CC-KING Web-Seite sowie in den sozialen Medien wie LinkedIn und Twitter.  Sollten Sie als Unternehmen oder als Verband Interesse an einer Veranstaltung oder einem Workshop zu KI-Engineering oder PAISE^® haben, können Sie sich auch direkt an die CC-KING Projektleitung wenden.

PAISE^® definiert ein Vorgehensmodell für die systematische und standardisierte Entwicklung und den Betrieb von KI-basierten Systemlösungen. Hierbei wurden sowohl Vorgehensmodelle auf System- als auch Komponenteneben definiert. Um der explorativen Natur der Entwicklung von KI-Lösungen Rechnung zu tragen, ist eine flexible Anordnung und ein zyklisches Durchlaufen der benötigten Entwicklungsphasen möglich. Gesteuert wird diese Abfolge vorrangig durch die Phasen Verfeinerung sowie Checkpoint/Bewertung.

Für den Einstieg in maschinelles Lernen eignet sich PAISE^® dahingehend, dass die typischen Entwicklungsschritte im Vorgehensmodell skizziert sind. Diese sind jeweils in ein Vorgehensmodell für die ML-Komponentenentwicklung und die Datenbereitstellung aufgeteilt, um, insbesondere bei mehreren Entwicklungsteams, die nötige Dokumentation aber auch Flexibilität zu erlauben. Im folgenden Schaubild sind die ML-spezifischen Schritte aus diesen Phasen sequenziell dargestellt. Dies gibt eine Übersicht über die typischen Schritte und ihre Abfolge, die für den Einstieg in die Entwicklung von KI-basierten Lösungen unerlässlich und in PAISE^® ebenfalls enthalten sind. Für ein Vorgehen sind jedoch typischerweise wiederholte Ausführungen bzw. Verfeinerungen der einzelnen Schritte notwendig. Für eine detaillierte Beschreibung der Schritte sei auf die entsprechenden Phasen in PAISE^® verwiesen.

Die Phase Spezifikation Problem & Lösungsstrategie wird für die ML-Komponente in der ML-Verfeinerung durchgeführt. Die Schritte der Datenkuration werden im Rahmen der Datenbereitstellung durchgeführt, genauso wie der Schritt Daten-Labeling im Falle von überwachtem Lernen. Das Feature Engineering findet im Schritt Integration Datenquellen in der ML-Komponentenentwicklung statt.  Die nachfolgenden Schritte Modellerstellung, Modell V&V sowie Deployment, werden in den Phasen der ML-Komponentenentwicklung durchgeführt.

Derzeit fokussiert PAISE^® auf die fachlich-inhaltlichen Aspekte beim KI-Engineering. Natürlich gehört zur Zieldefinition in der Phase Ziele & Problemverständnis dazu, die zeitlichen Restriktionen und die Budgetrestriktionen mit zu beschreiben. Während das Monitoring des Zeitplans und des Budgetplans wird in der aktuellen PAISE^® Version nicht explizit betrachtet wird, so wird es doch vom Vorgehensmodell unterstützt. PAISE^® zerlegt den Entwicklungsprozess in Teilschritte, gesteuert durch Checkpoints. Das Konzept sieht vor, an wohldefinierten Entwurfspunkten einen Abgleich zwischen definierten Anforderungen und Entwicklungsstand durchzuführen und zu dokumentieren. Im Rahmen des Whitepapers sind feature-, reifegrad- und zeitbasierte Checkpoint-Strategien vorgestellt.

PAISE^® adressiert die Entwicklung eines KI-Modells als Teil von Systemen für den langfristigen Betrieb. Aus unserer Sicht ist dafür die Entwicklung eines Proof of Concept (PoC) unerlässlich. Das Ergebnis des PoC ist die Erfahrung und die notwendige Gewissheit für den Lösungsansatz der KI-Verfahren, um größeren Aufwände in die Entwicklung eines Systems für den langfristigen Einsatz zu investieren.

Der PoC kann bereits vor dem Start in das PAISE^® Vorgehensmodell erfolgt sein. Andernfalls wird dringend empfohlen, den PoC in den Meilensteinen für den Entwicklungszyklus zu verankern.

SCRUM ist ein Framework für agiles Produkt- und Projektmanagement. Das Produkt wird inkrementell weiterentwickelt, wodurch man sich dem langfristigen Ziel des Projektes annähert. Durch die einzelnen Phasen, sowie vor allem der iterativen Komponentenentwicklung besitzt PAISE^® eine große Überschneidung mit SCRUM, legt allerdings den Fokus auf die Entwicklung einer KI-basierten Lösung. Durch diese Überschneidungen ist SCRUM als Werkzeug für das Projektmanagement in Kombination mit PAISE^® ideal geeignet.

Als konkretes Beispiel für die Nutzung von agilen Methoden in PAISE^® kann die Planung und Durchführung der Checkpoint/Bewertung-Phase genannt werden. Hier wurde in PAISE^® die genutzte Technik offengelassen. Der typische SCRUM Product Backlog ist beispielsweise als Planungsgrundlage sehr gut geeignet. Im Rahmen der Phase Verfeinerung kann dieser für die SCRUM Sprint-Planung, bzw. zur Erstellung des SRUM Sprint Backlog heruntergebrochen werden. Im Rahmen des Schritts Checkpoint/Bewertung kann die Erfüllung eines Sprints (SCRUM Sprint Review) bewertet werden und in der nachfolgenden Verfeinerung-Phase der nächste Sprint vorbereitet werden. Um häufige SCRUM-Vorgehen zu adaptieren, bietet sich die in PAISE^® vorgestellte zeitbasierte Checkpoint-Strategie an. PAISE^® und SCRUM ergänzen sich also sehr gut.

In PAISE^® umfasst die Rolle des Projektleiters sowohl die Aufgabe, die Einhaltung des Prozesses zu überwachen als auch die Kundenanforderungen im Blick zu behalten. Diese beiden Rollen sind in SCRUM auf den SCRUM Master und den Product Owner aufgeteilt. Eine äquivalente Aufteilung kann in PAISE^® bei Bedarf ebenfalls vorgenommen werden, widerspricht also dem Vorgehensmodell nicht.

Sowohl PAISE^® als auch Crisp-DM (Cross-industry standard process for data mining) kann man zur Metrik-basierten Entwicklung von ML-Anwendungen einsetzen.[R(1]  PAISE^® spannt hier den Rahmen jedoch weiter als Crisp-DM. Bei Crisp-DM liegt der Fokus darauf, einen Business-Case auf Basis von Daten und darauf aufsetzenden Modellen zu erstellen. Ein standardisiertes Vorgehen zur Integration der entwickelten ML-Modellen in komplexe Systeme und deren gegenseitige Beeinflussung bietet jedoch Crisp-DM nicht. Ebenso wenig wird auf Qualitätskriterien eingegangen, die an die Daten gestellt werden müssen, um die Anforderungen an die daraus abgeleiteten Modelle sicher zu stellen. Hier setzt das Vorgehensmodell PAISE^® an.

Im Kontext von KI-Engineering ist Crisp-DM gut geeignet, um den Mehrwert der Nutzung von Daten und den Einsatz von ML-Verfahren zu bewerten, also um einen Proof of Concept (PoC) zu machen. Bei CRISP-DM steht wie der Name schon sagt das Data Mining im Vordergrund. Softwaretechnisch ist CRISP-DM eher ein Rapid-Prototyping-Ansatz. Um jedoch ein Produkt zu entwickeln, welches schlussendlich an Kunden ausgeliefert wird fehlen in Crisp-DM grundlegende Punkte, wie z.B. die Validierung der ML-Modelle im Zusammenspiel mit anderen Komponenten und die Wartung der ML-Modelle über den Lebenszyklus des Produkts hinweg. Hierfür bietet PAISE^® das Checkpoint-Konzept und das Konzept des ML-Modell Monitorings an.

Ein weiterer Punkt ist, dass Crisp-DM (und auch der Nachfolger ASUM-DM) die Weiterentwicklung und Validierung von Datensätzen und Werkzeugen als getrennte Komponenten nicht explizit betrachtet. Die enge Kopplung dieser Aspekte in CRISP-DM kann hier in komplexen Systemen zu einer verengten Sichtweise führen.

Maschinelles Lernen ist eine spezielle Form der Künstlichen Intelligenz. Modelle aus Daten zu erlernen hat viele Vorteile und ist dadurch heute die dominante Form der KI. Tatsächlich gibt es aber viele Verfahren, welche auf vorab bekannten Modellen arbeiten und intelligente Entscheidungen treffen, ohne aus Daten gelernt zu haben. Einige Entwicklungsschritte fallen in diesem Fall im Vergleich zu ML-basierten Verfahren weg, wie z.B. die Datenerhebung und -aufbereitung. Es verbleiben jedoch weiterhin die klassischen Herausforderungen des Systems Engineering, die ebenso in PAISE^® adressiert werden. Daher ist die Anwendung von PAISE^® gerechtfertigt, auch wenn KI ohne ML zum Einsatz kommt.

Es wird darauf hingewiesen, dass PAISE^® ausdrücklich nicht mit Blick auf die Entwicklung von Hochrisiko-Produkten erarbeitet wurde, welche regulative Anforderungen erfüllen müssen, die im AI-Act besondere Aufmerksamkeit erhalten.

Der AI-Act ist die zentrale Quelle für regulative Anforderungen in Bezug auf die Entwicklung von KI-Systemen in der Europäischen Union (Dt.: Vorschlag für eine Verordnung des EU-Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für KI (AI-Act) […], COM/2021/206 final) , der voraussichtlich in 2024 bis 2025 in Kraft treten soll. Dieser steht im Kontext des New Legislative Framework der EU und beschreibt breite Anforderungen für Entwicklung und Inbetriebnahme von KI-Systemen, insbesondere, aber nicht ausschließlich, für Systeme in sogenannten „Hochrisiko-Anwendungen“. Diese umfassen unter anderem Transparenzpflichten in der Entwicklung, aber auch Anforderungen an Datensätze wie Fairness und Fehlerfreiheit. Entsprechende Rahmenbedingungen sind bei der Anwendung von PAISE^® in mehreren Phasen relevant. In der Zieldefinition ist zu ermitteln, welche regulativen Anforderungen sich aus der Zielsetzung ergeben. In der Phase Anforderungen & Lösungsansätze ist der Umgang damit zu konkretisieren und in konkrete Metriken zu überführen. In Checkpoints sind die Metriken zu evaluieren und damit der Grad der Erfüllung der regulativen Anforderungen.

Dabei ist zu berücksichtigen, dass die Umsetzung des AI-Acts vorsieht, dass die dortigen Vorschriften für Produktentwicklungen (die PAISE^® in der Regel voraussetzt) nach Möglichkeit in den jeweiligen sektorspezifischen Zulassungsvorschriften übernommen und darüber angewendet werden sollen. Es sind daher durch die Entwickler insbesondere die regulativen Anforderungen der betreffenden Produktzulassung zu prüfen, und dementsprechend, inwieweit das Vorgehen nach PAISE^® mit diesen Anforderungen vereinbar ist.

Über den AI-Act hinaus kann insbesondere die „Verordnung 2019/881 des Europäischen Parlaments und des Rates […] über die Zertifizierung der Cybersicherheit von Informations- und Kommunikationstechnik […]“, der „Cybersecurity Act“, für die Entwicklung von KI-Systemen relevant sein, der seit 2019 in Anwendung ist. Hier kann PAISE^® dazu beitragen, Missbrauchsrisiken im Sinne der Cybersecurity in KI-Systemen frühzeitiger zu identifizieren und gezielter zu adressieren, sofern die zugehörigen Anforderungen (s.o.) im Rahmen von Ziel- und Anforderungsdefinition identifiziert und im Rahmen regelmäßiger Checkpoints evaluiert werden.

Ja, PAISE^® kann auch für die Weiterentwicklung bestehender Systeme verwendet werden. Eine der Leitfragen in Phase 1 ist speziell dafür vorgesehen, den Stand bereits existierender Systeme abzufragen: „Was ist der Ausgangszustand?“.

Es ist unerheblich, ob das bestehende System bereits ML-Komponenten enthält oder nicht. Ebenso ist nicht relevant, ob die Weiterentwicklung ML-Komponenten umfasst oder nicht (siehe Frage 3 (Was ist, wenn ich während des PAISE^®-Vorgehens rausfinde, dass ich gar kein ML brauche?)).

Neue Komponenten werden durch die Erweiterung der funktionalen Dekomposition in das Gesamtsystem eingefügt, im Entwicklungszyklus entwickelt, ins bereits bestehende Gesamtsystem integriert und dort auch getestet.

PAISE^® unterstützt die Einbringung unterschiedlichster Anforderungen, die im Rahmen der Phase Ziele & Problemverständnis initial identifiziert werden und in der Phase Anforderungen & Lösungsansätze konkret zu spezifizieren sind. Im Rahmen von Checkpoints im Entwicklungszyklus sind diese regelmäßig zu evaluieren. Durch die Anwendungsbreite und Komplexität von KI-Systemen zählen zu diesen Anforderungen oft in besonderem Maße eine menschengerechte und ethische Systemgestaltung. Hier kann sich das Entwicklungsvorgehen an der IEEE 7000 "IEEE Standard Model Process for Addressing Ethical Concerns during System Design" orientieren. Eine Harmonisierung des Ansatzes mit PAISE^® wird derzeit erarbeitet und in künftigen Versionen detailliert.

PAISE^® wurde von den CC-KING Partnern insbesondere aufgrund der Erfahrungen und Anforderungen in der Nutzung von KI-Verfahren in den Anwendungsdomänen der industriellen Produktion und der Mobilitätssysteme entwickelt. In diesen Domänen wurden auch Anwendungsszenarien über sogenannte QuickChecks durchgeführt und PAISE^® damit validiert. Dies schließt nicht aus, dass PAISE^® auch für andere technische Anwendungsdomänen eingesetzt werden kann, wie z.B. im Gesundheitswesen, der Medizin, der Kreislaufwirtschaft oder der Logistik. Letztlich ist PAISE^® potentiell für alle Domänen, mit Bedarf für eine systematische Entwicklung und einen verlässlichen Einsatz von KI-Verfahren geeignet.

PAISE^® eignet sich vorrangig für Produktentwicklungsprojekte, in denen mehrere Komponenten parallel in verschiedenen Teams oder sogar über Organisationen hinweg entwickelt werden sollen. Hier strukturiert PAISE^® die Zusammenarbeit konsequent und zielgerichtet.

Für kleine Teams und wenig komplexe Systeme, z.B. wenn Komponenten von einzelnen Personen entwickelt werden kann PAISE^® eine Orientierung geben und helfen die einzelnen Arbeitsschritte zu strukturieren. 

Ja, PAISE^® eignet sich sehr gut für eine Vorentwicklung oder einen Proof of Concept. Hierzu werden alle Phasen von PAISE^® durchlaufen und dokumentiert, bis auf die Phase Betrieb & Wartung, welche in diesem Fall entfällt. In der Phase Übergabe werden die Ergebnisse unternehmensintern übergeben. Nach der Vorentwicklung kann durch erneutes Durchlaufen von PAISE^® die eigentliche Produktentwicklung realisiert werden. In allen Phasen von PAISE^® müssen dann die Ergebnisse der Vorentwicklung mit einbezogen werden.