Investment Case-Analyse mittels KI: Taugt sie oder taugt sie nicht?
Zwei Experten von KI und LLM (Large Language Models) widmeten sich im Format von "IM Spezial" am Institutional Money Kongress 2025 der textlichen und graphischen Analyse zweier Unterlagen über unterschiedliche Fonds- und Investmentansätze mit Hilfe Gemini 2.0 Flash und bewerteten das Resultat.
Sandra Wachter ist Professorin und leitende Forscherin für Datenethik, künstliche Intelligenz, Robotik, Algorithmen und Regulierung am Oxford Internet Institute. Sie ist ehemaliger Fellow des Alan Turing Institute. Nils-Jörn Schmid, Senior Investment Manager bei der SV SparkassenVersicherung und am Sprung zu einem neuen Arbeitgeber aus der Hedgefonds-Szene, besitzt einen Quant-Hintergrund und beschäftigt sich seit acht Jahren mit KI und LLMs (Large Language Models)
Test
Der Test zweier verschiedener Investmentfonds- und Investmentansatz-Präsentationen, die beide hoch unstrukturierte Daten wie Charts und Text-Boxen beinhalten, mittels der KI "Gemini 2.0 Flash" soll unter anderem Erkenntnisse dazu bringen, ob man durch die Zuhilfenahme von Artificial Intelligence bei der Fonds- und Ansatz-Analyse Zeit sparen, eventuell Neues (Übersehenes) entdecken und sich die Überprüfung von Details ersparen kann. Ursprünglich war geplant, Chat GPT zu verwenden, doch die Dynamik auf diesen Gebiet ist sehr hoch, weswegen die beiden Experten zu Gemini 2.0 Flash vor einem Monat griffen.
Resultate
Auf die Frage an Gemini, worum es bei den vorliegenden Booklets handele, kamen Antworten, die stimmten. Sandra Wachter warf ein, dass die Modelle "lernten", indem sie versuchten, eine Wortkette fortzuführen - so wie man das am Ende beim Formulieren eines Satze in den Social Media am Smartphone erlebt, wenn die Maschine nach der Eingabe eines Worts immer einen Vorschlag für das nächste unterbreitet. "Das Ding lernt Form, nicht Inhalt", warf Wachter in den Raum. Es lerne Grammatik.
Die Häufigkeit ist entscheidend
Gefragt, ob es eine Investmentphilosophie gebe, neigte Gemini mit seiner ausführlichen Antwort zum Schwafeln, wie Nils-Jörn Schmid anmerkte. Auf einen zweiten Fonds in dem ersten Booklet wurde überhaupt nicht Bezug genommen. Wachter weiß, warum dem so ist: "Was Gemini noch nicht gesehen hat, dort macht es Fehler. Was es oft sieht, von dem glaubt die KI, dass es richtig ist." Sie brachte als Beispiel, dass die KI eine Zeit lang glaubte, zwei plus zwei wäre fünf. Warum? Weil im Internet und auf Social Media sehr oft von George Orwells "1984" gesprochen wird, wo die gehirngewaschenen Untertanen dies für wahr halten.
Beim zweiten Booklet, das aus 25 Slides schlechter Qualität bestand, wurde bei der Frage nach der Investmentstrategie (Value) sichtbar, eine akzeptable Antwort geliefert, allerdings auf den längst verstorbenen, aber oft genannten André Kostolany referenziert. Nachteil von Gemini & Co. ist, "dass das Ding nichts hinterfragen kann" (Schmid), sodass eine Überprüfung durch den fachkundigen Menschen nötig ist (Wachter).
Die Rolle des Feedbacks
Wenn der Mensch der KI Feedback gibt, leistet es Gratis-Arbeit für Open AI, gab Wachter zu bedenken, wobei es hier angestellte Profis gebe, die so ihr Tagwerk verrichten würden. Problem: Niemand agiert hier vollkommen neutral. Mit Hilfe verschiedener, von der Theorie vorgeschlagener Methoden gilt es nun zu versuchen, Abhilfe zu schaffen und in diesem Bereich für mehr Neutralität zu sorgen.
Eine nicht eindeutige Grafik und ihre Analyse
Eine bewusst fehlerhafte Grafik, die zwei verschieden Firmen in den Kontext mit der Entwicklung eines Kurs-Umsatz-Verhälnisses (KUV) stellte, erkannte Gemini den Fehler, aber erst auf Nachfrage. Warum ist dem so? Wachter: "Gemini erkennt Unsicherheit, aber nur durch Nachfrage." Auf die Zusatzfrage, ob sich das dargestellte KUV auf Firma 1 oder Firma 2 beziehe, sieht Gemini bei den Daten nach und beginnt dann, ins Englische zu switchen. Für Wachter ein zu erwartendes Verhalten: "Oft reichen die Trainingsdaten nicht aus. Es kommt dazu, das sich die Antworten in den eigenen Schwanz beißen. Um eine Modell-Kollaps zu verhindern, gibt es nun Plug-Ins, dass nur Content von vor 2021 - also aus der Zeit vor KI - verwendet werden soll, um Verkleinerungen und absichtlich falsche Informationen von Hackern und anderes mehr heraus zu filtern." Englisch werde gewählt, da hier bessere Chancen auf eine Antwort bestünden, denn sogenannte "Minority Languages" wie Deutsch hätten schlicht weniger Trainingsdaten zur Verfügung. Hauptsprache der KI ist neben Englisch im Übrigen Chinesisch.
Relative Performance
Schmid wollte wissen, ob der (Value)-Fonds besser als sein Benchmark sei. Bei der Antwort wäre es darum gegangen, dass Gemini nach der zu verwendenden Benchmark fragt beziehungsweise eine geeignete vorschlägt. Antwort wurde hier von Gemini keine geliefert.
Résumé
Neben einigen überraschend guten Antworten gibt es auch viele Lücken oder auch falsche Antworten, die erst auf Nachfrage eventuell richtig gestellt werden können, indem die KI die häufigste, aber falsche Antwort durch die zweithäufigste ersetzt, die vielleicht richtig ist, usw.. Eine menschliche Kontrolle der KI-Ergebnisse ist damit unabdingbar.
Festzuhalten ist des Weiteren, dass die Entwickler keinerlei Haftung übernehmen (Disclaimer). Der Nutzer kann also keinerlei Regress nehmen, wenn durch falsche Antworten Schaden entsteht. Dies macht die KI zu einem Tool, dessen Resultate mit äußerster Vorsicht zu genießen sind. Bereits gestartete Regulierungsversuche in diesem Zusammenhang wurden eingestellt. (kb)
