GenIA rekonstruiert 3D-Objekte aus einzelnen Fotos, wenigen Ansichten oder einem monokularen Video und richtet die Ergebnisse gezielt an den Eingaben aus. Das Forschungsteam aus dem Tübingen AI Center und Meta stellte das Paper am 8. Oktober 2026 vor. Der öffentliche Code enthält bereits Installation, Beispieldaten und einen Gewichtedownloader. Für Entwickler ist GenIA damit mehr als eine 3D-Galerie, aber noch kein fertiges Ein-Klick-Werkzeug.
Der Ansatz baut auf SAM 3D Objects auf. Statt das Basismodell für jede neue Aufgabe erneut zu trainieren, ergänzt GenIA dessen Generierung um geometrische und photometrische Bedingungen während der Verarbeitung einer konkreten Szene.
Warum ein plausibles 3D-Objekt nicht genügt
Ein generatives 3D-Modell kann verdeckte Objektseiten ergänzen. Das Ergebnis muss trotzdem nicht dieselbe Position, Größe oder Oberfläche besitzen wie das fotografierte Objekt. Genau diese Lücke zwischen plausibler Generierung und Übereinstimmung mit dem Bild adressiert GenIA.
Laut Projektseite leitet das Verfahren Verschiebung und Maßstab aus geometrischen Informationen ab. Die Rotation bleibt zunächst durch das gelernte Vorwissen des Modells bestimmt. Bei der Erscheinung helfen sichtbarkeitsabhängige Aufmerksamkeit, das Zusammenführen mehrerer Beobachtungen und Render-Vergleiche während der Generierung.
Praktisch wichtig ist die Unterstützung mehrerer Eingabearten. Ein einzelnes Foto bietet nur eine sichtbare Seite; zusätzliche Ansichten liefern weitere Bedingungen. Entwickler können damit untersuchen, welche Objektbereiche tatsächlich beobachtet wurden und welche das generative Modell ergänzen musste. Eine überzeugende Rückseite ist dabei nicht automatisch eine vermessene Rückseite.
Was die optionale Nachoptimierung verändert
GenIA hält das SAM3D-Grundmodell fest. Optional folgt eine testzeitliche Verfeinerung, kurz TTR: Sie optimiert das Erscheinungs-Latent, einen kleinen Decoder-Adapter und die Objektplatzierung gegen die Eingabebilder. „Kein erneutes Training des Basismodells“ bedeutet also nicht, dass sämtliche Verarbeitungsschritte ohne Optimierung auskommen.
Die eigene schematische Darstellung ordnet die optionale Verfeinerung in den gesamten Objekt-Workflow ein. In diesem letzten Schritt wird der Render des rekonstruierten Objekts mit Bild und Maske verglichen; Erscheinung und Platzierung werden anhand des Fehlers angepasst. Dieser gezielte Abgleich ist für Asset-Workflows relevanter als eine bloß fotorealistisch wirkende Vorschau.
Welche Verbesserungen das Team berichtet
Auf CO3D mit einer Eingabeansicht sinkt der berichtete LPIPS-Wert von 0,524 für SAM3D auf 0,436 für GenIA mit TTR. Ein niedrigerer Wert steht in dieser Auswertung für geringere wahrnehmungsbezogene Abweichungen auf zurückgehaltenen Ansichten. Die Ergebnistabellen trennen Datensätze und Anzahl der Eingabeansichten; der einzelne Wert ist keine allgemeine Qualitätsgarantie.
Bei dynamischen Szenen gibt es eine wesentliche Abhängigkeit: Die zeitlich veränderlichen Formen stammen aus ActionMesh. GenIA richtet die Erscheinung und Platzierung darauf aus. Es rekonstruiert diese dynamische Geometrie somit nicht allein aus den beobachteten Bildern. Fehler von ActionMesh und Probleme bei der Registrierung können das Gesamtergebnis deutlich beeinträchtigen.
Zugang, Downloads und Hardware
Das Repository im Branch release beschreibt drei Demos für Einzelbild, Mehransichten und Video. Eigene Daten werden entsprechend den Beispielszenen abgelegt. Die Ausgabe umfasst ein kanonisches Objekt als Gaussians und Mesh, Posen pro Frame und bei Videos eine zeitabhängige Verformung.
Die Installation setzt Conda, ein CUDA-12.8-Toolkit und eine NVIDIA-GPU voraus. Vor dem Gewichtsdownload muss die SAM-3D-Objects-Lizenz auf Hugging Face akzeptiert werden. Das Projekt liefert also nicht ein einziges voraussetzungslos herunterladbares Gesamtmodell.
Die Laufzeitauswertung verwendet eine A100 als Referenz. Eine bestätigte Mindest-VRAM-Angabe für Consumer-GPUs ergibt sich aus der geprüften Installationsanleitung nicht. Die optionale Nachoptimierung und bei Videos die zusätzliche Geometrievorhersage gehören in die eigene Laufzeitplanung.
Welche Lizenzgrenzen Entwickler beachten müssen
GenIA-Code steht unter CC BY-NC 4.0. Laut Drittanbieterübersicht behalten Komponenten und Modellgewichte eigene Bedingungen; darunter finden sich weitere nichtkommerzielle Einschränkungen. Die Repository-Lizenz ersetzt insbesondere nicht die SAM-Lizenz oder die Bedingungen von ActionMesh.
Für nichtkommerzielle 3D-Experimente eröffnet GenIA einen nachvollziehbaren Weg vom Foto zum eingabeorientierten Objekt. Wer daraus ein kommerzielles Asset-Werkzeug bauen will, muss zunächst die Rechte der tatsächlich verwendeten Komponenten klären.
