Welche Kamera für Gaussian Splatting? Handy, Actioncam oder 360°-Kamera

Für Gaussian Splatting eignet sich im Prinzip jede Kamera, die viele scharfe Bilder aus vielen Richtungen liefert und sich manuell einstellen lässt. Für einen einzelnen Gegenstand oder ein Zimmer reicht ein Smartphone. Für eine ganze Wohnung ist eine 360°-Kamera am effizientesten, weil sie in jedem Moment in alle Richtungen aufnimmt.

Wichtiger als die höchste Auflösung sind kurze Abstände zwischen den Bildern, eine kurze Verschlusszeit, damit die Bilder beim Gehen nicht verwischen, und eine feste Belichtung für die ganze Aufnahme.

Worauf es bei der Kamera ankommt

Gaussian Splatting berechnet ein 3D-Modell aus vielen Bildern derselben Szene. Der Computer erkennt die Form des Raums dabei aus den Unterschieden zwischen den Bildern, also daraus, wie sich Dinge verschieben, wenn man sich bewegt (Grundlagen: Gaussian Splatting erklärt). Daraus folgen drei Anforderungen an die Kamera:

• Viele Blickwinkel. Jede Stelle sollte aus möglichst vielen Richtungen zu sehen sein. Mehr Blickwinkel bedeuten mehr Information über die Form, ein schärferes Einzelbild dagegen nur mehr Information über die Oberfläche.
• Scharfe Einzelbilder. Jedes Bild muss für sich scharf sein. Ein Video, das beim Abspielen gut aussieht, kann aus lauter leicht verwischten Einzelbildern bestehen.
• Gleichbleibende Bilder. Helligkeit, Farbe und Bildverarbeitung dürfen sich während der Aufnahme nicht ändern. Sonst sieht dieselbe Wand in jedem Bild etwas anders aus, und das Modell wird fleckig. Was passiert, wenn eine dieser Anforderungen fehlt, zeigt Unscharfe Gaussian Splats: Ursachen.

Smartphone

Ein aktuelles Smartphone reicht für erste Versuche und für kleine Szenen gut aus: einen Gegenstand, den man umrundet, oder ein einzelnes Zimmer. Man filmt langsam und ruhig aus vielen Richtungen und auf verschiedenen Höhen.

Für eine ganze Wohnung wird es mühsam. Die Kamera zeigt immer nur in eine Richtung, also muss man jeden Raum mehrmals abgehen und an jede Ecke denken. Was man vergisst, fehlt später im Modell. Außerdem lassen sich Belichtung und Verschlusszeit in der normalen Kamera-App oft nicht fest einstellen. Viele Handys sperren die Belichtung aber, wenn man lange auf eine Stelle im Bild tippt, und Kamera-Apps mit einem manuellen Modus erlauben auch eine feste Verschlusszeit. Von Vorteil ist beim Handy: Man steht hinter der Kamera und ist nicht im Bild, und die Software für die Kamerapositionen bestimmt die Verzerrung der Linse nebenbei mit.

Actioncam

Eine Actioncam mit Weitwinkel oder Fischauge sieht mehr auf einmal als ein Smartphone und lässt sich meist vollständig manuell einstellen. Wichtig ist, die eingebaute Bildstabilisierung abzuschalten und das unkorrigierte Fischaugenbild aufzunehmen, also nicht die Einstellung, die das Bild begradigt (je nach Hersteller etwa „Linear“ oder „Horizont gerade“ ausschalten). Die Stabilisierung verschiebt und verzerrt jedes Bild anders, und genau das bringt das Modell durcheinander. Für ruhige Bilder sorgt stattdessen ein Gimbal, also ein motorisierter Halter.

360°-Kamera

Eine 360°-Kamera nimmt in jedem Moment in alle Richtungen auf. Wer einmal durch einen Raum geht, hat jede Wand, die Decke und den Boden aus diesem Weg erfasst. Für Wohnungen und Häuser ist das der größte Vorteil, denn man muss nicht mehr an jede Ecke denken.

Dafür hat sie zwei Eigenheiten, die bei Handy oder Actioncam nicht vorkommen und um die sich die Berechnung zusätzlich kümmern muss:

• Die Person hinter der Kamera ist immer im Bild. Sie muss nach der Aufnahme ausgeblendet werden. Dafür bekommt jedes Bild eine Maske, also eine Markierung der Bildteile, die das Training nicht verwenden soll. Was trotzdem übrig bleibt, etwa ein Schatten entlang des Laufwegs, wird nach dem Training beim Aufräumen entfernt.
• Sie hat zwei Linsen. Zwei Fischaugen sitzen Rücken an Rücken, einige Zentimeter auseinander. Wer daraus ein Panorama zusammensetzt und dieses verwendet, bekommt an der Naht doppelte Kanten. Besser ist es, mit den Rohbildern beider Linsen zu rechnen, also den zwei kreisrunden Einzelbildern, die die Kamera vor dem Zusammensetzen speichert, und jede Linse zu kalibrieren. Kalibrieren heißt, genau zu bestimmen, wie die Linse das Bild verzerrt und wo sie sitzt. Das erklärt Ghosting bei 360°-Aufnahmen.

Wir arbeiten bei Horama mit einer Insta360 X6.

Auflösung oder mehr Bilder?

Viele 360°-Kameras können statt eines Videos auch Einzelbilder in festen Abständen speichern. Die Hersteller nennen das Zeitraffer oder Intervallaufnahme. Dafür gibt es meist zwei Wege: sehr hohe Auflösung mit wenigen Bildern oder etwas geringere Auflösung mit vielen Bildern. Bei der Insta360 X6 sind das zum Beispiel 16K mit einem Bild alle drei Sekunden oder 8K mit einem Bild alle halbe Sekunde. Die Zahl vor dem K gibt ungefähr an, wie viele tausend Pixel das Rundum-Bild breit ist. 16K klingt besser, für Gaussian Splatting ist 8K aber meist die bessere Wahl. Dafür gibt es drei Gründe:

• Abstand zwischen den Bildern. Bei einem langsamen Gehtempo von 30 bis 40 Zentimetern pro Sekunde liegen bei drei Sekunden rund ein Meter zwischen zwei Bildern. Bei einer halben Sekunde sind es 15 bis 20 Zentimeter. Für das Modell sind diese zusätzlichen Blickwinkel wertvoller als die zusätzlichen Pixel.
• Daten pro Pixel. 16K hat viermal so viele Pixel wie 8K, die Kamera speichert dafür laut Datenblatt aber nur 360 statt 240 Megabit pro Sekunde. Pro Pixel bleibt also weniger als die Hälfte an Daten übrig, das Bild ist stärker komprimiert.
• Was das Training verarbeiten kann. Schon aus 8K bekommt das Training rund 21 Pixel pro Grad Blickwinkel. Mehr müsste man ohnehin wieder verkleinern, weil der Grafikspeicher, also der Arbeitsspeicher der Grafikkarte, nicht beliebig viele Pixel auf einmal fasst.

Die wichtigsten Einstellungen

• Belichtung manuell. Eine Einstellung für die ganze Aufnahme, nicht pro Raum. Die Empfindlichkeit (ISO) stellt man im dunkelsten Raum ein, damit es überall reicht.
• Kurze Verschlusszeit. Die Verschlusszeit ist die Zeit, in der der Sensor für ein Bild belichtet wird. Etwa 1/250 Sekunde und nie länger als 1/120, damit Einzelbilder beim Gehen nicht verwischen. Die Faustregel aus dem Film, die Verschlusszeit an der Bildrate auszurichten, also bei 30 Bildern pro Sekunde etwa 1/60 Sekunde zu wählen, gilt hier nicht. Gesucht sind scharfe Einzelbilder, keine flüssige Bewegung.
• Weißabgleich fest. Der Weißabgleich legt fest, welche Farbe die Kamera als Weiß behandelt. Man stellt einen festen Wert in Kelvin ein, bei Tageslicht etwa 5500, bei warmen Lampen eher 3200, damit Weiß in jedem Raum gleich weiß ist. Die automatische Einstellung würde sich von Raum zu Raum ändern.
• Flaches Farbprofil (Log), wenn die Kamera eines hat. Es hält helle Fenster und dunkle Ecken gleichzeitig fest, sieht aber blass aus. Die Farben werden danach in einem Schritt für alle Bilder gleich korrigiert. Viele 360°-Kameras und Actioncams bieten ein Log-Profil an, die normale Kamera-App eines Handys meist nicht.
• Schärfen und Rauschunterdrückung niedrig. Die Kamera würde sonst jedes Bild etwas anders bearbeiten.
• Stabilisierung und Horizontausgleich aus. Der Horizontausgleich dreht das Bild so, dass der Horizont immer gerade ist. Beide Funktionen verändern jedes Bild auf eigene Weise. Bei 360°-Kameras hilft es außerdem, wenn der Halter im Bild immer an derselben Stelle bleibt, weil er sich dann leichter mit einer festen Maske ausblenden lässt.

Wie man aufnimmt

Auch die beste Kamera hilft wenig, wenn Teile der Wohnung nie im Bild waren. Bewährt hat sich ein fester Ablauf:

• Drei Höhen. Einmal mit der Kamera über Kopfhöhe, einmal auf Brusthöhe und einmal knapp über dem Boden. So sieht das Modell auch die Oberseite von Schränken und die Fläche unter Tischen.
• Langsam gehen. Etwa 30 bis 40 Zentimeter pro Sekunde, an Türen noch langsamer, damit beide Räume im Übergang gut zu sehen sind. Bei zwei Bildern pro Sekunde liegen so 15 bis 20 Zentimeter zwischen zwei Bildern. Wer weniger Bilder pro Sekunde aufnimmt, muss entsprechend langsamer gehen.
• Eine feste Route. Den Flur als Drehkreuz nehmen: vom Flur in jeden Raum hinein und durch dieselbe Tür zurück. So hängen alle Räume über gemeinsame Bilder zusammen.
• Nichts verändern. Türen, Licht und Vorhänge bleiben während der ganzen Aufnahme gleich, und außer der Person mit der Kamera ist niemand in der Wohnung. Was dafür in der Wohnung vorbereitet werden muss, steht in der Checkliste vor dem 3D-Scan.

Nach der Aufnahme

Mit der Aufnahme ist erst der erste Schritt getan. Danach werden Einzelbilder gewonnen, Kamerapositionen berechnet, das Modell trainiert und am Ende aufgeräumt. Bei 360°-Kameras kommen das Kalibrieren der Linsen und das Ausblenden der Person dazu. Vor einer großen Aufnahme lohnt sich ein kurzer Probelauf in einem Zimmer, um Einstellungen und Gehtempo zu prüfen. Alle Schritte erklärt Gaussian Splatting selbst machen.

Häufige Fragen

Kann man Gaussian Splatting mit dem Handy machen?

Ja. Für einen Gegenstand oder ein einzelnes Zimmer reicht ein ruhig gefilmtes Handyvideo aus vielen Richtungen. Für eine ganze Wohnung ist eine 360°-Kamera deutlich effizienter, weil sie in jedem Moment alle Richtungen erfasst.

Ist eine höhere Auflösung bei Gaussian Splatting besser?

Nur, wenn dafür nicht die Zahl der Bilder sinkt. Ein Modell wird besser, wenn jede Stelle aus vielen Richtungen gesehen wird. Viele mittelgroße Bilder in kurzen Abständen schlagen meist wenige sehr große.

Welche Verschlusszeit braucht man für Gaussian Splatting?

So kurz, dass Einzelbilder beim Gehen nicht verwischen. Bewährt hat sich etwa 1/250 Sekunde, länger als 1/120 sollte sie nicht sein.

Braucht man einen Laserscanner oder LiDAR?

Nein. Gaussian Splatting kommt mit normalen Bildern aus. Ein Laserscanner oder ein LiDAR-Sensor, wie ihn manche Handys eingebaut haben, misst Entfernungen mit Licht. Er liefert genauere Maße, für einen fotorealistischen Rundgang ist er aber nicht nötig.