FaceTracker ist ein Plugin von Foundry Nuke für die Gesichtsfolgung ohne Bewegungsefassungsgeräte und -markierungen. Nachverfolgungsinformationen können später verwendet werden, um zu modifizieren, Narben hinzuzufügen, neu zu beleuchten, Gesichter zu ersetzen, zu altern und zu entaltern. Um optimale Ergebnisse zu erzielen, empfehlen wir, sie mit FaceBuilder zu verwenden. FaceTracker ist ähnlich wie GeoTracker, aber neben der Position des Modells verfolgt er auch Gesichtsgesten. Unser Tracking-Algorithmus ist im Gegensatz zu neuronalen Netzwerklösungen stabil und präzise und erlaubt eine vollständige manuelle Steuerung ohne jede Art von Bühnenvorbereitung, wie z. B. Gesichtsbewegungserfassungsgeräte.

Präzise und schnelle Verfolgung

Wir wollen die neuesten Erkenntnisse der Wissenschaft in die Produktion bringen, was bedeutet, dass Sie über die besten Algorithmen und Methoden verfügen, wenn Sie unser Tracking-Plugin verwenden. Wenn es um Geschwindigkeit geht, können wir Ihnen keine Echtzeit-Verfolgung garantieren, aber wir sind wirklich nah daran, so dass Sie nicht lange warten müssen.

Integrierte Arbeitsabläufe

Sie müssen nichts von Nuke exportieren und importieren, der gesamte Tracking-Prozess wird innerhalb von Nuke durchgeführt: Sie erstellen einen FaceTracker-Knoten und starten mit dem 2D-Viewer mit dem Tracking und überprüfen die Ergebnisse im 3D-Viewer, wenn nötig.

Sehen ist verdienen

Sie müssen nicht in Schieberegler und Knopfe eingreifen, erstellen Sie einfach "Zeichennägel" auf dem Gesichtsraster im Viewer und ziehen Sie sie an die entsprechende Position. Wenn Sie die Nägel ziehen, passt sich das Gesichtsmodell an.

Manuelle Steuerung und Präzision

Während wir versuchen, alles vollständig zu automatisieren und möglichst wenige menschliche Arbeitsstunden erfordern, konzentrieren wir uns immer noch auf die genaue Verfolgung der Ergebnisse, damit Sie den Prozess kontrollieren und die Ergebnisse und Schlüsselframs vollständig anpassen können.

Nuke unabhängige Unterstützung

Alle unsere Knoten, einschließlich FaceTracker, sind in Nuke Indie verfügbar. Sie müssen die Version 12.2v4 von Nuke und die Version 2020.1 oder höher des KeenTools-Pakets installieren. Im Vergleich zu Standard Nuke gibt es keine Funktionsbeschränkungen.

Exportieren von FACS/ARKit-Mischformen

Nachdem das Tracking abgeschlossen ist, können Sie die Animation in eine CSV-Datei mit ARKit-kompatiblen FACS-Mischformen exportieren, wie die Live Link Face-App von Epic Games Ihnen zur Verfügung stellt, damit Sie sie später in Ihren eigenen Tools verwenden oder in eine Unreal-Engine-basierte Pipeline integrieren können. Sie können diese Datei auch in unser FaceBuilder for Blender-Plugin laden, um beispielsweise Animationen an andere Personen zu übertragen.

Automatische Ausrichtung

Sie müssen das Gesicht nicht mehr manuell fixieren! Zumindest nicht von Anfang an. Unsere Gesichtsausrichtung ist noch nicht zu 100% genau, so dass manchmal einige manuelle Anpassungen erforderlich sind, aber es reduziert grundlegend die Zeit, um das Modell zu formen. So viel, dass wir tatsächlich beim Testen aufgehört haben, dies manuell in unserem Team zu tun, wollen wir nicht zurückkehren!

Benutzerverfolgung (Hilfe)

In der Regel können Sie sich auf unsere eigenen Tracking-Algorithmen verlassen, aber für den Fall können Sie die Tracking-Daten anderer Tracker verwenden, um die Tracking-Qualität zu verbessern. Sie können beispielsweise die Spuren von Nuke-integrierten Tracker-Knoten importieren, die FaceTracker mit höchster Priorität berücksichtigt.

Oberflächenmaske

Sie können bestimmte Seiten der Geometrie maskieren, die Sie aus dem Track ausschließen möchten. Zum Beispiel einige reflektierte Teile der Haut oder der Augen. Obwohl Sie dies in der Regel nicht tun müssen, da FaceTracker sie gut behandeln kann.

Rotierte Maske

Eine andere Möglichkeit, das Tracking zu verbessern (wenn es in seltenen Fällen tatsächlich fehlschlägt), besteht darin, Blockierungen aus dem Tracking auszuschließen. Dazu können Sie den Roto-Knoten mit der Maskeneingabe des FaceTrackers verbinden und das Tracking (neu) starten.

Fühlt sich an wie eingebaut

Unser Plugin wurde in C++ mit einer niedrigeren Nuke API geschrieben. Daher können Sie sicher sein, dass Sie Tools mit ähnlichen nativen Erfahrungen verwenden.