FaceTrackerはFoundry Nukeのプラグインで、顔の追跡に使用され、モーションキャプチャ装備やマークはありません。追跡情報は後で修飾、傷跡の追加、再照明、顔の交換、老化、老化除去などに使用することができる。最適な効果を得るためには、FaceBuilderと一緒に使用することをお勧めします。FaceTrackerはGeoTrackerに似ていますが、モデルの位置に加えて、顔のジェスチャーも追跡します。私たちの追跡アルゴリズムはニューラルネットワークソリューションとは対照的に安定しており、正確で、完全に手動で制御することができ、顔の動作捕捉装備などの舞台の準備は必要ありません。

正確かつ迅速な追跡

私たちは科学界の最新の成果を生産パイプラインに持ち込むことを望んでいます。これは、私たちの追跡プラグインを使用するときに、あなたが最高のアルゴリズムと方法を持っていることを意味します。速度といえば、リアルタイムで追跡することは保証できませんが、私たちは本当にそれに近いので、長い間待つ必要はありません。

統合ワークフロー

Nukeから何もエクスポートしてインポートする必要はありません。追跡プロセス全体はNuke内部で行われます。FaceTrackerノードを作成し、2 Dビューアを使用して追跡を開始し、必要に応じて3 Dビューアで結果を確認します。

見ただけで得られる

スライダやつまみに干渉する必要はありません。ビューア内の顔メッシュに「画鋲」を作成し、適切な位置にドラッグするだけです。画鋲をドラッグすると、人の顔モデルが適応しています。

手動制御と精度

私たちはすべてを完全に自動化しようとしていますが、人間の作業時間をできるだけ少なくする必要がありますが、私たちはまだ正確な追跡結果に集中しているので、プロセスを制御して結果とキーフレームを完全に調整することができます。

Nuke独立サポート

FaceTrackerを含むすべてのノードがNuke Indieで使用できます。Nukeのバージョン12.2 v 4とKeenToolsパッケージのバージョン2020.1以上をインストールする必要があります。標準Nukeに比べて機能制限はありません。

FACS/ARKitブレンドシェイプをエクスポートするには

追跡が完了すると、Epic GamesのLive Link Faceアプリケーションが提供するように、ARKit互換性のあるFACSハイブリッド形状のCSVファイルにアニメーションをエクスポートすることができます。これにより、後で独自のツールで使用したり、幻のエンジンベースのパイプラインに統合したりすることができます。このファイルを別の人にアニメーションを転送するなど、FaceBuilder for Blenderプラグインにロードすることもできます。

自動位置合わせ

顔を手動で固定する必要はありません！少なくとも、最初からではありません。顔の位置合わせは100%正確ではないので、手動で調整する必要があることもありますが、モデルを作成する時間を根本的に短縮します。これだけ多くの場合、私たちは実際にチームで手動でこの操作を実行するのを停止しており、私たちは戻りたくありません！

ユーザ追跡（ヘルプ）

通常、独自の追跡アルゴリズムに頼ることができますが、万が一の場合に備えて、他のトラッカーの追跡データを使用して追跡品質を向上させることができます。たとえば、Nuke組み込みトラッカーノードのトラックをインポートすることができ、FaceTrackerはそれらを最優先順位で考慮します。

サーフェスマスク

トラッキングから除外するジオメトリの一部の面をマスクできます。例えば皮膚や眼球の反射部。FaceTrackerはそれらをうまく処理できるので、通常はそうする必要はありませんが。

回転マスク

追跡を改善するもう1つの方法（実際に失敗した場合はごく少数）は、追跡から遮蔽を除外することです。このために、rotoノードをFaceTrackerのマスク入力に接続して（再）トレースを開始することができます。

内蔵のような感覚

私たちのプラグインは、低レベルNuke APIを使用してC++を作成しています。したがって、ネイティブの経験に似たツールを使用していることを確認できます。