Multi-Object Tracking (MOT) ist ein wichtiges Forschungs gebiet im Bereich Computer Vision. Die Aufgabe besteht darin, mehrere sich bewegende Objekte gleichzeitig in aufeinander folgenden Video frames zu erkennen und zu verknüpfen und die eindeutige ID und Flugbahn jedes Objekts im Laufe der Zeit auszugeben. Die Herausforderung liegt in der Lösung des Closed-Loop-Problems "Detection-Assoziation".
In praktischen Anwendungen stoßen TÜV-Methoden häufig auf Umgebungen mit geringen Funktionen wie homogene Objekte, Textur verlust, unzureichende Beleuchtung und Objekt verschluss. Diese Probleme können zu Erkennungs fehlern und der Unfähigkeit führen, Trajektorien zu assoziieren und zu rekonstruieren.
Um diesen Herausforderungen zu begegnen, haben die Ingenieure der visuellen Messtechnik in den letzten Jahren die traditionellen TÜV-Methoden kontinuierlich optimiert und verbessert.
Pfad 1: Deep Learning Feature Enhancement MOT. Dieser Ansatz nutzt tiefe neuronale Netze, um automatisch tiefe Merkmale von Zielen zu extrahieren. Dies wird dann mit einem Netzwerk modell für Langzeit gedächtnis kombiniert, um gemeinsam die Flugbahn und das Erscheinung sbild des Ziels zu modellieren und die Verfolgung mehrerer Ziele zu ermöglichen. Dieser Ansatz bietet den Vorteil, dass große Datenmengen automatisch verarbeitet und nützliche Funktionen gelernt werden, sodass er für Tracking-Aufgaben mit mehreren Zielen in einigen Umgebungen mit geringen Funktionen geeignet ist. Die Verallgemeinerung fähigkeit des Modells ist jedoch begrenzt und es kann keine Objekte effektiv erkennen, wenn sich die Trainings proben vom tatsächlichen Anwendungs szenario unterscheiden.
Pfad 2: Generative Feature Enhancement MOT. Dieser Ansatz nutzt generative Modelle, um die visuellen Merkmale erkannter Ziele zu verbessern. Beispiels weise werden neue Bilder generiert, die dem tatsächlichen Ziel ähneln, jedoch unterschied liche Perspektiven und Licht verhältnisse aufweisen. Die generierten Funktionen werden dann mit den ursprünglichen Funktionen für die anschließende Ziel anpassung und Trajektorien zuordnung kombiniert. Dieser Ansatz befasst sich in gewissem Maße mit den Herausforderungen des Tracking mit mehreren Zielen in Umgebungen mit geringen Funktionen. Er steht jedoch vor Herausforderungen wie hohen Rechen kosten und Empfindlichkeit gegenüber der Qualität des generierten Modells. und Echtzeit leistung.
Basierend auf der theoretischen Prämisse, dass "3D-Bewegungskontinuität" von erkannten Zielen invarianter ist als "2D-Erscheinung unterschiede".EnthüllerAlgorithmus Ingenieure, kombiniert mitHoch geschwindigkeit kameraDie Technologie entwickelte eine "Motion On Time (MOT) für Low-Feature-Szenen basierend auf räumlichem Clustering". In vier technischen Schritten: "Geometrische Rekonstruktion → raumzeit liche Clustering → physikalische Verifizierung → Trajektorien fehler korrektur" befasst sich der Revealer mit fehlenden Merkmalen an der Datenquelle. Vermeidung der Funktions abhängigkeit von "Deep Learning Feature-Enhanced MOT" und "Generative Feature-Enhanced MOT"." Darüber hinaus gewährleisten die leichten räumlichen Clustering-und Projektions operationen die Rechen effizienz und die Echtzeit leistung und erreichen eine nahtlose Erkennungs assoziation schleife mit geschlossenem Regelkreis in Szenen mit geringen Funktionen.
EnthüllerErzielt Durchbrüche in vier technischen Schlüssel bereichen, wobei der Schwerpunkt auf Erkennungs pfaden und Assoziation spfaden liegt:
Geometrische Rekonstruktion: Dual-View-Matching und 3D-Rekonstruktion basierend auf epi polaren Einschränkungen. Dies beinhaltet die Berechnung der Grund matrix F unter Verwendung der intrinsischen und extrinsischen Parameter der linken und rechten Hoch geschwindigkeit kameras.Passende Punkt paare werden dann unter Verwendung epi polarer geometrischer Einschränkungen ausgewählt. Schließlich wird eine binokulare geometrische Triangulation verwendet, um eine 3D-Punktwolke einschl ießlich Rauschen und Ausreißern zu rekonstruieren.
Spatio temporale Clustering: 3D-Punktpositionen in mehreren Frames werden verfolgt, um 3D-Trajektorien zu konstruieren. Die 3D-Punkte werden dann basierend auf räumlicher Konsistenz und zeitlicher Frame-Kontinuität gruppiert. Punkte mit engen Entfernungen und konsistenten Änderungs trends werden zu kontinuier lichen Trajektorien zusammen geführt. Kurze Trajektorien, die in aufeinander folgenden Frames unter einem Schwellen wert erscheinen, werden gelöscht, um instabile oder gelegentliche Rausch punkte zu eliminieren, was zu einem vorläufigen überprüften Satz gültiger 3D-Trajektorien führt.
Physische Verifizierung: Projizieren Sie die 3D-Flugbahn auf die linke und rechte Hochgeschwindigkeits-Kamera-Bildebene neu, vergleichen Sie die projizierten Trajektorien auf der linken und rechten Seite und entfernen Sie doppelte übereinstimmende Trajektorien.
Trajektorien fehler korrektur und Wieder verbindung: Durch Anpassen einer drei dimensionalen quadratischen Kurve an die Flugbahn und Berechnung des Fehlers zwischen den tatsächlichen Flugbahn punkten und der angepassten Kurve, abnormale Intervalle, die die Fehlers ch welle überschreiten, werden markiert und die abnormalen Trajektorien segmente werden getrennt. Die Ähnlichkeit wird dann basierend auf der räumlichen Position und der zeitlichen Kontinuität der Trajektorien segmente berechnet. Die Trajektorien segmente, die die Bedingungen erfüllen, werden wieder verbunden und geglättet, um die vollständige kontinuierliche Flugbahn wieder herzustellen.
In einem Drop-Experiment wurden Hunderte von sich schnell bewegenden schwarzen Kugeln verfolgt. Da der monochroma tischen Oberflächen farbe der schwarzen Bälle deutliche Textur merkmale fehlten, die eine typische Szene mit niedrigen Merkmalen darstellen, wurden mithilfe der geometrischen MOT-Rekonstruktion stech no logie für räumliche Clustering genaue Positions informationen erhalten. Die 2D-Projektion wurde verwendet, um Eins-zu-Viele-Fehl paarungen zu beseitigen und die Einzigartig keit und Genauigkeit der Trajektorien zu verbessern. Die Trajektorien anpassungs analyze ident ifi zierte und korrigierte fehlerhafte Gleis verbindungen, wodurch die Stabilität und Zuverlässigkeit der Tracking-Ergebnisse verbessert wurde.
EnthüllerDie "Motion On-Track (MOT)-Technologie, die auf räumlichem Clustering basiert", geht die Herausforderung der Ziel verfolgung in Umgebungen mit geringen Funktionen effektiv an, indem Dual-View-Matching mit 3D-Rekonstruktion kombiniert wird. Es verwendet epi polare Einschränkungen, um übereinstimmende Punkt paare auszuwählen, erhält genaue Positions informationen durch 3D-Rekonstruktion und optimiert Trajektorien mithilfe von räumlichem Clustering, wodurch Fehl paarungen und Trajektorien brüche reduziert werden.EnthüllerVerfügt über eine starke Geräusch immunität und Korrektur mechanismen für Trajektorien fehler, wodurch die Tracking-Genauigkeit und Stabilität erheblich verbessert werden. In Zukunft wird Revealer die Echtzeit leistung durch Algorithmus optimierung verbessern und die Erkennung und Assoziation effizienz in Hochgeschwindigkeits-Ziel verfolgungs szenarien weiter verbessern.
English
Deutsch
