監視ビデオにおける教師なし交通事故検出のための敵対的トレーニングを備えたデュアルエンコーダ-デコーダ-エンコーダ

Summary

この研究では、自動交通事故検出のためのデュアルエンコーダー-デコーダー-エンコーダー(EDE)モデルを提案します。2段階の学習方法を使用して、通常の運転パターンを学習し、生成対立によって異常を特定します。このモデルは、現実世界の映像で事故を効果的に検出し、微妙な逸脱を捉えることでドライバーの行動に関する洞察を提供します。

Abstract

交通安全を強化し、緊急対応を改善するには、交通事故を現実世界の監視映像でできるだけ早く検出する必要があります。既存のシステムは手動監視に大きく依存しており、時間がかかり、エラーが発生しやすいです。自動事故検出は、通常の運転状況が過大評価されるのに対し、事故はまれで多様であるという、実質的な階級の不均衡により依然として困難です。このような場合、従来のコンピューター ビジョン システムでは、正常なイベントと異常なイベントを確実に区別できないことがよくあります。本研究では、デュアルエンコーダ-デコーダ-エンコーダ(EDE)フレームワークに基づく深層学習アーキテクチャを開発することで、この問題に対処します。このモデルでは、2 つの共有エンコーダー/デコーダー パイプラインを使用して、画像分布を両方向の指定された潜在分布にマッピングします。このフレームワークにより、システムは一般的な交通行動パターンをモデル化し、危険または異常なイベントを示す可能性のある変化に対してより敏感になります。異常検出をさらに改善するために、2 段階のトレーニング手法が提案されています。最初のフェーズでは、モデルは通常の運転の画像を再構築することを学習し、再構成損失を使用して通常の動作を特徴付けます。第2段階では、敵対的生成メカニズムが導入され、一方のEDEから再構成された潜在ベクトルが他方のEDEに渡され、合成画像と潜在空間が生成されます。このプロセスにより、実際の出力と合成出力の違いが増幅され、潜在的な異常の微妙な兆候に対するシステムの応答性が向上します。デュアル EDE アーキテクチャと敵対的トレーニング手法は、正常な動作と病的な動作の両方をモデル化することにより、現在の手法に比べて大幅に進歩しています。実際の交通監視データセットでの実験結果は、提案手法が精度と堅牢性の両方の点で、事故や危険な運転行動の検出を大幅に向上させることを示しています。

Introduction

世界保健機関(WHO)(2023年)によると、交通事故による怪我は5歳から29歳の子供や若年成人の主な死因であり、世界中で毎年約130万人が死亡している。この憂慮すべき統計は、道路交通¹ を監視し、異常をリアルタイムで検出し、緊急対応の遅延を軽減できる自動化システムの緊急の必要性を強調しています。人工知能 (AI) とモノのインターネット (IoT) をスマート シティ インフラストラクチャに統合することで、インテリジェント交通システムの開発が可能になりました。閉回路テレビ(CCTV)^2,3ネットワークは都市交通の継続的な監視を提供しますが、手動監視は実用的ではなく、エラーが発生しやすいです。したがって、交通事故検出のためのスケーラブルで自動化されたソリューションが不可欠です。

車両の検出、追跡、行動分類などの交通分析のための従来のコンピュータービジョン手法では、教師^{あり学習4,5}を介してトレーニングされた畳み込みニューラルネットワーク(CNN)が採用されることがよくあります。これらのシステムには、注釈付きの広範なデータセットが必要であり、現実世界の事故を特徴付けるまれで多様なシナリオを一般化できないことがよくあります。その結果、研究者は、ラベル付けされた異常データに依存しない教師なし異常検出アプローチに目を向けました。これらの中で、オートエンコーダー(AE)と敵対的生成ネットワーク(GAN)は、通常のパターンをモデル化し、偏差を特定することに期待を示しています^6,7,8。

ただし、標準的なAEは、入力が異常である場合でも、入力を忠実に再構築する傾向があり、高い偽陰^性率につながります^9,10。変分オートエンコーダ(VAE)¹¹およびf-AnoGAN¹²、GANomaly¹³、OCGAN¹⁴などのGANベースのモデルは、潜在空間モデリングと敵対的学習を組み込むことにより、これらの問題のいくつかに対処します。それにもかかわらず、これらのモデルは画像から潜在空間への一方向マッピングに依存することが多く、¹⁵ 現実世界の交通異常における微妙なまたは複雑な不整合を検出する能力が制限されています。

ByteDance¹⁶、WHU¹⁷、USF¹⁸ が AI City Challenge のために開発したような教師ありシステムは、時空間追跡¹⁹とオブジェクト中心の設計を通じて高い精度を実現します。ただし、ラベル付きの事故データと複雑な追跡パイプラインが必要であり、リアルタイムでの拡張性と適用性が低下します。

モデル	種類	主な特徴	制限	パフォーマンス (説明)
GANomaly	教師	エンコーダー–デコーダ–エンコーダ;敵対的トレーニング	異常な入力でもうまく再構築する傾向があり、偽陰性につながる	全体的に良好で、高精度でバランスの取れた再現率を備えています
オガン	教師	潜在空間に制約のある1クラスGAN	微妙な異常や複雑な異常の検出に苦労している	GANomalyよりわずかに優れており、指標間のバランスが改善されています
f-アノガン	教師	GANと特徴マッチングによる高速異常検出	潜在空間における複雑な異常を捉える能力が限られている	中程度のパフォーマンス(特定のスコアは提供されていません)
バイトダンス	監督	オブジェクトレベルの異常局在化による時空間追跡	ラベル付けされたトレーニング データが必要です。現実世界の設定でのスケーラビリティの制限	非常に高い精度と精度。感度がやや低い
バドゥ	監督	バックグラウンドモデリングと車両追跡を使用	多様なシーンでは効果が低くなります。微妙な異常を見逃す	確かな精度;バランスは良いが、トップメソッドより低い
WHUの	監督	デュアルモダリティ軌道トレース	一般化が不十分で異常再現率が低い	特に異常の検出において、全体的にパフォーマンスが弱い
USFの	監督	バックグラウンドモデリングと構造類似性解析を組み合わせる	異常を正確に特定するのが苦手	非常に低い精度と感度
提案済み (デュアル EDE)	教師	デュアルエンコーダー-デコーダー-エンコーダー。敵対的および対照的な損失を伴う双方向潜在マッピング	高い計算負荷。RGB入力に制限	優れたパフォーマンス;最高の精度、高い再現率、指標間の強力なバランス

表1:ビデオベースのトラフィック異常検出における関連作業の概要。

表 1 は、交通監視で使用される重要な異常検出方法を対比し、そのアーキテクチャ、利点、欠点、およびパフォーマンスを強調しています。GANomalyやOCGANなどの従来のGANベースのモデルは、教師なし検出を効果的に行うことができますが、微妙な異常には苦労しています。教師あり法は精度は高いですが、ラベル付きデータと高度な追跡に大きく依存します。提案された Dual-EDE モデルは、双方向潜在空間エンコーディングと敵対的および対照トレーニングを統合し、ラベル付けされたデータなしでまれで微妙なトラフィック異常を検出できるようにし、スケーラビリティと堅牢性の両方を提供します。

研究ギャップと仮説
教師なしモデルは、ラベル付けされた異常の必要性を軽減しますが、まれで微妙で影響の大きい交通イベントを正確に検出するには依然として苦労しています。現在の方法は、アーキテクチャの非対称性と、潜在空間の不整合を完全に利用できないことによって制限されています。また、多くは、非常に動的な交通環境における複雑な正常な動作と真の異常をしっかりと区別することができません。

通常の交通データのみでトレーニングされたデュアル エンコーダー - デコーダー - エンコーダー (EDE) アーキテクチャと 2 段階のトレーニング戦略を組み合わせることで、多様で微妙な交通異常の検出において最先端のモデルよりも優れたパフォーマンスを発揮できるという仮説を立てています。双方向の潜在整合性を強制し、敵対的再構成を統合することで、システムは、注釈付きの事故データを必要とせずに、急ブレーキ、不規則な方向転換、衝突など、予想される動作からの微細な逸脱に対してより敏感になります。

提案された方法
デュアルEDEアーキテクチャ上に構築された新しい教師なし異常検出フレームワークを提案します。単一の符号化/デコードパイプラインを使用する従来のモデルとは異なり、当社のシステムは、画像と潜在表現の間の双方向マッピングを実行する2つのEDE経路を使用します。この設計により、モデルは通常の交通ダイナミクスの豊富な特徴を学習し、異常が発生した場合に不一致を増幅させることができます。トレーニングプロセスは、次の 2 つのフェーズで構成されます。

フェーズ 1 では 、再構成損失を使用して、標準的なオートエンコーダー トレーニングと同様に、通常の動作をモデル化します。

フェーズ2では 、1つのEDEからの潜在ベクトルを2番目のEDEに渡して合成データを生成し、画像ドメインと潜在ドメインの両方で実際の表現と偽の表現の区別を最大化することをシステムに強制する、生成的敵対的メカニズムを導入します。

主な貢献
異常検出を改善するために、双方向マッピングを通じて潜在的な不整合をキャプチャするデュアル EDE アーキテクチャを導入します。私たちは、オートエンコーダーの再構成と敵対的学習を組み合わせて、微妙な偏差に対する感度を高める 2 段階のトレーニング手順を開発します。AI City Challenge (トラック 4) データセットでの実験を通じて、このモデルがいくつかの最先端の教師ありベースラインと教師なしベースラインを上回り、現実世界の都市環境における堅牢でスケーラブルな事故検出を実現することを実証しました。要約すると、この研究は、交通異常検出に対するスケーラブルで正確でラベルのないアプローチを提供し、より安全で応答性の高いスマート交通システムに貢献します。

Protocol

制

セットアップ
提案されたトラフィック異常検出システムは、Intel Tiber Cloud環境を活用して、階層的で分散されたコンピューティングフレームワーク内に展開しました。このアーキテクチャは、エッジ、フォグ、クラウドの 3 つの層で構成されており、低遅延の推論、スケーラブルなトレーニング、コンピューティング ノード間での効率的なリソース割り当てを保証します。

エッジ層: リアルタイムの異常検出は、軽量の GPU 対応組み込みデバイス (NVIDIA Jetson Nano や GPU が統合された同等の Intel ベースのプラットフォームなど) を使用してエッジで実行されます。これらのユニットは監視カメラと同じ場所に設置され、最小限の遅延でフレームごとの推論を実行し、分散型で応答性の高い交通監視を可能にしました。

フォグ層: バッチ推論やリアルタイム モデルの改良など、より計算負荷の高いタスクは、Intel Tiber Cloud 内の専用仮想マシンまたはベアメタル インスタンスとしてプロビジョニングされたフォグ ノードによって処理されました。各フォグノードは、少なくとも16GBのRAMを搭載したIntel Xeonプロセッサで構成され、Intel統合またはディスクリートGPUアクセラレーションにアクセスできました。この中間層により、中央サーバーからの自律性を維持しながら、データソースの近くで高スループットの操作が可能になりました。

クラウド層: 大規模なトレーニングとアーカイブのために、クラウド層は Intel Tiber の AI 最適化サービスを通じて提供されるスケーラブルなコンピューティング クラスターを利用します。Intel Habana Gaudi アクセラレータまたは Intel Xeon スケーラブル プロセッサを搭載したインスタンスは、広範なビデオ データセットでディープ ニューラル ネットワークをトレーニングし、モデルのバージョン管理、長期ストレージ、システム全体のオーケストレーションをサポートするために使用されます。

完全なソフトウェアスタックは、Intel に最適化されたライブラリを使用して Python 3.8+ 環境で動作し、計算を高速化しました。主なフレームワークには、PyTorch (PyTorch 用の Intel 拡張機能を使用)、画像とビデオの前処理用の OpenCV、評価用の Scikit-learn が含まれます。GPU アクセラレーションは、適切な oneAPI ツールキットと DAAL 最適化によって有効になります。

デプロイ時に、デュアル EDE アーキテクチャを含むリポジトリのクローンを作成し、モデル コンポーネント (2 つのエンコーダー (E1、E2) と 2 つのデコーダー (D1、D2) を初期化しました。.to(device) 方式を採用し、ローカル リソースの可用性に応じて、コンポーネントを最適な処理ユニット (CPU、GPU、または Gaudi アクセラレータ) に動的に転送します。

エポック数、学習率、損失分散係数(γ、δ)、異常感度しきい値(ω1_、ω2)などの学習パラメータと評価パラメータを構成スクリプトで宣言しました。トレーニングでは、(1)通常の交通行動を学習するための標準的なオートエンコーダー再構成と、(2)EDE間の相互作用を使用して異常を増幅するための敵対的潜在再構成の2段階プロトコルに従いました。

このモジュール式のクラウドネイティブ システム アーキテクチャにより、Intel Tiber Cloud を介して、堅牢なリアルタイムの異常検出、モデルの拡張性、および実際のインテリジェント交通環境での信頼性の高い展開が可能になりました。

データセット
提案した異常検知システムのトレーニングと評価には、NVIDIA AI City Challenge 2021 トラック 4 (交通異常) で提供されたデータセットを使用しました。データセットは、100のトレーニングビデオと150のテストビデオで構成され、それぞれ平均15分で、30fpsと410pの解像度で記録されています。各ビデオは、道路の種類、カメラアングル、照明、気象条件の違いにより、異なるレベルの難易度を示します。このデータセットは、さまざまな道路インフラ (複数車線の高速道路、交差点など)、交通密度、気象条件 (晴れ、雨、夕暮れなど) を複数のカメラ角度からキャプチャします。これらの属性により、異常検出モデルの一般化可能性を評価するための理想的なベンチマークになります。

前処理
教師なしの条件下でモデルを学習させるには、通常の (事故のない) 交通シーンのみを使用し、学習中に異常なイベントにさらされないようにします。OpenCVを使用してビデオの前処理を実行します。フレームを 5 fps で均一にサンプリングし、冗長性を減らしながら十分な時間的カバレッジを確保します。フレームのサイズを 128 x 128 ピクセルに変更し、デュアル EDE ネットワークの入力要件に一致させ、視覚的な詳細と計算効率のバランスをとります。ピクセル値を[-1, 1]の範囲に正規化して、学習の安定性を向上させます。

一般化を改善し、現実世界の変動性をシミュレートするには、ランダム化された確率で各学習フレームに次の拡張手法を適用します。

ランダムなトリミングとスケーリング: ランダムなサブ領域をトリミングして元の解像度に縮小し、オブジェクトサイズ、部分的な可視性、空間位置のシフトに不変性を促し、監視ビデオのズーム効果や中心から外れた被写体を模倣します。

明るさとコントラストの変調: 線形またはガンマベースの変換を適用して、影、グレア、日の出/日の入りのバリエーション、人工照明などの照明のバリエーションを模倣します。これにより、日内および季節の照明変動に対するモデルの回復力が向上します。

ガウスノイズインジェクションとモーションブラー: さまざまな標準偏差を持つガウスノイズを追加して、センサーノイズと圧縮アーティファクトをシミュレートします。さまざまな方向と大きさに向けられた畳み込みカーネルを使用してモーションブラーをシミュレートし、移動するオブジェクトや手ぶれの効果をエミュレートします。

ランダムオクルージョンマスキング: ランダムなサイズと位置の黒またはグレーの長方形のパッチをフレーム上に重ね合わせることで、合成オクルージョンを適用します。この拡張は、歩行者、インフラストラクチャ要素、視界を遮る通過車両などの現実世界の障害物をシミュレートします。これにより、モデルがコンテキストから学習し、欠落または歪んだ領域に対して堅牢性を維持することが促進されます。

PyTorch 変換パイプラインを使用してトレーニング中にこれらの拡張を動的に適用し、各バッチに拡張フレームの多様な組み合わせが含まれるようにし、多様なパターンへの露出を促進し、オーバーフィッティングを減らします。

PyTorch の DataLoader を使用して処理されたフレームをロードし、バッチ処理、シャッフル、並列読み込みを管理します。GPU 容量に応じて、32 から 64 までのバッチ サイズでトレーニングします。推論と異常スコアリングでは、フレームを個別に処理し (バッチ サイズ = 1)、正確なフレーム レベルの検出を可能にします。

この前処理と拡張パイプラインにより、堅牢性と一般化が向上し、モデルは多様でノイズの多い現実世界の交通監視環境で異常な動作を効果的に検出できるようになります。

提案された方法:
提案されたEDEシステムは、画像分布と潜在空間の間の双方向マッピングを学習します。2つのエンコーダーと2つのデコーダーにより、堅牢な特徴抽出と異常の区別が可能になります。ネットワークは、再構成段階と敵対段階の両方でトレーニングされます。対照学習、正則化、勾配ペナルティを使用して、モード崩壊を防ぎ、GAN トレーニングの堅牢性を向上させます。

EDEフレームワークは次のように動作します。エンコーダー1(E1)は、画像の特徴を潜在空間にエンコードします。最初のデコーダー(D1)は、再構成損失を最小限に抑えるために、潜在ベクトルから画像を再構成します。再構成された画像は、不整合を捉えるために潜在空間にマッピングされます。2番目のデコーダー(D2)は、モデルが実際のデータと合成データを区別できるように、2番目の潜在空間から合成画像を生成します。この双方向マッピングは、ピクセルレベルの違いではなく、潜在的な空間の不一致に基づいて異常を検出します。

フェーズ 1: 復興トレーニング: オートエンコーダーは、通常の交通画像を再構築するようにトレーニングされているため、異常な入力は重大な再構成エラーを生成します。損失関数は、入力画像、その潜在エンコーディング、および再構成された画像を考慮します。

敵対的トレーニング: 再構成トレーニングの後、敵対的学習が適用されます。再構成された潜在ベクトルは、代替のEDE構造を通過して、合成画像と潜在ベクトルを生成します。目標は、実際の画像と合成画像の違いを最大化することです。エンコーダー2(E2)による異常検出を強化するために、潜在ベクトルを変更および再構築します。エンコーダの崩壊を防ぎます。

トレーニングは、E1 と E2 が同一のマッピングに収束し、識別能力が低下するのを避けるように設計されています。

対照学習: 損失関数は、実際の表現と再構成された表現を区別し、マージン ハイパーパラメーターが特徴の分離を制御します。
正則化手法には次のものが含まれます。

落ち零れ： 過剰適合を防ぐためのニューロンのランダムな不活性化。
重量減衰: 特徴学習を安定させるために、大きな重みにペナルティを課します。

敵対的訓練安定性²⁰ およびモード崩壊防止方法には、次のものがある。
勾配ペナルティ: 識別子の動作を規制します。
データ拡張: ランダムなトリミング、スケーリング、調整可能な照明により、さまざまな条件をシミュレートします。
ノイズインジェクション: リアルなノイズ、モーションブラー、オクルージョンを追加して、ジェネラライゼーションを改善します。
早期停止: 過剰適合を避けるために、検証損失が大幅に変動する場合はトレーニングを停止します。

これらのアーキテクチャの強化、トレーニング方法、回復力対策により、信頼性の高いトラフィック異常検出が保証されます。

教師なし事故検出ネットワークは、通常のサンプルのみでトレーニングされ、通常のサンプルと事故サンプルの両方でテストされます。正式には：

すべての正常ビデオと事故ビデオのセットから、 F 個の正規フレームのみの大規模なトレーニング データセット E (E = {x1, x2}) を考えてみましょう。.., xM } と、通常写真と事故写真の両方を含む小さなテスト データセット Ê (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)])、フレーム、ここで yi [0, 1] はフレーム ラベル イメージです。F F* トレーニングの場合、トレーニング データセットはテスト データセットよりも大幅に大きくする必要があります。データセット多様体(E)を学習した後、推論中にÊの事故フレームを外れ値として識別します。モデル f は、学習した正規データ分布に基づいて事故スコアAcc(x)を計算します。事故スコアの高いテスト画像xは事故である可能性があります。判断基準は、Acc(x) > φの場合、事故スコアしきい値 (φ) に基づいています。

ネットワークアーキテクチャ:
図1に示すように、GANomalyモデル²¹には、2つのエンコーダ、1つのデコーダ、および1つのディスクリミネータが含まれています。多くの研究者がこの方法を適応させて、潜在ベクトルを区別し、視覚的異常を検出しています^12,22。2 つのエンコーダーと 1 つのデコーダーは、モデル内の画像と潜在ベクトルを相互に変更します。これらの異常な事実は、変換中に示されます。ディスクリミネーターは、生成された画像を元の画像から分割します。GANomaly は、エンコード、デコード、再エンコードに依存しています。

図1:情報の流れを示すGANomalyアーキテクチャ。 このアーキテクチャは、敵対的生成ネットワーク内に統合されたエンコーダー-デコーダー-エンコーダーフレームワークで構成されています。最初のエンコーダーは、入力ビデオ フレームを潜在空間表現に圧縮し、デコーダーによって再構築されます。2 番目のエンコーダーは、再構築されたフレームを潜在空間にマッピングして戻します。ディスクリミネーターは、入力特徴量と再構築された特徴量の差を評価して、異常スコアを計算します。矢印は、ネットワークを通るデータの方向性フローを示します。略語: GAN = 敵対的生成ネットワーク。 この図の拡大版を表示するには、ここをクリックしてください。

図2 は、2つのエンコーダと1つのデコーダを備えたEDEアーキテクチャを示しています。EDE 構造体は、ビデオの事故を検出するためにパラメーターを常に変更する必要があります。EDE 構造に 2 番目のデコーダーを追加し、エンコーダーを共有して、2 つのネットワーク構成で 図 2 のモデルを生成させました。2つのエンコーダには4つの畳み込み層があります。出力層を除くすべての層に LeakyReLU 活性化関数を使用し、出力を -1 と 1 の間で境界するために tanh 活性化を使用しました。バッチ正規化は、複数の畳み込み層の後に適用されました。デコーダ(図3 および 図4)はエンコーダに似ていますが、各層の代わりにConvTransposeと追加のバッチ正規化を採用しています。

図2:情報フローを備えたEDEベースのアーキテクチャの提案。 EDE アーキテクチャは、2 つのエンコーダーとデコーダーを通るビデオ フレームの流れを示しています。最初のエンコーダー (E1) は、入力フレームを潜在表現に圧縮し、デコーダー (D1) によって再構築されます。再構築された出力は、2番目のエンコーダー(E2)を通過して、2番目の潜在ベクトルを取得します。潜在ベクトルと再構成品質の間の不一致は、敵対的および対照的な損失成分によってサポートされた異常検出に使用されます。略語:EDE =エンコーダー-デコーダー-エンコーダー。 この図の拡大版を表示するには、ここをクリックしてください。

ネットワークアーキテクチャの詳細:
デュアル EDE モデルは、2 つのエンコーダー - デコーダー - エンコーダー パイプラインで構成され、それぞれが同じ構造を持ち、トレーニング中に共同で最適化されます。

エンコーダアーキテクチャ(E1、E2)

入力:128×128×3 RGBフレーム

レイヤー 1: Conv2D (64 フィルター、4×4 カーネル、ストライド 2、パディング 1) → LeakyReLU (α = 0.2)

レイヤー 2: Conv2D (128 フィルター、4×4、ストライド 2、パディング 1) → BatchNorm → LeakyReLU

レイヤー 3: Conv2D (256 フィルター、4×4、ストライド 2、パディング 1) → BatchNorm → LeakyReLU

レイヤー 4: Conv2D (512 フィルター、4×4、ストライド 2、パディング 1) → BatchNorm → LeakyReLU

レイヤー5:平坦化→密から潜在ベクトル(z ^100)

デコーダアーキテクチャ(D1、D2)

入力: z ^100 → Dense → 8×8×512 に再形成します。

レイヤー 1: TransposedConv2D (256 フィルター、4×4、ストライド 2、パディング 1) → BatchNorm → ReLU

レイヤー 2: TransposedConv2D (128 フィルター、4×4、ストライド 2、パディング 1) → BatchNorm → ReLU

レイヤー 3: TransposedConv2D (64 フィルター、4×4、ストライド 2、パディング 1) → BatchNorm → ReLU

レイヤー 4: TransposedConv2D (3 フィルター、4×4、ストライド 2、パディング 1) → Tanh

再構成された画像は、2番目のエンコーダーを介して再エンコードされて潜在表現を取得し、元の潜在ベクトルと再構成された潜在ベクトルの不一致が異常スコアリングに使用されます。

アクティブ化と正規化
エンコーダーは、LeakyReLU のアクティブ化とバッチ正規化を使用します。デコーダは、Tanhを適用して出力を[−1, 1]の範囲に正規化する最後の層を除き、ReLUアクティベーションを使用します。

損失 関数
画像再構成損失: ǀǀ x −ǀǀ₂
潜在整合性損失: ǀǀ z −ǀǀ₂

敵対的損失: フェーズ II で導入され、ネットワークに実際の潜在コードと再構成中に生成された潜在コードを区別するように強制することにより、実際の再構成と合成再構成の間の相違を最大化します。

このアーキテクチャは、ピクセル空間と潜在空間の両方の不規則性を捉え、異常な運転行動を示す微妙な逸脱を検出できるようにします。

2 つのフェーズでのトレーニング
2段階のネットワーク学習法が採用されています。画像と潜在ベクトルの再構成の両方で、2つのEDE構造が学習されます。第 2 フェーズでは、エンコーダー 2 はエンコーダー 1 をだまして、データを実数または再構成として誤分類させようとします。

初期復興訓練
EDE構造は、入力画像と潜在ベクトルを複製するように学習されます。入力xは、エンコーダーE1によって潜在ベクトルzにエンコードされます。D1 と D2 の両方が z をデコードして、x1 と x2 の画像を生成します。再構成された2つの画像(x1とx2)を渡した後、エンコーダーE2から2つの潜在ベクトル(z1とz2)を取得しました。このステージには、次のトレーニング目標が含まれています。

LEDE1 = γ ǀǀ x −x₁ǀǀ₂+δ ǀǀ z −z₁ǀǀ₂ (1)
LEDE2 = γ ǀǀ x−x₂ǀǀ₂+δ ǀǀ z −z₂ǀǀ₂ (2)

これらの再構成された画像は、エンコーダーE2を通過して、潜在ベクトル_z1と_z2を取得します。トレーニングの目的:
重み付け係数(γ、δ)は、損失成分が目的関数に与える影響に決定的な影響を与えます。

次に、敵対的手法を使用して 2 つの Encoder-Decoder-Encoder 構造をトレーニングしました。
ここで、γとδは、再構成と潜在整合性損失の寄与を比較検討するパラメータです。

敵対的トレーニング
2つのEDE構造が敵対的にトレーニングされます。データからエンコーダ2を認識する方法を学習します。EDE2はEDE1を欺くに違いない。D1は最初のステップからz2をデコードし、x1'を再構築します。エンコーダー E2 に x1' を繰り返すと、z1' が得られます。ステージトレーニングの目的は次のとおりです。

最小最大 γ ǀǀ x −x 1'ǀǀ +δ ǀǀ z -z_{1'ǀǀ 2} (3)
EDE2 EDE1

2 つの EDE 構造には、次の損失関数があります。
LEDE1 = −γ ǀǀ x -x 1'ǀǀ ₂ −δǀǀ z - z_{1'ǀǀ 2} (4)
LEDE2 = +γ ǀǀ x - x 1'ǀǀ ₂+δ ǀǀ z - z_{1'ǀǀ 2} (5)

γ と δ の値は、以前に指定したパラメーターと一致します。

図3:エンコーダの構造。 提案されたEDEアーキテクチャで使用されるエンコーダネットワークは、入力ビデオフレームから時空間の特徴を抽出します。これは、複数の畳み込み層とそれに続くバッチ正規化と ReLU の活性化で構成され、階層表現をキャプチャしながら空間次元を徐々に縮小します。最終的な潜在ベクトルは、異常検出に不可欠な高レベルの意味情報をエンコードします。略語:ReLU = 整流リニアユニット、EDE =エンコーダー-デコーダー-エンコーダー。 この図の拡大版を表示するには、ここをクリックしてください。

各 EDE は、提案された構造に対して 2 つの損失関数を提供します。フェーズ1では、EDE1はxおよびz再構成損失を減らす必要があります。EDE1は、潜在ベクトルzとz1'、xとx1'の間のフェーズ2分散を最適化する必要があります。EDE2とEDE1は、フェーズ1のxおよびz再構成エラーを低減します。EDE1は、フェーズ2でzとz1'、xとx1'の差を小さくする必要がありますが、その逆が起こらなければなりません。

図4:デコーダの構造。提案されたEDEアーキテクチャのデコーダコンポーネントは、潜在特徴から入力フレームを再構築します。 これは、特徴マップを元のフレーム解像度に段階的にアップサンプリングする一連の転置畳み込み層で構成されています。デコーダーは通常の交通シーンを正確に再構築することを学習し、システムが再構成エラーに基づいて異常を特定できるようにします。略語:EDE =エンコーダー-デコーダー-エンコーダー。 この図の拡大版を表示するには、ここをクリックしてください。

各 EDE モデルの二重学習目標には、時間の経過と共に変化する重みを持つ損失関数が含まれています。

L_EDE1=(γ||x−x₁||₂+δ||z−z₁||₂)−(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (6)
L_EDE2=(γ||x−x₁||₂+δ||z−z₁||₂)+(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (7)

トレーニング期間のカウントはnです。

アルゴリズム 1 は、2 フェーズのトレーニングを示しています。
インプット：
データセットEのすべての通常の画像 = {x₁, x₂, . . . , x_F},
エポックN、
重み付けパラメータ γ、 δ
アウトプット：
トレーニングされたエンコーダー-デコーダー-エンコーダー1、
エンコーダー-デコーダー-エンコーダー2
e₁、e₂、d₁、d₂ ←初期化中
重み
n ←1
繰り返す
f = 1からFの場合、
Z_F←E₁(x_F)
         ←d₁(z_f)
         ←d₂(z_f)
         ←e₂()
         ←e₂()
         ←d₁()
         ←e₂()′
L_EDE1←(γ||x_f−||₂+δ||z_f−||₂) −(1−)(γ||x_f−'||₂+ δ||z_f−'||₂)
L_EDE2←(γ||x_f−||₂+δ||z_f−||₂) +(1−) (γ||x_f−'||₂+ δ||z_f−'||₂)
e₁、e₂、d₁、d₂←更新の重み
L_EDE1と L_EDE2 を使用する
の終わり
n ←n + 1
n = Nまで

トレーニング フェーズと異常検出基準
トレーニングを 2 つの連続したフェーズに分割します。

フェーズ I - 再建学習:
どちらの EDE パイプラインも、通常の交通シーンでのみトレーニングされています。

入力画像は、エンコーダ1→デコーダ1→エンコーダ2を通過します(図5)。

このモデルは、画像再構成の損失と潜在的な一貫性の損失を最小限に抑えます。このフェーズにより、ネットワークは通常の動作のためのコンパクトで一貫した潜在空間を学習できます。

フェーズ II - 生成的対立学習:

デコーダ1から再構築された潜在ベクトルは、デコーダ2に入力され、エンコーダ1を介して再エンコードされます。この循環フローは、モデルが合成パターンの不整合を検出するのに役立ちます。敵対的損失は、元の表現と再構成された表現の間の小さな偏差を誇張するために追加されます。ディスクリミネーターは、オプションで実際の潜在コードと再構築されたコードを区別するようにトレーニングされ、潜在空間でより明確な区別が強制されます。

異常検出:
推論時に、デュアル EDE パイプラインを介してテスト フレームを渡します。ピクセル単位の再構成誤差、潜在ベクトルの不一致、敵対的識別子スコア (使用する場合) の 3 つのメトリックを計算します。複合異常スコアを加重合計として計算します。

異常スコアが調整されたしきい値を超えるフレームには、潜在的な異常イベントとしてフラグが立てられます。このメカニズムにより、モデルは、注釈付きの異常ラベルを必要とせずに、視覚的および潜在空間パターンの微妙な偏差を検出できます。

図5:EDE 1とEDE 2を統合した敵対的GANomalyモデルのアーキテクチャ。 この図は、再構成用のEDE1と潜在特徴アライメント用のEDE2の2つのEDE構造を統合した敵対的異常検出モデルの設計を示しています。このモデルは、潜在ベクトルの一貫性損失とディスクリミネーターを介した敵対的トレーニングを採用して、入力フレームと再構築されたフレームの潜在表現の間の類似性を強制します。このアーキテクチャは、通常のトラフィックパターンの堅牢な特徴埋め込みを学習することで、異常検出を強化します。略語:EDE1 =再構成のための最初のエンコーダー-デコーダー-エンコーダー構造。EDE2 = 潜在特徴アライメントのための 2 番目のエンコーダー - デコーダー - エンコーダー構造。 この図の拡大版を表示するには、ここをクリックしてください。

検出中、モデルでは次の異常なスコアが使用されました。

Acc(x̂) = ω₁||z−z₂||₂+ω₂||z−z₁'||₂ (8)

重みパラメータ(ω₁+ ω₂= 1)を変更すると、真陽性と偽陽性の比率を調整することで感度を変更できます。実際のアプリケーションでは、これら 2 つのパラメータを変更することで、1 回の実験でさまざまな感度の事故を検出できます。

トレーニング中、各入力フレームxはエンコーダーE₁を通過して、潜在ベクトルzを生成します。次に、潜在ベクトルはデコーダD₁を介して再構成され、画像x̂1が生成され、その後エンコーダE₂を通過して再構成された潜在ベクトルzが得られます。並行して、z はデコーダ D₂ によってデコードされて x̂₂ が生成され、これも E₂ を介して再エンコードされて z₂ が生成されます。この双方向プロセスでは、異常検出のためにピクセルレベルと潜在レベルの両方の情報が保持されます。

モデルテストアルゴリズム:
={( x̂_{1,y 1}),( x̂_{2,y 2}),...,( x̂_M*,y_M*)}、
しきい値φ、

重み付けパラメータω1_、ω2
出力: テストデータセットの予測ラベル
E_re = {y_1pre, y_2pre, ..., y_F*pre}
for i =1からF *は
z_i ← e₁(x_i)
x_2i ← d₂(z_i)
z_2i ← e₂(x_2i)
z_1i' ← d₁(z_2i)
z_1i' ← e₂(z_1i')
Acc(x̂_i) ←ω₁||z_i−z_2i||₂+ω₂||z_i−z_1i'||₂
ifAcc(x̂_i) ≥φ
y_ipre ←1
然も無くば
y_ipre ←0
エンドイフ
終わり

EDEは、ディスクリミネーターを敵対的学習コンポーネントとして使用し、正常イベントと異常イベントを区別するモデルの能力を向上させることで、異常検出の精度を高めます。次のようにパフォーマンスが向上します。

識別の学習: ディスクリミネーターは、合成および双対 EDE 構造再構成表現を区別するようにトレーニングされます。この敵対的プロセスを最適化することで、モデルに識別力の高い潜在特徴が与えられ、交通シーンの異常検出が向上します。

不適切な再構成の削除: トラフィック パターンから大きく逸脱しているため、異常によって再構成の問題が発生することがよくあります。ディスクリミネーターは、誤って再構築されたフレームにペナルティを課し、ネットワークの正常/異常イベント検出を改善します。

敵対的トレーニングによる特徴表現の強化: 敵対的学習を統合することにより、ディスクリミネーターは EDE ネットワークにより耐久性があり意味のある潜在埋め込みを生成します。これにより、急ブレーキ、衝突、車両の方向転換などの小さな変化も検出され、異常検出が向上します。

誤検知の除去: 従来のオートエンコーダーは異常を過度に一般化して正規化するため、誤検知率が高くなります。ディスクリミネーターは、正常なフレームと異常なフレームの間の潜在的な不一致を特定することにより、再構築中に異常の属性を保持します。

2 段階の決定プロセスによる分類の改善: 正常または異常に再構築されたフレームは、ディスクリミネーターから信頼度スコアを受け取ります。この追加の検証フェーズでは、誤分類エラーと再構成損失が減少し、検出精度が向上します。

実証済みの事故検出方法を使用して、戦略^{23、24、25、26} をテストしました。マルチクラスデータセットの1つのクラスは正常であり、他のすべての事故クラスは、1つのアプローチとすべてのアプローチを使用して注意深く調べられました。モデルは通常のクラス データのみを使用してトレーニングされましたが、テスト セットは事故データと正常なデータを使用しました。トレーニングセットとテストセットは2つの方法で分けられました。

それぞれ 80% と 20% の正常クラス データでトレーニングとテストを行いました。事故クラスのテスト結果はランダムに選ばれました。評価は、モデルが大多数の正常クラスに偏ることを避けるために、通常クラスデータの20%を占める事故クラステストサンプルを使用することにより、偏りがありませんでした。このモデルは、実際の条件を表す同数の通常データと事故データに対してテストできます。通常のデータの 80% でトレーニングし、20% を隠すことで、モデルの一般化を公平にテストします。これはまた、実際の生活では通常の発生が事故の数を上回っていることも示しており、モデルをまれな事故データに公開することが重要になります。事故サンプルをランダムに選択し、過学習せずにすべての事故状況に対してモデルをテストすることで、ロバスト性が向上します。80/20 のデータ分割は、機械学習では一般的です。意味のあるパターンのトレーニングデータとパフォーマンス評価のテストデータはバランスが取れています。

実験では、トレーニングとテストにデータセットを使用しました。通常のクラスのトレーニング分割は、検証とトレーニングに使用されました。すべてのクラスのテストデータがテストされました。

モデルのプルーニングと量子化により、モデルのサイズと計算量が大幅に削減されます。削減されたモデルは、精度は同じですが、パラメータが 40% 少ないため、パフォーマンスは低下します。処理能力の低いエッジデバイスの場合、モデルを量子化すると圧縮されます。この最適化により、リアルタイムの交通監視の精度とリコールのニーズが満たされます。

MobileNets や EfficientNet などの軽量設計により、リアルタイムの推論が向上します。コンピューター ビジョンの精度と最小限の計算により、これらのアーキテクチャ タイプは広く使用されています。組み込みシステムでは、このようなモデルは、強力な事故検出F1スコアを維持しながら、フレーム処理を50%削減します。

マルチタスク学習を利用して画像再構成と事故検出に同様のパラメータを使用すると、設計を簡素化できます。これにより、モデルの精度に影響を与えることなく、トレーニング時間と計算コストが削減されました。マルチタスク学習システムは、交通ビデオデータ処理モデルの学習を簡素化しました。

対照的および自己教師ありの敵対的トレーニングにより、より短い時間で基本異常検出モデルに匹敵する結果が得られました。交通事故の特徴を収集し、一般化して、目に見えないデータに対するロバスト性を向上させました。

提案された交通異常検出アルゴリズムは、2021 年の AI City Challenge の 5 つのデータセットのうちの 1 つである Track-4 でテストされました²⁷。高速道路はこれらのデータをアイオワ州運輸省に提供しました。

比較性能評価:
モデルを検証するために、 AI City Challenge Track 4データセットで、 GANomaly、f-AnoGAN、OCGAN、ByteDanceの教師あり手法などの最先端のモデルに対してベンチマークを行いました。結果を表 2に まとめたものである。

モデル	F1スコア	精度	思い出す	AUCの
GANomaly	0.87	0.88	0.86	0.9
オガン	0.89	0.9	0.87	0.91
バイトダンス (Sup.)	0.91	0.93	0.89	0.92
提案済み (デュアル EDE)	0.94	0.95	0.93	0.94

表2:方法の比較。 この表は、異常検出方法を F1 スコア、精度、再現率、精度で比較したものです。敵対的トレーニングの有無にかかわらず、EDE 設計を比較します。2つのEDEと敵対的トレーニングは、すべてのカテゴリーでBADU、ByteDance、WHUを上回りました。データは、敵対的学習が異常検出を増加させることを示しています。

デュアル EDE モデルは、特に再現率において、すべてのベースラインを上回り、まれな異常事象に対する感度が高いことを示しています。

Results

提案された交通異常検出手法の有効性を評価するために、モデルを単一のビデオクリップに実装し、時間の経過と共に特徴空間内でのシステムの動作を示す視覚化を生成しました。シミュレートされた EDE パイプラインを使用して得られますが、結果は実際のモデルから期待される定性的な結論を厳密に反映しています。

異常スコアのタイムラインは、異常な発生を特定する際のモデルのフレームごとの信頼度を示しています(図6)。異常スコアのピークは、車両の衝突や急激な減速などの現実世界の出来事に似た、突然の動きや視覚的な歪みなど、画像ダイナミクスの急激な変化に対応します。最初のフレームでは比較的低いスコアを示し、スムーズな交通の流れを示しています。タイムラインの顕著なピークは、潜在的なトラフィック異常を示唆しており、定性的な画像出力でさらに調べられます。フレームレベルの偏差信号を活用することで、システムは正常パターンと異常パターンを効果的に区別します。

Discussion

この研究では、EDEアーキテクチャを採用した深層学習ベースの交通異常検出システムを提示し、教師なしの方法でトレーニングして、現実世界の監視ビデオで単一車両と複数車両の両方の事故を特定します。典型的な交通動作をモデル化することで、システムはラベル付けされた異常データを必要とせずに逸脱を異常の可能性として検出し、インテリジェントな交通監視におけるスケーラビリティとデータスパーシティの課題に対処します。この研究は、効果的な時空間異常の同定のために、潜在空間の一貫性と再構成損失を組み合わせて使用することを実証することで、この分野を前進させます。

制限：
デュアル EDE モデルは強力なパフォーマンスを示しますが、透明性を確保し、将来の開発に情報を提供するために、特定の制約を認識する必要があります。

...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AI City Challenge Track 4 データセット	AIシティチャレンジ(https://www.aicitychallenge.org)	トラック4、2021年リリース
CUDAツールキット	NVIDIA 開発者	バージョン 11.3
cuDNNライブラリ	NVIDIA 開発者	CUDA 11.3に対応
GPU ワークステーション クラスター (トレーニング)	アムリタコンピューティングスクール	—
ローカルワークステーション(フォグノード)	アムリタコンピューティングスクール	—
マットプロトリブ	matplotlib.org	バージョン 3.3+
NVIDIA Jetson Nano (エッジデバイス)	エヌビディア	945-13450-0000-100
NVIDIA RTX 3060 GPU (ワークステーション)	エヌビディア	メーカーにより異なる
ナンパイ	numpy.org	バージョン 1.19+
オープンCV	OpenCV.org	バージョン 4.5+
パンダ	pandas.pydata.org	バージョン 1.1+
ニシキヘビ	Pythonソフトウェア財団	バージョン 3.8+
パイトーチ	PyTorch (https://pytorch.org)	バージョン 1.10+
Scikit-learn	scikit-learn.org	バージョン 0.24+
Ubuntu Linux(オペレーティングシステム)	カノニカル株式会社	バージョン 20.04 LTS