パナソニックHD、雨や雪、霧などを画像から除去する「悪天候除去AI」を共同開発

雨や雪、霧などを画像から除去する「悪天候除去AI」

　パナソニック ホールディングス（以下、パナソニックHD）は2月16日、カリフォルニア大学 バークレー校（以下、UC Berkeley）、南京大学、北京大学の研究者らと、雨や雪、霧などを画像から除去することで、屋外での画像認識精度を向上させる悪天候除去AIを共同開発したと発表した。

　同技術は、多重悪天候画像に対する画像認識やセグメンテーションタスクにおいて、パラメータを72％以上、推論時間を39％節約しながら、従来法より認識精度を上げられる画像復元性能を示すなど先進性が国際的に認められ、AI・機械学習技術のトップカンファレンスであるThe 38th Annual AAAI Conference on Artificial Intelligence（AAAI2024）に採択され、2024年2月22日〜25日にカナダ・バンクーバーで開催される本会議で発表される。

　現在モビリティやインフラ分野など、屋外で利用される画像認識AIの応用が進んでいる一方、屋外で取得される画像は天候の影響をうけるため、雨・雪・霧などの悪天候下では、物体の見え方が大きく変化し、認識精度が著しく低下することが知られている。

　そこで昨今、注目を集めているのが、全天候で利用できる実用的なAIを実現するために雨・雪・霧などを画像から除去する「悪天候除去（Weather Removal）」と呼ばれるタスク。しかし、天候の種類に応じ異なるモデルを準備したり、全天候で利用できるようモデルを統合する手法も提案されているが、計算量の多さがネックとなっていた。

　同研究チームでは、異なる天候のパラメータを重みで表現することで、少ないパラメータ数で高精度に天候の影響を除去し、1つのモデルで、複数種類の天候とタスクに対応できる技術を開発。同技術は、車載センサにおける危険検知やセキュリティカメラなど全天候で高精度な画像認識が必要とされる、さまざまな場面での活用が期待できるとしている。

MoFME（Mixture-of-Feature-Modulation-Experts）を共同開発

開発した悪天候除去AIの概略図

　研究チームが共同開発したのはMoFME（Mixture-of-Feature-Modulation-Experts）という技術。同技術は、画像認識精度を低下させる雨や雪、霧を1つのアンサンブルモデルで、かつ従来の3分の1のパラメータ数で除去することが可能な悪天候除去AIとなる。

　従来、天候やタスクに応じて複数のエキスパートモデルを用意する必要があった画像認識やセグメンテーションなどのタスクを、1つのアンサンブルモデルにより実用的な計算量で実現するため、2つの新しい手法を導入。

　1つ目は、複数のエキスパートモデルのパラメータを線形変換の重みで表現する「特徴変調エキスパート（Feature Modulated Expert）」という手法で、異なるエキスパートモデルのパラメータを個別に学習するのではなく、特定のエキスパートモデルの線形変調により表現することで、総パラメータ数と計算量を削減した。

　2つ目は、入力画像の特徴に応じて、各エキスパートモデルの寄与度を切り替える「不確実性を考慮したルーター（Uncertainty-aware Router）」という手法で、各エキスパートモデルは、それぞれ得意とする天候が異なり、そこであるエキスパートモデルが、天候除去結果に余り自信がない（不確実性が高い）場合は、そのモデルの寄与度を下げ、逆の場合は寄与度を上げるよう最適化することで、アンサンブルモデルの信頼性を高め、画像認識性能を向上させた。

雨と霧が混在した入力画像に対するMoFMEの悪天候除去結果とセグメンテーションタスクへの効果

　MoFMEによる悪天候除去やセグメンテーションの結果では、雨と霧が混在するような複雑な画像に対しても、雨と霧の両方を除去し正解画像同等の結果を得るとともに、MoFMEにより事前に悪天候除去を行なうことで、セグメンテーションの精度低下を抑制できたという。

　今後の展望として、今回共同開発したMoFMEは、画像認識精度を著しく低下させる雨や雪、霧などを画像から除去することで、それらが画像認識AIの性能に与える影響を低減し、従来の3分の1のパラメータ数で雨も霧もクリアに復元できることから、モビリティやインフラ分野など、屋外でもロバストな画像認識が求められる場面での活用が期待できるとしている。