SEM画像に含まれる欠陥は、種類ごとのデータ量の偏り、少ない教師データ、同一欠陥内の見え方の差によって、単一の画像分類方式だけでは、安定した判定が難しい場合があります。
本プロジェクトでは、一つの分類モデルにすべてを任せず、異常検出 → 領域分析 → 欠陥分類 → 未知欠陥判定を段階的に組み合わせる画像解析方式を設計・実装しました。
技術課題
- クラスごとのデータ量が不均衡
欠陥の発生頻度が異なるため、十分な教師データを確保できない種類が存在します。 - 同じ欠陥でも見え方が大きく異なる
同じ種類でも見え方が大きく異なり、共通する特徴を捉えて安定して判定することが課題でした。 - 未知欠陥を既知クラスへ誤分類するリスク
一般的な分類では、学習時に存在しなかった異常でも既知クラスのいずれかへ割り当てられる可能性があります。
実装したアプローチ
- 異常検出
正常状態との差を利用して異常領域を先に抽出し、すべての欠陥種類について大量の教師データを準備する負担を抑えます。 - 領域分析
抽出した異常領域の形状や大きさなどを解析し、傷・異物など大きな性質へ分類します。 - 欠陥タイプ別の分類
傷では領域サイズなどを評価し、異物では対象物の特徴から種類を識別するなど、欠陥の性質に応じて処理を切り替えます。 - 未知欠陥判定
既知の分類に十分に当てはまらない異常を確認対象として示し、新しい欠陥の調査につなげます。
設計上のポイント
-
一段階で分類しない
異常領域の抽出、性質の分析、種類の判定を分け、各段階に適した解析を組み合わせました。単一モデルへすべての判断を任せない構成を採用しました。
-
少量データを前提にする
欠陥ごとの学習画像が少ないため、正常状態との差から異常領域を抽出する処理を先行させ、種類別の分類につなげました。
-
既知と未知を分けて扱う
既知欠陥の分類と、新しい異常を調査するための検出を組み合わせます。
適用領域
半導体・電子部品など、欠陥種類の偏りが大きく、未知異常も見逃せない製造検査へ適用できます。
まとめ
重要なのは、画像を一つの分類器へ入力することではなく、欠陥の性質に合わせて検出・分析・分類を組み合わせることです。