Unsupervised deep denoising for four-dimensional scanning transmission electron microscopy

1. 서지정보

Sadri, A., Petersen, T. C., Terzoudis-Lumsden, E. W. C., Esser, B. D., Etheridge, J., & Findlay, S. D. (2024). Unsupervised deep denoising for four-dimensional scanning transmission electron microscopy. npj Computational Materials, 10, 243. https://doi.org/10.1038/s41524-024-01428-x

저자 메모: 주니가 참여한 논문이 아니다. SHINE(TEM 이미지 디노이징) 논문과 같은 결로, 이번엔 TEM 이미지가 아니라 4D-STEM(4차원 주사투과전자현미경, 각 탐침 위치마다 2차원 회절 패턴을 함께 기록하는 기법) 데이터를 딥러닝으로 디노이징하는 외부 논문이다.

2. 연구문제

4D-STEM은 시료를 스캔하는 각 탐침(probe) 위치마다 CBED(수렴빔 전자회절, convergent beam electron diffraction) 패턴을 하나씩 기록해서, 위치 정보(2차원)와 회절 패턴 정보(2차원)를 합쳐 4차원 데이터셋을 만드는 기법이다. 문제는 이 데이터가 검출기의 수많은 픽셀에 도즈(dose, 시료에 조사하는 전자량)를 분산시키다 보니 픽셀당 신호대잡음비가 떨어져 노이즈가 심하다는 것 — 특히 손상에 약한 시료는 도즈를 더 낮춰야 해서 노이즈가 더 심해진다. 기존 2D STEM 이미지용 디노이징 기법은 탐침 위치와 회절 좌표 사이의 연결 관계를 활용하도록 설계되지 않았다. 정답(clean) 데이터 없이, 노이즈 낀 4D-STEM 데이터 자체만으로 학습해 디노이징할 수 있는가?

3. 방법

기하학적 흐름(geometric flow): 인접한 탐침 위치의 CBED 패턴은 위치·강도·모양이 부드럽게 변한다는 물리적 사실에 착안. 언어모델이 문맥으로 빠진 단어를 예측하듯, 인접한 8개 CBED 패턴으로 가운데 패턴을 예측하도록 학습시키면 노이즈가 아니라 패턴 사이의 공통 구조만 배우게 된다는 것이 핵심 전략.
네트워크 구조: U-Net 기반 CNN(합성곱 신경망, 인코더-디코더 구조). 3×3으로 인접한 CBED 패턴 9장 중 가운데 1장을 라벨로 삼고, 나머지 8장을 다채널 이미지로 합쳐 입력으로 사용. 원본 U-Net보다 훨씬 작은 모델을 써서 의도적으로 용량을 제한(under-fitting)해, 노이즈는 못 외우고 패턴 간 공통 구조만 학습하게 만든다.
손실함수: 포아송 분포 기반 음의 로그가능도(negative log-likelihood) — 전자 계수(counting) 노이즈의 통계적 특성에 맞춘 것. 여기에 PACBED(탐침 위치 평균 CBED 패턴)와 총 카운트 STEM 이미지를 보존하도록 하는 정규화 항 2개를 추가(가중치 0.02·0.01, 나머지 0.97은 포아송 손실).
반복 정제(iterative refinement): 노이즈 원본과 이전 단계의 디노이징 출력을 가중합해 다음 학습 입력으로 쓰는 방식을 10회 반복해 품질을 점진적으로 개선.
밝은 영역(bright field) 편중 학습: 원자 기둥 근처는 산란각이 커져 밝은 영역(bright field disk) 내 전자 수가 적어지는 불균형이 있어, 평균 강도가 낮은 패턴을 2배 더 자주 학습시킴.
밝기 위치와 무관하게 항상 양수를 출력하도록 마지막 레이어에 제곱 연산을 넣어, 실제 세기 값이 항상 양수여야 한다는 물리적 제약을 강제(TSVD는 이 보장이 없음).

4. 데이터

시뮬레이션: py_multislice·py4DSTEM 소프트웨어로 생성한 SrTiO₃([001] 축), Y₂Ti₂O₇([011] 축), CeB₆(28 Å·240 Å 두께), MoS₂ 등의 4D-STEM 데이터셋. 탐침 간격·수렴각(convergence semiangle)·도즈를 체계적으로 바꿔가며 재구성 오차를 측정.
실험 데이터: Monash Centre for Electron Microscopy에서 Thermo Scientific Spectra-φ FEGTEM(300 keV, EMPAD 검출기)로 찍은 SrTiO₃, Titan³ 80-300 FEGTEM으로 찍은 알루미늄([001] 축)과 MgO 스모크 시료(80 keV). 저도즈(예: CBED 패턴당 약 140전자)·고도즈(약 22,000전자) 데이터를 나란히 확보해 디노이징 결과를 고도즈 데이터와 상호상관계수로 대조 검증.
코드·실험 데이터는 각각 GitHub(mcemtools)와 Monash University Bridges 저장소에 공개.

5. 결과

저도즈 SrTiO₃ 데이터(약 140전자/패턴)를 디노이징하자 육안으로 거의 안 보이던 구조가 뚜렷해졌고, 고도즈 데이터(약 22,000전자/패턴)와 비교한 피어슨 상호상관계수가 0.96으로 매우 높았다.
기하학적 흐름 의존성: 탐침 간격이 넓어질수록, 수렴각이 커질수록 재구성 오차가 커졌다 — 인접 패턴 간 유사성이 떨어져 네트워크가 배울 기하학적 흐름이 줄어들기 때문. 다만 탐침 간격이 결정 단위격자 주기와 일치하는 지점에서는 반복(periodicity) 덕분에 오차가 급격히 줄었다(이는 선형 기법인 TSVD로도 어느 정도 잡히는 효과).
TSVD 대비: 전체 평균 오차·상호상관 지표로는 TSVD와 큰 차이가 없었지만, 무거운 원자 근처처럼 드물지만 중요한 패턴에서는 CNN이 TSVD보다 뚜렷이 우수했다.
후속 분석 개선: CoM(질량중심) STEM 이미징, Symmetry STEM 이미징, 단층/다층 프티코그래피(ptychography, 위상 복원 기법) 재구성 모두, 디노이징을 전처리로 넣었을 때 더 낮은 도즈에서도 성공적으로 작동했다. 예: 240 Å 두께 SrTiO₃의 다층 프티코그래피는 16 e⁻·Å⁻²에서 노이즈 데이터로는 재구성이 실패했지만, 반복 정제까지 적용한 디노이징 데이터로는 노이즈 없는 정답과 잘 일치했다.
대형 시야(1.5 μm × 1.5 μm) 실험 데이터에서, 회절 원판이 겹치지 않는 저수렴각(1.5 mrad) 조건에서는 디노이징이 저도즈 결과를 고도즈 결과에 가깝게 개선했지만, 고수렴각(21.4 mrad, 기하학적 흐름 조건 불충족) 조건에서는 오히려 예측 불가능한 프린지(fringe) 신호를 노이즈로 오인해 지워버렸다 — 기하학적 흐름이 없는 조건에서는 방법이 실패한다는 것을 스스로 보여준 사례.

6. 한계

저자가 밝힌 한계:

균등 간격 래스터 스캔을 가정한다 — 약한 탐침 지터(jitter)는 견디지만, 큰 스캔 왜곡은 기하학적 흐름 자체를 깨뜨려 방법이 무너진다.
데이터셋마다 새로 네트워크를 처음부터 학습시켜야 한다(비지도학습의 대가) — 자세히 분석할 데이터셋 1개에는 투자할 만하지만, 여러 데이터셋을 빠르게 훑어봐야 할 때는 학습 시간이 병목이 될 수 있고, 이런 경우 더 빠르고 단순한 TSVD가 나을 수 있다(다만 주기성이 깨진 구조나 시야가 아주 작은 경우엔 TSVD가 덜 정확).
수렴각이 커서 회절 원판이 겹치지 않고 인접 패턴 간 일관된 관계가 없는 조건(Fig. 11 고수렴각 사례)에서는 기하학적 흐름 가정 자체가 성립하지 않아 디노이징이 유효한 신호까지 지워버린다.
MgO 나노큐브 실험(Fig. 12)에서 네트워크가 실제로 무엇을 학습하는지(장거리 두께 구배 vs. 단위격자 내 채널링 변화) 확실히 규명하지 못했다고 저자 스스로 명시 — “더 견고하고 정량적인지 확인하려면 추가 연구가 필요하다”고 밝힘.

읽으면서 느낀 한계:

실험 검증 사례(Fig. 2, Fig. 11, Fig. 12) 대부분이 결정성 좋은 무기 산화물·금속(SrTiO₃, 알루미늄, MgO)에 국한돼 있다. 저자들이 강조한 “beam-sensitive materials(전자빔에 약한 시료)“에 대한 직접 실험 검증은 이 논문에서 확인되지 않았고, 시뮬레이션으로만 그 효용을 주장하는 대목(CeB₆, MoS₂, 프티코그래피 사례)이 많다 — 실제 손상되기 쉬운 유기·바이오 시료로 일반화되는지는 별도 확인이 필요해 보인다.
밝은 영역(bright field)에만 디노이저를 적용하고 어두운 영역(dark field)은 대상에서 제외했다는 설계 선택이 방법 곳곳에 깔려 있는데, 이게 이 방법의 본질적 제약인지(어두운 영역은 신호가 너무 적어 원천적으로 어려운지) 아니면 이번 논문의 범위 제한인지가 본문만으로는 명확히 구분되지 않았다.
U-Net 크기(커널 수)를 바꿔가며 최적 지점(size factor 16~64)을 찾은 실험(Fig. 13)은 SrTiO₃·CeB₆ 두 재료에 대해서만 이루어져, “너무 크지도 작지도 않은 네트워크”라는 권고가 재료·수렴각 조합이 크게 다를 때도 그대로 적용될지는 불확실하다.

7. 원문 인용

By simultaneously achieving high spatial and angular sampling resolution, four dimensional scanning transmission electron microscopy (4D STEM) is enabling analysis techniques that provide great insight into the atomic structure of materials. — Abstract

We demonstrate an unsupervised deep learning model that leverages the continuity and coupling between the probe position and the electron scattering distribution to denoise 4D STEM data. — Abstract

By restricting the network complexity it can learn the geometric flow present but not the noise. — Abstract

The need to train afresh on every new data set is the price of the unsupervised approach. — Discussion (Applications 절 말미, 한계 논의)

An assumption made here is that the raster scan is evenly spaced. — Discussion (한계 논의)