Skip to content

AIWeldingRobot:Basic

AI Welding Robot 개발을 위한 기초.

개발자 관점에서 기초부터 SOTA까지 접근하기 위한 학습 로드맵.

최종 목표

로봇팔 + 포인트 클라우드 + 머신 비전 카메라를 사용한 자동 용접 로봇 시스템 구축 파이프라인:

  1. 3D 데이터 Point Cloud 포맷에 대한 이해 -> (Open3D, .ply .pcd)
    • 시뮬레이터 (RoboDK)
    • 랜더러 (전용 뷰어)
  2. 3D 카메라 (Structured Light / Stereo Camera)
  3. 용접 이음 (Weld Seam) 검출 & 세그멘테이션
  4. 용접 경로 (Path) 계획
  5. Hand-Eye 캘리브레이션 (카메라 좌표 → 로봇 좌표 변환)
  6. 로봇팔 모션 플래닝 (MoveIt2 등)
  7. 용접 실행 + 실시간 Seam Tracking
  8. 용접 후 품질 검사 (결함 검출)

Phase 0: 선수 지식 점검

자세한 내용은 3DSegmentation:Basic#Phase 0: 선수 지식 점검 항목 참조.

Phase 1: 3D 데이터 표현 방식 이해

자세한 내용은 3DSegmentation:Basic#Phase 1: 3D 데이터 표현 방식 이해 항목 참조.

Phase 2: 고전적 3D Segmentation

자세한 내용은 3DSegmentation:Basic#Phase 2: 고전적 3D Segmentation 항목 참조.

  • RANSAC 기반 평면 분할: 워크피스의 평면을 먼저 검출 → 두 평면의 교차선 = 용접 이음(seam). 가장 기본적인 용접선 추출 방법
  • Euclidean Clustering (DBSCAN): 여러 워크피스가 있는 장면에서 개별 부품 분리, 이음부 후보 영역 분할

Phase 3: 딥러닝 기반 Point Cloud Segmentation

자세한 내용은 3DSegmentation:Basic#Phase 3: 딥러닝 기반 Point Cloud Segmentation 항목 참조.

  • Sparse Convolution 기반: WeldNet - Sparse Conv + RPN을 용접 이음 검출에 특화시킨 논문 (annular weld seam)

Phase 4: 2D→3D 리프팅 (Foundation Model 활용)

자세한 내용은 3DSegmentation:Basic#Phase 4: 2D→3D 리프팅 (Foundation Model 활용) 항목 참조.

Phase 5: 3D Gaussian Splatting + Segmentation

자세한 내용은 3DSegmentation:Basic#Phase 5: 3D Gaussian Splatting + Segmentation 항목 참조.

Phase 6: Open-Vocabulary & Language-guided 3D Segmentation

자세한 내용은 3DSegmentation:Basic#Phase 6: Open-Vocabulary & Language-guided 3D Segmentation 항목 참조.

Phase 7: 용접 특화 — Weld Seam Detection & Path Planning

이 Phase가 최종 목표에 가장 직결되는 단계. Phase 2~3의 기법을 용접 도메인에 적용한다.

용접 이음 검출의 전체 파이프라인

현재 학계/산업계에서 가장 많이 사용되는 접근은 Coarse-to-Fine 2단계 방식이다:

  1. Coarse Stage - 2D 이미지 기반 대략적 위치 파악:
  2. Fine Stage - 3D 점군 기반 정밀 추출
    • Structured light / laser sensor로 ROI 영역 정밀 스캔
    • 점군에서 평면 교차선 추출 (RANSAC, 법선 기반)
    • B-spline / NURBS 곡선 피팅 → 용접 경로 생성

2D 기반 Weld Seam Detection

  • Weld seam object detection: fusion of 2D images and 3D point clouds (2024)
  • EfficientWeld - 경량 DNN으로 이음 영역 + 시작/끝점 동시 검출. 추론 속도 36% 향상
  • YOLOv11-Seg - 최신 YOLO 기반 세그멘테이션. 워크피스 + 이음부 동시 분할
  • K-Net - Semantic/Instance/Panoptic 통합 프레임워크. transfer learning으로 용접 워크피스 분할
  • YOLOv5 기반 - 이음 위치, 아크 시작점/끝점, 용접 유형을 단일 추론으로 식별

3D 기반 Weld Seam Extraction

  • WeldNet: voxel-based weld seam detection (2024)
  • 평면 교차선 방법 - RANSAC로 두 평면 검출 → 교차선 = 용접선. 가장 기본이면서 강력
  • Concave-Convex Feature Descriptor (Flatness) - 점군의 오목/볼록 특징으로 이음 추출
  • WeldNet - Voxel encoding + Sparse Conv + RPN으로 환형 용접 이음 검출 네트워크
  • DGCNN - Dynamic Graph CNN으로 용접 표면 결함 검출
  • Farthest Point Sampling (FPS) - 특징점 디노이징 및 리샘플링 후 곡선 피팅

용접 경로 계획 (Path Planning)

  • 추출된 이음 특징점들을 B-spline curve fitting으로 부드러운 경로 생성
  • 용접 토치 자세 계획 - 이웃 점의 법선(normal) 기반 dihedral angle 원리
  • Teaching-free 프로그래밍 - 교시(teaching) 없이 비전만으로 용접 경로 자동 생성
  • 다중 이음 처리 - TSP(외판원 문제) 기반 최적 순서 결정

핵심 논문

  • Weld seam detection: coarse-to-fine path planning - 2D EfficientWeld + 3D 점군 정밀 추출 결합 (2025)
  • Weld seam extraction with semantic segmentation and point cloud feature - K-Net semantic seg + Flatness descriptor (2025)
  • Weld seam extraction by fusing 2D semantic seg + 3D point cloud - YOLOv11-Seg + NGDT-RANSAC (2025)
  • WeldNet: voxel-based weld seam detection - Sparse Conv + RPN for annular seams (2024)
  • Weld seam object detection: fusion of 2D + 3D - Faster R-CNN + orthogonal plane intersection (2024)
  • Off-line 3D seam extraction and path planning - 점군 세그멘테이션 기반 아크 용접 경로 계획 (2020)

Phase 8: 하드웨어 연동 - 카메라, 캘리브레이션, 로봇

로봇 시뮬레이터

하드웨어가 없다면 시뮬레이터로 먼저 테스트할 수 있다.

3D 비전 카메라 선택

유형

대표 제품

특징

용접 적합도

Structured Light

Photoneo PhoXi, Mech-Mind, LMI Gocator

고정밀 (0.05~0.1mm), 환경광 강건

⭐⭐⭐ 최적

Stereo Camera

Intel RealSense D435i, ZED 2

범용, 저렴, 실시간

⭐⭐ 프로토타이핑용

Laser Line Scanner

Keyence LJ-X8000, SICK Ruler3000

라인 프로파일 고속 스캔

⭐⭐⭐ 실시간 Seam Tracking

ToF

Basler blaze, Azure Kinect

장거리, 실시간

⭐ 용접에는 정밀도 부족

Eye-in-Hand vs Eye-to-Hand 구성:

  • Eye-in-Hand - 카메라가 로봇 엔드이펙터에 장착. 이동하면서 다양한 각도로 스캔 가능. 용접 시야 확보 유리.
  • Eye-to-Hand - 카메라가 고정 위치에 설치. 넓은 시야, 안정적. 대형 워크피스에 적합.

Hand-Eye Calibration ⭐ 필수

카메라 좌표계와 로봇 좌표계를 연결하는 핵심 단계. 이것이 없으면 "카메라가 보는 용접선 위치"를 로봇이 알 수 없다.

  • 수학적 본질: AX = XB 문제 (Tsai-Lenz method)
  • Eye-in-Hand: 로봇 엔드이펙터 → 카메라 프레임 변환 (T_hand_camera)
  • Eye-to-Hand: 로봇 베이스 → 카메라 프레임 변환 (T_base_camera)
  • 캘리브레이션 정밀도가 곧 용접 정밀도를 결정. 논문에서 0.2mm 수준 달성 보고

ROS2 기반 도구:

캘리브레이션 팁:

  • 최소 15~17개 이상의 다양한 포즈에서 데이터 수집
  • 회전축 간 각도를 크게, 이동 거리를 작게
  • 카메라와 캘리브레이션 타겟 거리를 가깝게 유지

로봇팔 제어 & 모션 플래닝

  • MoveIt2 - ROS2 표준 모션 플래닝 프레임워크. 126+ 로봇 지원
  • MoveIt Servo - 실시간 조그(jog) 제어. Seam tracking 중 실시간 경로 보정에 활용
  • 로봇 선택 예시: Universal Robot (UR5e/UR10e), AUBO, xArm, FANUC 등
  • xArm ROS2 - xArm + RealSense D435i 통합 예제 (Hand-Eye 캘리브레이션 포함)

실시간 Seam Tracking

용접 중 아크 열, 변형, 스패터 등으로 이음 위치가 변할 수 있어 실시간 보정이 필요:

  • Laser Vision Sensor (LVS) - 용접 토치 앞에 레이저 라인 센서 장착, 실시간 프로파일 획득
  • Siamese Network 기반 seam tracking - 프레임 간 이음 추적
  • Adaptive ROI - 이전 프레임 결과 기반 다음 프레임 검색 영역 조정
  • LVS_ST_CALIB - 오픈소스 Laser Vision Sensor 시공간 캘리브레이션

Phase 9: 용접 품질 검사 (Post-Weld Inspection)

용접 후 점군/이미지로 품질을 자동 검사하는 단계.

결함 유형

  • 언더컷 (Undercut)
  • 오버랩 (Overlap)
  • 기공 (Porosity)
  • 크랙 (Crack)
  • 비드 불균일

검사 방법

  • 3D 점군 비교 - 용접 전/후 점군 정합(Registration) → 차이점 = 비드 형상 분석
  • DGCNN - Dynamic Graph CNN으로 3D 점군 표면 결함 검출
  • 2D 비전 - 용접 비드 이미지에서 UNet, YOLO 기반 결함 검출
  • 3DWS - 3D convolution 기반 intelligent welding system (RANSAC 대비 23% 검출율 향상)
  • YOLO 모델 사용.
  • mmdetection/mmsegmentation

See also

Favorite site