5. Image-based Virtual Try-On System: Full Automatic System Design and its Performance

Title(KR)

• 완전 자동 이미지기반 가상의상 착용 기술

Title(ENG)

• Image-based Virtual Try-On System: Full Automatic System Design and its Performance

Keywords(KR)

• VTON(virtual try-on), Fashion image, Semantic Segmentation, Image Deformation, Deep Neural Network, Online Shopping

Keywords(ENG)

• VTON(virtual try-on), Fashion image, Semantic Segmentation, Image Deformation, Deep Neural Network, Online Shopping

Author

• Heejune Ahn

Abstract(KR)

본 논문에서 온라인 쇼핑몰에 적용을 목적으로 2차원 이미지에 기반한 가상 의상 착용 알고리즘 을 설계하고 개발하였다. 기존의 가상착용 시스템은 3차원 의상 및 사용자 정보에 기반하여 비용 과 시간이 많이 들어가는 문제를 가지고 있다. 본 시스템은 최근 급격히 발전된 딥러닝기술과 컴 퓨터 그래픽스 기술을 활용한다. 우선, 패션영상을 시멘틱 분할 네트워크를 사용하여 옷과 신체 를 영상분할하고, 자세 네트워크를 사용하여 의상과 사용자의 골격정보를 확보 한다. 이 두 가지 정보를 바탕으로 의상의 골격위치와 사용자의 골격위치를 일치시킴으로서 변형에 필요한 변수를 확보하고 이를 바탕으로 영상 변형을 하여 가상착용을 수행한다. 실험결과 단순한 기하형태의 옷 과 선 자세를 유지하는 패션사진과 사용자사진의 경우 만족스러운 변형 결과를 얻을 수 있었으 나 다양한 의상의 형태나 자세를 갖는 경우 원만한 착용결과를 얻을 수 없었다. 완벽한 시스템은 존재할 수 없으므로 현재 기술로 적용 가능한 의상의 범위와 문제 상황을 자세히 분석하여. 이를 바탕으로 추후 연구를 방향을 설정할 수 있도록 하였다.

Abstract(ENG)

We present an 2D image-based Virtual Try-On (VTON) system applicable to online shopping. The proposed method and system eliminate the need for the 3-D information requirement of clothes and humans, leveraging the recent advance in DNN-based image processing and computer graphics technology. In the first step, the cloth images are parsed into clothes and parts of a human body with a semantic segmentation network. And the posejoint information of the cloth and human images are extracted using a pose estimation network. In the second step, the segmented cloth and joint information are jointly used for matching and deforming the cloth images onto a target human image.our full implementation and preliminary trial, many successful result withsimple shaped and posed cloths and pose images demonstrates the feasibility of VTON system. However, we also observed many failed cases due to the diverse cloth and poses. We discuss the causes of failures to identify the applicable area of the current state-of-the art technology for commercial level VTON, and long term key problems for a future VTON system.

Page