Seamless Automation of Garment Manufacturing Enabled by Integrated Vision and Robotic Manipulation

Abstract

스마트 제조 환경은 제조 효율을 높이고 유연한 생산을 가능하게 하며 위험한 환경에서 로봇이 작업자를 대신할 수 있도록 하여 안전성을 높인다. 노동 집약적인 의류 제조 산업도 마찬가지로 자동화된 로봇 시스템에 대한 수요가 높다. 그러나 대상을 인식하는 기술, 원단을 다루는 기능, 사람과 안전하게 상호작용하면서 동시에 원단을 다루는 조작기 등의 부족으로 인해 의류 제조 자동화가 지연되고 있다. 이러한 장애물은 머신 비전을 통한 지능화, 다양한 속성의 직물을 다루는 정교한 그리퍼, 사람의 접촉을 감지하고 본질적인 소프트함으로 충돌로부터 안전한 재질로 제작된 조작기를 통해 극복할 수 있다. 본 논문에서는 의류 생산을 자동화하고 유연한 원단 취급을 지원하기 위한 세 가지 로봇 조작 기술을 제안한다. 첫째, 머신 비전을 통해 사람의 개입 없이 기존 재봉 장비를 자율적으로 구동할 수 있는 자동 재봉 시스템을 제안한다. 둘째, 원단을 섬세하게 다룰 수 있는 소프트 로봇 그리퍼를 제안한다. 셋째, 인간과 안전하게 상호작용할 수 있도록 고유수용감각을 가진 모듈화된 소프트 로봇 팔을 제안한다. 첫번째로, 머신비전과 재봉기기가 결합된 맞춤형 자동화 생산 시스템을 제안한다. 카메라는 옷을 구성하는 패턴이라고 하는 재봉선을 포함하는 디자인된 원단을 촬영한다. 학습된 딥러닝 모델을 통해 이미지에서 재봉선이 포함된 관심 영역(ROI)을 분할하고, 제안한 이미지 처리 알고리즘을 통해 재봉선을 검출한다. 이를 통해 노출 시간과 원단의 색상, 노이즈와 이물질에 관계없이 재봉선 검출이 가능하다. 재봉선을 기반으로 2차 재봉을 위한 경로를 생성하고, 이 경로를 맞춤 제작된 재봉기기에 자동으로 전송하여 2차 재봉을 수행한다. 둘째, 비정형이고 유연성이 높은 원단을 조작하기 위한 소프트 그리퍼를 제안한다. 제안한 소프트 그리퍼는 작은 폼팩터로 구조적 변형을 통해 원단을 집는다. 그리퍼는 직조 간격이 넓어, 공기 투과성이 높은 원단을 집으며, 빳빳하지 않은 코팅된 원단을 집는다. 그리퍼 팁에 내장된 전극으로 정전 용량을 측정하여 집은 원단의 개수를 추정하며, 이를 통해 그리핑 과정을 모니터링하여 작업 수행의 정확도를 높인다. 구조적 변형 기반의 그리핑 방식과, 진공 흡착에 의한 원단을 집는 방식을 하나의 구조에서 구현한 발전된 소프트 그리퍼를 제안한다. 또한 그리퍼에 다기능 컴플라이언트 구조를 추가하여 원단 표면에 적응형으로 밀착하고 그리퍼 끝에 가해지는 과도한 하중을 분산한다. 컴플라이언트 구조에 연결된 공기압 센서가 접촉을 감지하며, 누르는 힘을 제어하여 그리핑 과정을 자동화한다. 전극을 통한 정전용량 측정 방식 외에 카메라와 딥러닝 모델을 통하여 집은 개수를 추정하는 방식을 제안한다. 이는 원단에 대한 사전 정보를 필요로 하지 않아 쉽게 사용이 가능하며, 원단을 집는 프로세스의 신뢰도를 높이고 모니터링을 가능하게 하여 스마트 제조환경 구축에 도움이 된다. 또한 제안한 그리퍼는 공기 투과도를 자동으로 판단하여 원단을 집는 모드를 선택하며, 공기투과도에 상관 없이 원단 스택에서 한 장의 시트를 분리한다. 마지막으로 사람과 안전하게 상호작용할 수 있는 소프트 모듈화된 로봇 팔을 제안한다. 로봇 팔을 구성하는 액추에이터는 공압 벨로우이며, 내부에 오가노젤 채널이 있는 복잡한 구조이지만 3D 프린팅으로 쉽게 제작한다. 오가노젤을 벨로우에 내장해 사람과의 접촉을 독립적으로 인식한다. 로봇 팔을 구성하는 매니퓰레이터 모듈은 공압 벨로우즈, 센싱 솔루션, 제어 시스템으로 구성된다. 매니퓰레이터 모듈은 수축, 팽창 및 전방향 굽힘이 가능하여 이에 대응하는 전방향 소프트 스트링 센서를 제안한다. 매니퓰레이터 모듈은 제안한 소프트 스트링 센서, IMU, 비전을 통해 주변 환경을 인식하고 스트링 센서와 비전 측정 결과를 융합해 제어하거나, 스트링 센서만을 이용하여 폐색 환경 (Occlusion environment)에서 제어된다. 매니퓰레이터 모듈을 여러 개 연결한 소프트 로봇 팔에는 강체 기반의 일반 그리퍼나 원단을 다루는 제안된 소프트 그리퍼가 탑재되어 인간 활동을 보조하거나 원단의 로봇 기반 조작이 가능하다.

Smart manufacturing environments make manufacturing more efficient, enable flexible production, and increase safety by allowing robots to replace human operators in hazardous environments. The labor-intensive garment manufacturing industries are in high demand of robotic systems. However, automation of garment manufacturing has been delayed by the lack of technologies for reliable recognition of target objects, handling capabilities of delicate fabrics, and methods of dexterous manipulation that can safely interact with humans while handling the target fabric. These obstacles can be overcome with machine intelligence combined with computer vision, dexterous grippers that handle highly deformable objects, and manipulators that are safe to and interactive with human operators. This thesis proposes three robotic manipulation techniques to automate garment production and support handling of deformable fabrics. First, an automated sewing system enabled by computer vision is proposed for autonomous operation without human intervention. Second, a soft robotic gripper is proposed to enable the delicate handling of fabrics. Third, a soft modularized robotic arm with proprioception is proposed to interact safely with humans. First, a custom-built automated production system is proposed by integrating computer vision with a commercial sewing machine. The camera for the computer vision system captures the target fabrics, called assembled patterns that consist of clothes and a seam line. The region of interest (ROI) including the seam line in the image is segmented by a trained deep learning model, and the seam line is determined by the proposed image processing algorithms. Determining the seam line is possible regardless of the exposure time and the color of the patterns, and it is also insensitive to noise and irregularities. The sewing path is generated based on the seam line, and the generated path is transmitted to the custom-built sewing machine and perform sewing task autonomously. Second, a soft gripper for manipulating deformable and highly flexible fabrics is proposed. The proposed gripper with a small form factor is able to pick up a single sheet of fabric by pinching enabled by the structural deformation of the gripper. The gripper is able to pick up not only meshed fabrics with high air permeability but also coated ones that are not air permeable. By measuring the capacitance between the two fingers while holding fabrics with the electrodes attached to the fingers, the number of held by the gripper sheets can be estimated, which helps enhancing the reliability of the gripping process. Based on this gripper, a more advanced soft gripper with an added function of vacuum suction to the function of structural pinching realized in a single gripper structure is proposed. In addition, a multi-functional compliant structure is added to the gripper to easily conform to the stack of the target fabric by distributing the excessive load on the fingertip. An air pressure sensor, connected to the compliant structure, detects the contact, and controls the pressing force for automating the fabric handling process. The number of fabric sheets held by the gripper can be estimated by a deep learning model using computer vision. This requires neither prior knowledge on the fabric nor measurements. The proposed gripper is also able to detect the air permeability of the fabric, to select a proper actuation mode, and separate a single sheet from the stack. Lastly, a soft modularized robotic arm is proposed for functional interaction with humans. The proposed robotic arm is composed of three pneumatic bellow actuators that have a complex structure with embedded channels, easily fabricated with 3D printing. By filling the channel with organogel, a human touch can be independently recognized. A manipulator module, which is part of the robotic arm, is composed of pneumatic bellows, sensing solutions, and a control system. Since a manipulator module can contract, expand, and bend in different directions, omnidirectional soft string sensors are developed correspondingly. The manipulator module is controlled by soft string sensors, an inertial measurement unit, and a red-green-blue (RGB) camera. The manipulator module can recognize its surroundings and be controlled by sensor fusion of the string sensors and the computer vision, or it can be solely controlled in occlusion environments by string sensors. The soft robotic arm, made of multiple modules connected in series, can be integrated either with a conventional robotic gripper or the proposed soft gripper for assisting the human or for handling the fabric.