국립 부경대학교

△ 김채규 연구교수. ⓒ사진 이성재(홍보팀)

부경대학교 인공지능연구소 김채규 연구교수(68세‧kyu0707@pknu.ac.kr)의 활약상이 눈길을 끈다.

40~50대에 국내 최고 정보통신기술(ICT) 연구기관인 한국전자통신연구원에서 ICT분야를 진두지휘했던 그가 이제 부경 청춘들에게 자신의 노하우를 전하며 노익장을 과시하고 있는 것.

○ 평생 쌓은 ‘ICT 노하우’, 부경 청춘들에게 전수한다

우리나라 정보통신기술(ICT)의 길을 연 프런티어로 꼽히는 그는 어떤 길을 걸어왔고 지금은 어떤 연구를 하고 있을까?

김 교수는 고려대(수학과) 출신이다. 호주 University of Technology Sydney에서 전산학 석사, Woolongong University에서 컴퓨터과학 박사학위를 받았다.

1977년 한국과학기술연구원(KIST) 연구원으로 출발한 그는 1998년 ETRI로 자리를 옮겨 2014년까지 16년간 ETRI 컴퓨터소프트웨어연구소 소장, 디지털 홈연구단 단장, 연구전략 부분 부문장, 융합기술연구부문 소장 등을 맡아 ICT 연구개발을 이끌었다.

○ 2014년부터 부경대와 인연 …  IT융합응용공학과 초빙교수로 활약

그런 그가 부경대와 인연을 맺은 것은 2014년이다. 부경대 산학협력단 연구교수가 된 것. 2017년부터 3년 동안은 한국연구재단의 ‘전문경력인사 초빙활용지원사업’으로 부경대 IT융합응용공학과 초빙교수로 활약했다.

초빙교수 때 그는 한국연구재단 사업비(1억8백만 원)로 ▷학부과정에 IT융합응용개론, 소프트웨어 시스템 안전성공학, 소프트웨어공학 등 3과목을, ▷대학원과정에 첨단IT융합개론, U-city공학 특론, 멀티미디어 소프트웨어공학 등 3과목을 개설해 강의했다.
 
그 과정에서 그는 학생(학부 30명, 대학원 3명)들과 ▷인터랙티브 미디어 창작서비스 플랫폼 연동 얼굴 모델링 및 변형기술개발, ▷감각대체 연구동향조사 및 발전방향 연구 등 연구사업(4억3천만원)을 ETRI에서 수주하여 수행했다.

이 때 학생들은 활발하게 학술지에 논문(5편)을 게재했고 정보처리학회와 멀티미디어학회에서 우수논문상을, 교내 캡스톤 디자인대회에서 총장상을 받기도 하였다. 또한 ETRI에서 운영하는 여름방학, 겨울방학 인턴십에 참여하여 ETRI 박사 연구원들과 교류했다. 울산과학기술대학교(UNIST) 및 과학기술연합대학원대학교(UST) 석사과정에 3명, 부경대 박사과정에 1명이 입학하기도 했다.

지난 3월부터 그는 부경대 인공지능연구소 연구교수로 재직하고 있다.

그는 이곳에서 어떤 연구를 하고 있을까?

○ 앞을 볼 수 없는 시각장애인이 소리를 통해 사물을 볼 수 있다면?

김 교수가 인공지능연구소에서 ETRI와 공동으로 진행하고 있는 ‘인간의 감각지각 능력을 증강하는 다중 감각 대체 및 융합기술 개발사업’이 주목받고 있다.

인공지능을 이용한 디지털 미래 기술을 개발하기 위한 연구다. 인간이 직면한 한계(시간‧공간‧지능‧언어‧신체)를 극복하기 위한 인공지능 감각 대체 기술을 개발하는 것.

김 교수는 “감각 대체란 원시 자극을 변환하여 본래의 감각기관이 아닌 다른 감각기관을 통하여 전달하는 기술인데, 최종 목표는 장치를 통하여 변환된 자극이 마치 외부로부터 온 원시자극처럼 느껴지는 외현화 상태에 도달하는 것.”이라고 소개했다. 예를 들어, 소리를 시각화하는 장치를 통해 시각장애인도 사물을 식별하게 하는 것.
 
그는 “이 연구는 감각이 손상된 사람들에게 잃어버린 감각을 경험하게 할 뿐만 아니라 인간이 기존에 수용하지 못했던 정보까지 감각할 수 있게 한다.”면서, “이러한 새로운 감각을 감지할 수 있는 감각 증강 및 대체 장치를 개발하면 일상적이지 않은 경로를 통하여 뇌에게 더 많은 정보를 공급하게 되어 뇌로 하여금 세상의 더 많은 부분을 인식하게 한다면 우리는 또 다른 초능력의 세계를 경험하게 될 것.”이라고 소개했다.

○ 송혜교나 송중기 대신 내가 출연하는 ‘태양의 후예’라면?

‘인터랙티브 미디어 창작 서비스 플랫폼 연동 얼굴 모델링 및 변형기술 개발’도 그의 주요 연구과제다.

이 연구는 얼굴 변형기술을 통해 본인의 얼굴을 특정 미디어 속의 얼굴과 교체하여 적용시키는 기술. 딥 러닝 기반의 얼굴 변형 모델과 3D Mask를 생성하여 얼굴을 변형해 실시간으로 작용할 수 있는 모델의 개발 및 테스트를 목표로 한다.
 
김 교수는 ETRI 에 재직할 때 세계 최초로 “사용자와 미디어 사이의 상호 작용 기능을 제공하는 인터랙티브 영상 창작 플랫폼 ‘COX’를 개발했다.”고 밝혔다. 영상 속의 배우와 관객 간의 상호작용이 가능하게 하는 인터렉티브 미디어 플랫폼이다.

이 플랫폼에는 ▷줄거리를 선택하는 Branch 기능, ▷영상의 배우 얼굴 교체기능, ▷영상에 메시지를 보내는 Push 기능, ▷영상과 통화하는 Tele 기능, ▷영상 객체와 웹을 연결하는 Connection 기능 등 다양한 인터랙션 편집 기능을 제공하여 인터랙티브 아트 및 영화, 체험형 머신 및 기능성 동작인식 게임 그리고 인터랙티브 광고 제작 등에 활용될 수 있도록 서비스를 제공한다.

김 교수는 “COX는 시청자가 영상을 보고 느끼는 것뿐만 아니라, 영상의 스토리 진행에 참여하고 결과를 만들어 직접 체험하는 느낌을 제공한다.”고 말했다.

그는 “Face Swapping 기술을 COX 플랫폼에 탑재하여 세계 최초의 인터랙티브 미디어 플랫폼을 소셜 네트워크를 통해 상용화해 시장의 Needs가 반영된 서비스를 신속히 제공, 지자체 및 기업과의 협력을 통해 스마트 미디어 서비스 생태계 조성에 기여하고 싶다.”고 밝혔다. <부경투데이>




△ 김채규 연구교수가 ’인터랙티브 미디어 창작 서비스 플랫폼 연동 얼굴 모델링 및 변형기술’을 시연해 보이고 있다.


What if a blind person could see objects by sound?
Research Story of Prof. Kim Chae-gyu of Artificial Intelligence Research Center at PKNU

The performance of research professor Kim Chae-gyu (age 68, kyu0707@pknu.ac.kr) of the Artificial Intelligence Research Center at Pukyong National University attracts public attention.

In his 40s and 50s, he led the ICT field at the National Electronics and Telecommunications Research Institute (ETRI), the best information and communication technology (ICT) research institute in Korea, and is now showing off his own know-how to the Pukyong students.

○ He shares ’ICT know-how’ built up over his lifetime to the youth of the Pukyong.

As one of the frontiers who opened the path of information and communication technology (ICT) in Korea, what path has he followed and what kind of research is he doing now?

Professor Kim is from Korea University (Dept. of Mathematics). He received a master’s degree in computer science from the University of Technology Sydney, Australia and a doctorate in computer science from Woolongong University.

Starting out as a researcher at the Korea Institute of Science and Technology (KIST) in 1977, he moved to ETRI in 1998, and for 16 years until 2014, he served as the head of the ETRI Computer Software Research Center, the head of the Digital Home Research Center, the head of the research strategy division, and the head of the convergence technology research division.

○ The relationship with Pukyong National University began in 2014… Active as a visiting professor in the Department of IT Convergence and Application Engineering

It was in 2014 that he had a relationship with Pukyong National University. He became a research professor at the Pukyong National University Industry-Academic Cooperation Foundation. For three years from 2017, he was active as a visiting professor at the Department of IT Convergence and Applied Engineering at Pukyong National University as the ’Inviting and Utilizing Professional Experienced Personnel Support Project’ of the National Research Foundation (NRF) of Korea.

As a visiting professor, he opened three subjects ▷Introduction to IT Convergence Application, Software System Safety Engineering, and Software Engineering in the undergraduate program, also he opened and lectured three subjects ▷ Introduction to Advanced IT Convergence, Special Topics in U-city Engineering, and Multimedia Software Engineering in Graduate School with the project cost of the National Research Foundation of Korea (180 million won).
 
In the process, he conducted research projects (430 million won) with students (30 undergraduates, 3 graduates) from ETRI, such as ▷development of face modeling and transformation technology that is linked with interactive media creation service platform, ▷sensory replacement research trend survey, and ▷Research projects such as sensory replacement research trend survey and development direction research.

At the time, students actively published papers (5 thesis) in academic journals, received the Best Paper Award from the Korea Information Processing Society (KIPS) and the Korea Multimedia Society (KMMS), and the President’s Award from the Capstone Design Competition on campus. In addition, they participated in summer and winter vacation internships operated by ETRI and exchanged with ETRI doctoral researchers. Three students were enrolled in the master’s course at Ulsan University of Science and Technology (UNIST) and the University of Science and Technology University (UST), and one at the Ph.D. program at Pukyong National University.

Since last March, he has served as a research professor at the Artificial Intelligence Research Center at Pukyong National University.

What kind of research is he doing here?

○ What if a blind person could see things by sound?

The ’Multi-sensory substitution that enhances human sensory perception ability and convergence technology-related development project’, which Professor Kim is collaborating with ETRI at the Artificial Intelligence Research Center, is drawing public attention.

This is a research to develop digital future technology using artificial intelligence. To develop an alternative technology for artificial intelligence sense to overcome the limitations (time, space, intelligence, language, and body) that humans face.

Professor Kim said, "Sensory replacement is a technology that transforms primitive stimuli and transmits them through a sense organ other than the original one. The final goal of this research is to make the stimulus transformed through the device reach an externalized state that feels like a primitive stimulus from the outside." For example, it refers to allowing the visually impaired to identify objects through a device that visualizes sound.
 
"This study not only allows people with impaired senses to experience lost sensations, but also allows them to sense information that humans have not previously accepted," additionally he explained, "Developing sensory augmentation and replacement devices capable of detecting these new sensations will allow us to supply more information to the brain through unusual pathways. If we let our brains recognize more parts of the world, we will experience another world of superpowers."

○ What if I appeared in TV series ’Descendants of the Sun’ instead of Song Hye-kyo or Song Joong-ki?

’Development of face modeling and transformation technology linked to interactive media creation service platform’ is also his main research project.

This research is a technology that replaces one’s face with a face in a specific media through facial transformation technology. It aims to develop and test models that can act in real time by deforming faces by creating deep learning-based facial transformation models and 3D masks.
 
When Prof. Kim was at ETRI, "We developed ’COX’, which is an interactive video creation platform that provides interaction between users and media for the first time in the world," he said. It is an interactive media platform that enables interaction between actors and audiences in video.

This platform provides a variety of interaction editing functions such as ▷a branch function for selecting a storyline, ▷a function for changing the actor’s face in a video, ▷a push function for sending a message to a video, ▷a tele function for making a call with a video, and ▷a connection function for connecting the video object and the web. In addition, it provides services to be used in interactive art and movies, experience-based machines and functional motion recognition games, and interactive advertisement production.

Professor Kim said, "COX not only provides viewers with the feeling of seeing and feeling the video, but also providing the feeling of participating in the story progression of the video and creating the result and experiencing it directly."

He said, "By installing Face Swapping technology on the ‘COX’ platform, I want to commercialize the world’s first interactive media platform through social networks to quickly provide services that reflect the needs of the market, and I want to contribute to the creation of a smart media service ecosystem through cooperation with local governments and companies." <Pukyong Today>