('19년 연구과제) 서울기술연구원 지능형 데이터 분석환경 구축방안 연구
김준철, 김태현, 이지애, 권민지 2021.05.27 629
서울기술연구원 지능형 데이터 분석환경 구축방안 연구
연구책임:
김준철 수석연구원
연구진:
김태현 선임연구위원
이지애 전임연구원
권민지 전임연구원
연구내용(요약):
오픈소스 기반 최신기술을 활용한 지속·확장 가능한 인공지능 및 빅데이터 분석환경을 고려한 서울기술연구원 맞춤형 연구지원 플랫폼 구축방안
[연구원 현황조사 분석을 통한 쟁점 파악 및 데이터 체계적 관리 필요성]
연구원 현황분석은 업무분석, 과제별 특성, 활용기술분석, 과제별 특성별 이슈사항을 파악하고 정보화 지원 측면은 통합, 공동연구 플랫폼 관점에서 인프라 및 환경조성에 대한 고려사항을 분석하였다. 과제별 프로젝트 생성 및 자원 배정 부재, 자원관리 부재로 효율성 저하로 인한 중복 자원, 공통화 부재 등 예산 중복 및 비용 낭비, 단독 및 협업 과제 등 과제 유형 공문 등을 통해 수신된 정보를 직접 입력하여 업무의 불편과 데이터 입력에 대한 휴먼오류 및 중복작업 발생, 과제관리 체계와 분석자원 개별적 운영, 연구과제 생애주기(life-cycle) 측면에서 유사, 공통 자원에 대한 통합이 없이 개별운영으로 관리항목이 증가하고 시스템 인프라 및 인적 자원 낭비 등이 도출되었다.
서울의 도시문제 해결을 위한 서울기술연구원의 How⋅What? 역할과 비전을 고려, 4차 산업혁명 시대 인공지능 및 빅데이터 기술을 활용하여 데이터 분석기반 혁신 프로세스 조성을 위한 맞춤형 연구지원 플랫폼 구축에 대한 요구사항이 지배적이다, 특히, 최신기술을 활용한 지능형 분석환경의 필요성이 파악되었으며, 연구원 현황조사⋅분석 결과 정형·비정형의 다양한 데이터를 수집·처리·분석·관리하기 위한 데이터 체계와 메타데이터의 관리방안 역시 데이터의 체계적 관리를 위한 서울기술연구원의 필수사항으로 도출되었다.
[국내외 빅데이터 플랫폼 사례분석을 통한 시사점]
수많은 빅데이터 플랫폼과 기술이 상존하고 있으나, 통합, 연계, 공동 활용이란 플랫폼 목적 특성에 맞는 기술과 인프라 적용 기술, 시스템 및 인프라 환경 구성, 도시 및 실생활 과제, 문제 해결을 위한 과제 중심, 협업 기반 빅데이터 분석의 정책 활용, 빅데이터 연구 분석과 조직, 서비스 목적에 맞는 환경 구성, 데이터 통합 및 관리 방안 수립 및 데이터 자체의 관리, 운영적 요건(보안, 개인정보보호 등)이 공통분모로 도출되었다. 특히, 최신기술을 활용한 머신러닝 등 인공지능 기반의 (빅)데이터 분석을 위한 분석환경 구축 도입이 중요한 시사점으로 파악되었다.
이러한 빅데이터 플랫폼은 경제·정책·사회 문화 등 국가별, 도시별 지정학적 특징에 따라 매우 다양하게 활용되고 있으며, 플랫폼을 통해 도시 집중화로 인한 도시현안을 해결하여 시민들의 삶의 질을 높이고 도시의 지속가능성을 확보하는데 초점을 가지고 있다. 따라서, 도시 문제해결 중심의 데이터수집 및 지속적인 활용 체계 마련이 매우 중요한 시발점이 될 것이며, 스마트시티의 트랜드이기도 한 “협업”이란 아젠다처럼 단일 지식이 아닌 다양한 협력, 공공 연구가 가능한 플랫폼의 중요성이 더욱 대두되었다. 해외사례 분석에서, 공공기관별로 생성되는 상이한 형태의 데이터를 수집하고 통일된 형태의 데이터로 처리하는 절차를 수행하고 있으며, 해당 절차의 효율을 높이기 위해 자동화 시스템의 필요성이 중요함을 시사하고 있다.
[오픈소스 소프트웨어를 활용한 최신 인공지능 기술 적용]
현황분석을 통한 분석결과를 종합하여 연구원 과제 특성과 향후 지속가능한 지능형 데이터 분석환경을 고려한 플랫폼 설계를 도출하였다. 연구원 사용자 특성을 고려한 전문 분석도구 및 분석환경, 연구 분야 특성을 고려한 전문성 및 기술 선도를 고려한 최신기술 활용, 협업 및 공유를 위한 수집-인수-연계 등의 유형별 기술을 고려한 연구과제, 연구업무를 고려한 과제와 분석 과제 연계가 가능한 구조 등의 분석결과를 도출하였다.
주요 글로벌 기술방향인 오픈소스 소프트웨어를 활용하여 Python 또는 R과 같은 언어를 이용한 인메모리 기반 분석, 실시간 데이터 처리·분석, 예측 및 고급통계분석, 인터랙티브 시각화 적용 추세를 고려하여, 최신 인공지능 기술활용이 가능한 오픈소스와의 연계성을 반영하여 목표시스템을 구성하였다. 목표시스템 설계안의 검증을 위한 지능형 데이터분석 환경의 시범구축과 검증절차를 통해 서울기술연구원 연구환경에 최적화된 맞춤형 아키텍처 구성으로 프라이빗 클라우드 기반의 IaaS(Infrastructure as a Service), CaaS(Container as a Service), PaaS(Platform as a Service)가 도출되었다.
[다양한 연구에 활용되어 지속적인 연구성과 창출 기대]
본 연구를 통해 도출된 서울기술연구원 지능형 데이터 분석환경은 연구데이터의 수집부터 관리 그리고, 산출된 연구의 결과물까지 지속적인 수정 및 갱신을 통해 실무에 신속히 적용할 수 있는 확장형 오픈소스 기반 플랫폼으로, 정형 및 비정형 데이터/메타데이터 관리방안 및 지능형 데이터 분석이 가능하도록 설계되었다. 따라서, 공통적으로 사용되는 데이터의 체계적 관리를 통해, 다양한 연구에 활용되어 지속적인 연구성과 창출 기대된다.