창업 동아리 2주차 모임 - Flow Chart

-- 기존 제품 분석 -->  논문 읽기 --> flow chart --

 

#1 Boldu_AiSee_IMWUT2020

 소프트웨어 시스템은 배터리 수명과 배포 유연성을 극대화하기 위해 하이브리드 접근 방식을 채택합니다. 임베디드 시스템은 안드로이드(롤리팝 5.1.1)를 OS로 실행한다. 

시스템은 세 개의 다른 스위치를 통합하여 인식 이벤트를 트리거하는 주변 보드에 연결합니다(그림3 참조). 인식 이벤트가 트리거되면, 이미지가 캡처되어 클라우드로 푸시됩니다. 

 

클라우드에서 자바 기반 서버는 두 개의 알고리즘을 직렬로 사용하여 이미지를 분석합니다. 첫째, 물체의 관심 영역을 추출하고(섹션 5.2 참조), 둘째, 이것의 특징을 추출합니다.

 

 둘째, Google Cloud Vision API [6, 54]를 사용하여 추가 기능을 추출합니다(섹션 5.2 참조). 출력으로, 시스템은 세 가지 주요 범주 로고, 텍스트 및 일반 객체 특성(예: 책, 전자 등)에서 장면에 대한 텍스트 설명을 이끌어내고 일반 텍스트로 정보를 시스템에 반환합니다.

 마지막으로, 생성된 답변은 Google 텍스트 음성 변환 엔진으로 오디오로 변환하기 전에 정보를 구성하고 필터링하는 임베디드 장치로 다시 전송됩니다(섹션 5.2 참조).

 

1. 물체의 관심 영역 추출

2. 특징 추출 --> Google Cloud Vision API ( 텍스트 및 일반 객체 특성)

3. 장면에 대한 텍스트 설명을 이끌어내고, 일반 텍스트로 정보를 시스템에 반환

4. 생성된 답변은 Google 텍스트 음성 변환 엔진으로 오디오로 변환하기 전에 정보를 구성하고 필터링 하는 임베디드 장치로 다시 전송됨

 

Google cloud vision API ? : Vision AI 로 이름 바뀜

 

일단 Google Cloud Vision 서비스에 대해 설명하겠다. 이미지 인식, 객체 검출 등에서 매우 효과적으로 사용할 수 있는 API를 제공한다. 예를 들어 한 장의 이미지를 입력으로 넣었을 때, 그 이미지가 무엇인지 알려주는 기능(API)이 필요할 때 Google Cloud Vision 서비스를 사용할 수 있다. 더불어 자기가 가지고 있는 커스텀 데이터를 활용하여 이미지 분류 모델을 학습시킬 수도 있다.

출처: https://ndb796.tistory.com/595 [안경잡이개발자]

Google Cloud Vision API 사용 방법 (Python 코드 포함)

 

google api 사용법은 ?

 

Prototype Development

[Features]

-- Bone-conduction speaker : 음성을 들려줌 

-- HD Camera : 사물 인식 할 때 필요함

-- Stand-alone Device [Android OS] :  

-- Hybrid Deep Learning [cloud & onboard] : Google cloud API 

-- BTLE Finger Ring : 어디에 쓰는 거지?

 

 

1. PVI 물체 식별에 대한 어려움이 있다. (EX 식료품 구별, 모르는 장소 탐색)

2. 웨어러블 시스템은 실험실 환경 밖에서 사용 되지 못하며, 하루종일 착용한다. 보통 외부 계산 장치에 묶여 있어서 자유롭지 않다.
3. 물체식별 특히 식료품과 관련하여 연구
4. 일상적인 웨어러블 보조 장치를 목표로 개발 --> 프로토타입(사용자 시야를 보는 카메라, 캡처된 이미지에서 사용자가 가리키는 것을 이해 하는 클라우드 인공지능 알고리즘, 귀를 막지 않고 소리가 들리는 Bone-Conduciton Speaker)

프로토타입 성능, 유용성에 대한 검증, 견고성 테스트