Mask-RCNN, Elasticsearch 의약품 식별 검색 반응형 웹 사이트

# 척척 약사 프로젝트 (https://github.com/sichan0107/mask-rcnn-pills-identifier-web)

1. 개발 배경 

 의약품 검색 서비스를 제공하는 식약처, 약학정보원 등의 사이트는 이용하는것에  어려운 점이 있어 QR코드, 지문 인식   만큼 손 쉬운 서비스를 만들고자 했습니다. 기존의 서비스는 모양, 색상, 각인문자, 약품명 등으로 검색을 할 수 있는데   사용해본 결과 색상이 애매한 경우와 각인 문자가 특별한 마크 형식인 경우가 적지 않아 서비스 이용이 어려웠습니다.  

2. 서비스 기능 

 - 사진 촬영을 통한 식별 검색 (63 classes)

 - 기존의 서비스인 텍스트 입력 검색 (22,000개의 알약 정보)

 - 글이 잘 보이지 않는 사용자를 위한 음성 지원 (Google Cloud Platform TextToSpeach API)

3. 이미지 검색 정확도 : 95% 이상

4. 학습 환경 

  Google Colab GPU 

  (공식 문서에는 12시간 허용이지만, 실제 사용 경험상 10~11시간 정도... 가중치를 많이 날려서 일정 Epoch 후 백업)

5. 이미지 검색 서비스 구조도

           

6. 텍스트 검색 서비스 구조도

          

 7. Elasticsearch edge ngram

        

8. 훈련 데이터

          

9. Skill Set

        

10. 영상 검색 사진

11. 텍스트 검색 사진

12. 약품 검색 결과 확인