Project ABC

의료 현장의 정보 약자와 동행하는 Medi-Buddy

🏥 복잡한 병원을 우리집처럼

• 미로 같이 복잡한 병원에서 길을 잃어버린 적이 있으신가요?
• 길을 묻기 미안했다면 Medi-Buddy가 안내해드릴게요

💊 어려운 의료 용어를 눈높이에 맞게

• 설명은 들어도 모르겠고 글씨는 왜 이렇게 작은지, 답답한 일이 많아요
• Medi-Buddy는 쉬운 해석과 함께 음성 설명을 제공합니다

🫂 말하기 힘든 정서 지원까지

• 몸도 아픈데 마음도 아프면 더 힘들어요
• 따뜻한 마음을 배운 Medi-Buddy가 당신 옆에 있을게요

STACK

---

Minimum Viable Product

자율 주행

• SLAM을 기반으로 한 공간 매핑 자동화
• 경로 알고리즘 NAV2 구현
• 객체인식을 통한 장애물 탐지와 회피 후 경로 복귀
• 사용자 음성 기반 임시 경로 적용

AI 활용 서비스

• 음성을 통한 자연어 기반 VUI 구현
• OCR로 수집한 약제 정보를 이해하기 쉬운 말로 해석
• 파인튜닝 및 프롬프트 엔지니어링으로 최적화한 LLM 모델로 정서 상담 구현 및 환자별 상담 데이터베이스 구축

High Level Design

graph TD
    A[Start] --> B[Scan Examination Chart]

    B --> C[Generate Initial Route]

    C --> D[Navigate Initial Route]

    D --> E[Continuous Voice Recognition]

    E --> F{User Speech Detected?}
    F -- No --> E
    F -- Yes --> G[Intent Classification]

    G --> H{Intent Type}
    H -- Route Change --> I[Temporary Route Change]

    I --> J[Navigate Temporary Route]

    J --> K[Return to Original Route]

    K --> D

    H -- OCR Request --> L[Camera Capture & OCR Module]
    H -- Chatbot Query --> M[Chatbot Processing Module]

    L --> E
    M --> E

Loading

---

How to Set

Clone code

git clone https://github.com/Che-Serene/Medi-Buddy

Prerequite

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Steps to build

cd ~/xxxx
source .venv/bin/activate

make
make install

Steps to run

cd ~/xxxx
source .venv/bin/activate
export OPENAI_API_KEY="sk-YOUR_OPENAI_API_KEY"

cd /path/to/repo/xxx/
python demo.py -i xxx -m yyy -d zzz

Output

Appendix

Members

Name	Role
채서린	PM/SW, 만나서 반가웠고 싸우지 말자
박현욱	HW, 프로젝트 끝날 때까지 출국금지
염한결	HW, 500% 이해할 때까지 금연?금?주????
정지아	SW, 잡도리 퀸, 인공지능과 팀원들을 잡도리함
천현진	HW/TeamLeader, 하드웨어 팀을 총괄하고 이세돌로 망치로 치면 끝남
황혜윤	SW/TeamLeader, 소프트웨어 팀을 총괄하고 망하면 하드웨어 뚝배기