Signapse ¶

Gebarentaal naar Tekst

Een innovatief project voor de vertaling van gebarentaal naar tekst en spraak met behulp van smart glasses technologie.

https://github.com/user-attachments/assets/7532cefe-bf65-432a-b65d-5af1405edaf9

Inhoudsopgave¶

Inhoudsopgave
Projectoverzicht
Functies
Technologieën
Frontend (Client)
Backend (Server)
AI \& Machine Learning
DevOps \& Deployment
AI Pipeline
Installatie
Vereisten
Snelle Start
Gebruik
Team
Academische Context
Leeruitkomsten

Projectoverzicht¶

Het Signapse project is een ambitieus initiatief ontwikkeld door studenten van VIVES Bachelor ICT voor het vak Project Experience. Ons doel is het creëren van een toegankelijkheidsoplossing die de communicatiekloof tussen dove/slechthorende personen en horende personen overbrugt.

Het systeem gebruikt geavanceerde computer vision en machine learning technieken om gebarentaal in real-time te herkennen en om te zetten naar tekst en spraak, geïntegreerd in een smart glasses applicatie.

Functies¶

Real-time Gebarenherkenning: Herkent individuele letters en woorden in ASL (American Sign Language) en VGT (Vlaams Gebarentaal)
Smart Glasses Integratie: Ontworpen voor gebruik met smart glasses apparaten
Multi-Model AI Pipeline: Combineert verschillende deep learning modellen voor optimale nauwkeurigheid
Mobiele App: React Native applicatie voor iOS en Android
REST API Backend: FastAPI-gebaseerde server voor AI-verwerking
Modulaire Architectuur: Gescheiden componenten voor eenvoudige uitbreiding en onderhoud

Technologieën¶

Frontend (Client)¶

React Native met Expo
TypeScript voor typeveiligheid
NativeWind (Tailwind CSS voor React Native)
MediaPipe voor computer vision taken
Expo Camera voor camera toegang

Backend (Server)¶

Python 3.12+
FastAPI voor REST API
PyTorch voor machine learning modellen
MediaPipe voor landmark extractie

AI & Machine Learning¶

PyTorch modellen voor alfabet- en woordherkenning
LSTM netwerken voor sequentiële woordanalyse
MediaPipe Hands & Pose voor keypoint extractie
Custom smart_gestures package (beschikbaar op PyPI)

DevOps & Deployment¶

Docker containers
Kubernetes (K3s) voor productie deployment
GitHub Actions voor CI/CD
VS Code Dev Containers voor consistente development omgeving

AI Pipeline¶

Capture: Camera frames van smart glasses
Feature Extraction: MediaPipe extraheert hand- en pose-landmarks
Prediction: AI modellen voorspellen letters/woorden
Output: Tekst en spraak output naar gebruiker

Voor gedetailleerde architectuurdocumentatie, zie Architectuur.

Installatie¶

Voor gedetailleerde installatie-instructies, zie Getting Started.

Vereisten¶

Docker Desktop
VS Code met Dev Containers extensie
Git

Snelle Start¶

git clone https://github.com/vives-project-xp/Signapse.git
cd Signapse
code SmartGlasses.code-workspace
# VS Code zal automatisch de dev container openen

Gebruik¶

Start de Services: Gebruik Docker Compose om alle componenten te starten
Open de App: Start de Expo app op je apparaat
Geef Toestemming: Sta camera toegang toe
Begin met Gebaren: Maak gebaren voor de camera
Bekijk Resultaten: Zie de vertaalde tekst in real-time

Voor API documentatie, bezoek api.signapse.devbitapp.be/docs.

Team¶

	Member	Taak
	Simon Stijnen	Full Stack & DevOps Engineer
	Kyell De Windt	Full Stack Developer
	Lynn Delaere	Machine Learning Engineer
	Olivier Westerman	Machine Learning Engineer
	Timo Plets	Full Stack Developer

Academische Context¶


Universiteit	VIVES Hogeschool
Opleiding	Bachelor ICT
Vak	Project Experience
Academiejaar	2025-2026
Semester	1ste semester

Leeruitkomsten¶

Dit project draagt bij aan verschillende leeruitkomsten:

Innovatie: Toepassing van emerging technologies (AI, computer vision, edge computing)
Teamwerk: Agile projectmanagement en cross-functionele samenwerking
Onderzoek: Technisch onderzoek en documentatie van AI-modellen
Ontwikkeling: Full-stack development en hardware integratie
Probleemoplossing: Aanpakken van toegankelijkheidsuitdagingen

Vergeet niet om dit project een ster te geven als je het interessant vindt!

Gemaakt met ❤️ door VIVES Bachelor Electronica-ICT studenten