Digital Emergency Medicine Physician
The app revolutionizes the initial treatment of strokes by allowing rescue personnel to communicate directly with an AI that assists with immediate diagnosis and action recommendations.
Time is Brain
“Every minute matters in a stroke emergency—doctors say, ‘Time is brain.’ In most ambulances, there’s no doctor onboard, which can delay care. Rescue teams don’t have an interactive tool to help diagnose strokes, so they often need to call someone for guidance. This can waste crucial time that the patient might not have.”
To address this need, we are developing DIEMP, an application designed to support rescue personnel in accurately diagnosing strokes and providing timely assistance.
Lastenheft abgegeben
Das Lastenheft wurde abgegeben und die Anforderungen wurden festgelegt.
GitHub Repo aufgesetzt
Das GitHub-Repository für **dn_audiotranscriber** wurde erstellt, um die Entwicklung zu strukturieren und die Zusammenarbeit zu ermöglichen. Es dient als zentrale Plattform für das Projekt, um Aufgaben zu verwalten und Code zu teilen.
Ausgangslage, Zielbestimmung und Individuelle Themenstellung definiert
Die Ausgangslage, Zielbestimmung und Individuelle Themenstellung wurden auf der Projektwoche definiert.
Datenbank und Authentifizierung aufgesetzt
Die Authentifizierung erfolgt mittels FastAPI Security und JWT Token mit einer PostgreSQL Datenbank.
Basic Transcription mit OpenAI Whisper API fertiggestellt
Die Grundfunktion zur Transkription von Audio in Text wurde mit der OpenAI Whisper API implementiert. Diese Funktion stellt die Basis für die weiteren Entwicklungen im Projekt dar und ermöglicht es, Audiodaten in Text umzuwandeln.
Erstversion der Machbarkeit ist abgeschlossen
Eine erste Version der Machbarkeit ist abgeschlossen.
Domain Stuppnig.ddns.net gekauft
Die Domain wurde erfolgreich eingerichtet und zeigt nun auf den Heimserver.
Erster Prototyp ist einsatzbereit
Ein erster Prototyp ist einsatzbereit und kann bereits (von Developern) verwendet werden.
Basis LLM fuer weiteres Training entschieden
Es wurde ein pre-trained LLM fuer das weitere training getestet und ausgewaehlt.
Literaturrecherche abgegeben
Die Literaturrecherche wurde abgegeben und recherche wurde betrieben.
Live Audio Streaming
Die Audio Daten werden live ueber einen Websocket in chunks ans Backend gesendet und dort reassembled.
Audio Daten können in raw data in das Model gefüttert werden in SpeechTranscription
Es wurde eine Funktion entwickelt, die es ermöglicht, Audiodaten in ihrer Rohform direkt in das Modell der SpeechTranscription einzuspeisen. Dies verbessert die Flexibilität und Effizienz der Transkription.
OpenAI zu Huggingface Transition in Speech Transcription
Die Transkriptionsfunktion wurde von OpenAI auf Huggingface umgestellt. Diese Änderung ermöglicht eine breitere Auswahl an vortrainierten Modellen und bietet mehr Flexibilität für verschiedene Transkriptionsanforderungen.
User Login im Frontend umgesetzt
Die App bietet die Funktionalität, um sich mit Benutzeranmeldedaten zu authentifizieren.
State of the Art & Machbarkeit abgegeben.
Die State of the Art & Machbarkeit wurden abgegeben.
Autorisierungstoken wird verschlüsselt abgespeichert
Die App speichert den JWT-Token nach erfolgreicher Anmeldung verschlüsselt ab.
Generation der Trainingsdaten angefangen.
Die Generation der Trainingsdaten für das fine-tuning des LLMs wurde gestartet.
Frontend kann Nachrichten anzeigen.
Das Frontend zeigt, nach absenden der Nachricht, einen Ladeindikator und zeigt, sobald das LLM antwortet, die Antwort an.
CI/CD working.
Continious Integraton / Continious Deployment auf server mit Domain funktionabel.
Organisations Login im Frontend umgesetzt
Organisationen können sich in einem eigenen Anmeldeformular in der App authentifizieren.
API Server SSL Verschlüsselung mit Let's Encrypt
Der API Server verwendet jetzt ein automatisch erneuertes SSL Zertifikat von Let's Encrypt.
Apple Metal API Unterstützung für Speech Transcription
Die Integration der Apple Metal API verbessert die Leistung der Speech Transcription auf Apple-Geräten, indem die Hardware-Ressourcen effizienter genutzt werden. Dies führt zu einer besseren Performance, insbesondere auf iOS- und macOS-Geräten.
API Server Entwicklung abgeschlossen
Alle Kernfunktionen des API Servers wurden implementiert und lokal erfolgreich getestet.
Verschlüsselter Audio Stream
Der Audio Livestream wird nun SSL verschlüsselt versendet und verwendet somit WebSocketSecure.
API Server Testing Phase abgeschlossen
Der API Server hat alle Unit- und Integrationstests bestanden und ist bereit für das Deployment.
Organisations Verwaltung in der App
Organisationen können in der App ihre Benutzeraccounts verwalten.
WhisperTranscriber und Audio Abstraktion für modulare Benutzung in dn_audiotranscriber Python Library
Der **WhisperTranscriber** und eine Audioabstraktion wurden entwickelt, um eine modulare Nutzung in der **dn_audiotranscriber Python-Bibliothek** zu ermöglichen. Diese Funktionen bieten eine flexible Integration der Transkriptionslogik in verschiedene Anwendungen.
Datenbank Deployment mit Docker Compose abgeschlossen
Die PostgreSQL Datenbank wurde erfolgreich in einem Docker Container deployed und konfiguriert.
Profile page implementiert.
Die Profile page zeigt welcher Benutzer angemeldet ist, eine Möglichkeit sein Passwort zurück zu setzen und seine Account Informationen.
Passwort vergessen Funktionalität
Benutzer können in der App ihr Passwort zurücksetzen lassen.
Implementierungsteil abgegeben.
Der Implementierungsteil der Diplomarbeit wurde abgegeben.
Docker Image Build & Deployment für FastAPI Backend fertig
Ein produktionsbereites Docker Image wurde gebaut und auf dem Server deployed.
Renerated text from LLM can be streamed.
Der Output des LLMs kann während der Generation gestreamed werden.
Online Abgabe der Diplomarbeit.
Die Diplomarbeit wurde online im ABA-Portal abgegeben.
Focus Points
Here's where we put our focus on
Speed
Every minute saved helps prevent critical brain damage.
Accuracy
Precise diagnosis guides effective, life-saving treatment.
Modern Design
A sleek, user-friendly design aids quick, easy decision-making.
Cross Platform
Accessible on all devices, ensuring support anytime, anywhere.
Interested in learning more?
There are many variations of passages of Lorem Ipsum but the majority have suffered in some form.
Contact UsMeet Our Team
Together we are a team of highly motivated and skilled students who develope DIEMP as part of our diploma project.
Let us hear your idea
Our Location
Wexstraße 19-23, 1200 Vienna
Austria
How Can We Help?
mstuppnig@student.tgm.ac.at