Aiuta i pazienti affetti da atrofia muscolare laterale (ALS) a comunicare con gli occhi
Descrizione
La sclerosi laterale amiotrofica (SLA) è una malattia devastante che priva il paziente della capacità di muoversi e parlare. Come volontario nelle associazioni per la SLA durante le estati del liceo, ho capito che alcuni pazienti possono comunicare solo con gli occhi e con la tecnologia per la disabilità, che presenta molti limiti, come il costo e l'efficienza. Basata sull'API Google Gemini, la mia app multilingue senza costi "Gaze Link" aiuta i pazienti affetti da SLA a comunicare con gli occhi in modo indipendente, accurato ed efficiente.
Innanzitutto, riconosco il volto e gli occhi dell'utente con Google ML Kit e OpenCV. Dopo una calibrazione e regolazioni delle impostazioni di 30 secondi, l'utente può iniziare a digitare le parole sulla tastiera multilingue di Gaze Link con sei gesti oculari. Tuttavia, la digitazione con gli occhi può essere un processo molto lento per le frasi lunghe.
Per migliorare il tasso di inserimento di testo, ho utilizzato un modello Gemini 1.5 Flash per generare la frase voluta dal paziente in base alle parole chiave e al contesto. Innanzitutto, Gaze Link trascriverà la voce del caregiver in un testo come "La temperatura della stanza va bene?". Poi, il paziente digiterà parole chiave come "caldo, aria condizionata, due" con gli occhi. Il modello Gemini utilizzerà le informazioni per generare una frase adatta come "Ho caldo, puoi abbassare l\'aria condizionata di 2 gradi?" in meno di un secondo. Il modello e la tastiera funzionano anche con spagnolo e cinese. Gli esperimenti condotti su 30 persone dimostrano che il modello può far risparmiare fino all'85% delle battute degli utenti e rendere Gaze Link 7 volte più efficace delle tradizionali schede di trasferimento elettronico.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Mancano le informazioni di cui ho bisogno","missingTheInformationINeed","thumb-down"],["Troppo complicato/troppi passaggi","tooComplicatedTooManySteps","thumb-down"],["Obsoleti","outOfDate","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Problema relativo a esempi/codice","samplesCodeIssue","thumb-down"],["Altra","otherDown","thumb-down"]],[],[],[],null,["[See all winners](/competition#w-4) \nBest Android app \n\nGaze Link \nHelps Amyotrophic Lateral Sclerosis (ALS) patients communicate with their eyes \nWhat it does\n\nAmyotrophic Lateral Sclerosis, or ALS, is a devastating disease that takes away the patient's ability to move and speak. As a volunteer in ALS associations during the summers of high school, I realized that some patients can only communicate with their eyes and assistive technology, which has many limitations like cost and efficiency. Powered by the Google Gemini API, my free multi-language app named \"Gaze Link\" helps ALS patients communicate with their eyes independently, accurately, and efficiently. \n\nFirst, I recognize the user's face and eyes with Google ML Kit and OpenCV. After a 30-second calibration and setting adjustments, the user can begin typing words on Gaze Link's multi-language keyboard with 6 eye gestures. However, eye-typing can be a very slow process for long sentences. \n\nTo improve the text-entry rate, I used a Gemini 1.5 Flash model to generate the patient's intended sentence based on keywords and the context. First, Gaze Link will transcribe the caretaker's voice into text like \"Is the room temperature ok?\". Then, the patient will type keywords like \"hot, AC, two\" with their eyes. The Gemini model will use the information to generate a suitable sentence like \"I am hot, can you turn the AC down by 2 degrees?\" in under a second. The model and keyboard also works with Spanish and Chinese. Experiments with 30 people show that the model can save up to 85% of user keystrokes and make Gaze Link 7x more effective than traditional E-transfer boards. \nBuilt with\n\n- Android\n- Firebase\n- Google ML Kit \nTeam \nBy\n\nXiangzhou Sun \nFrom\n\nUnited States \nMore winners \n[Outdraw.AI\nMost Creative app](/competition/projects/outdrawai) [Jayu\nBest Overall app](/competition/projects/jayu) \n[](/competition)"]]
