I ricercatori SEAS hanno sviluppato il primo processore interno al sensore che potrebbe essere integrato nei chip per sensori di imaging in silicio commerciali. L’array (illustrato qui) semplifica l’elaborazione delle immagini per i veicoli autonomi e altre applicazioni. Credito: Donhee Ham Research Group/Harvard SEAS

Come ogni guidatore sa, gli incidenti possono accadere in un batter d’occhio, quindi quando si tratta del sistema di telecamere nei veicoli autonomi, il tempo di elaborazione è fondamentale. Il tempo impiegato dal sistema per acquisire un’immagine e fornire i dati al microprocessore per l’elaborazione delle immagini potrebbe fare la differenza tra evitare un ostacolo o cadere in un incidente grave.

L’elaborazione delle immagini nel sensore, in cui caratteristiche importanti vengono estratte dai dati grezzi dal sensore di immagine stesso anziché dal microprocessore separato, può accelerare l’elaborazione visiva. Finora, le dimostrazioni dell’elaborazione all’interno del sensore sono state limitate ai materiali di ricerca emergenti che, almeno per ora, sono difficili da incorporare nei sistemi commerciali.

Ora, i ricercatori della Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) hanno sviluppato il primo processore in-sensor che potrebbe essere integrato nei chip del sensore di imaging in silicio commerciale, noto come semiconduttore a ossido di metallo complementare (CMOS) sensori di immagine, utilizzati in quasi tutti i dispositivi commerciali che devono acquisire informazioni visive, inclusi gli smartphone.

La ricerca è pubblicata in Elettronica della natura.

“Il nostro lavoro può sfruttare l’industria elettronica dei semiconduttori mainstream per portare rapidamente l’elaborazione in-sensore a un’ampia varietà di applicazioni del mondo reale”, ha affermato Donhee Ham, Gordon McKay Professor of Electrical Engineering and Applied Physics presso SEAS e autore senior dell’articolo .

Ham e il suo team hanno sviluppato un array di fotodiodi al silicio. I chip di rilevamento delle immagini disponibili in commercio hanno anche un array di fotodiodi al silicio per acquisire le immagini, ma i fotodiodi del team sono drogati elettrostaticamente, il che significa che la sensibilità dei singoli fotodiodi, o pixel, alla luce in ingresso può essere regolata dalle tensioni. Un array che collega tra loro più fotodiodi regolabili in tensione può eseguire una versione analogica di operazioni di moltiplicazione e addizione centrali per molte pipeline di elaborazione delle immagini, estraendo le informazioni visive rilevanti non appena l’immagine viene catturata.

“Questi fotodiodi dinamici possono filtrare contemporaneamente le immagini mentre vengono catturate, consentendo di spostare la prima fase dell’elaborazione della visione dal microprocessore al sensore stesso”, ha affermato Houk Jang, un borsista post-dottorato presso SEAS e primo autore dell’articolo.

L’array di fotodiodi al silicio può essere programmato in diversi filtri di immagine per rimuovere dettagli o disturbi non necessari per varie applicazioni. Un sistema di imaging in un veicolo autonomo, ad esempio, potrebbe richiedere un filtro passa-alto per tenere traccia dei segnali di corsia, mentre altre applicazioni potrebbero richiedere un filtro che offusca per la riduzione del rumore.

“Guardando al futuro, prevediamo l’uso di questo processore in-sensor basato su silicio non solo nelle applicazioni di visione artificiale, ma anche in applicazioni bio-ispirate, in cui l’elaborazione precoce delle informazioni consente la co-localizzazione di sensori e unità di calcolo, come in il cervello”, ha detto Henry Hinton, uno studente laureato al SEAS e co-primo autore del documento.

Successivamente, il team mira ad aumentare la densità dei fotodiodi e integrarli con circuiti integrati di silicio.

“Sostituendo i pixel standard non programmabili nei sensori di immagine in silicio commerciali con quelli programmabili qui sviluppati, i dispositivi di imaging possono ritagliare in modo intelligente i dati non necessari, quindi potrebbero essere resi più efficienti sia in termini di energia che di larghezza di banda per soddisfare le esigenze della prossima generazione di applicazioni sensoriali”, ha affermato Jang.