Lumière

La capacité de ChatGPT à produire des essais, des e-mails et du code soignés en réponse à quelques demandes simples a attiré l'attention internationale. Des chercheurs du MIT ont signalé une méthode susceptible d'ouvrir la voie à des programmes d'apprentissage automatique bien plus performants que celui responsable de ChatGPT. De plus, leur technologie pourrait consommer moins d’énergie que les superordinateurs de pointe qui alimentent les modèles d’apprentissage automatique actuels.

L'équipe rapporte la première démonstration expérimentale du nouveau système, qui utilise des centaines de lasers à l'échelle du micron pour effectuer des calculs basés sur le mouvement de la lumière plutôt que sur celui des électrons. Le nouveau système est plus de 100 fois plus économe en énergie que les ordinateurs numériques de pointe actuels pour l'apprentissage automatique et 25 fois plus puissant en termes de densité de calcul.

En outre, ils notent « des améliorations substantielles supplémentaires de plusieurs ordres de grandeur supplémentaires ». Ceci, ajoutent les scientifiques, « ouvre la voie aux processeurs optoélectroniques à grande échelle pour accélérer les tâches d’apprentissage automatique depuis les centres de données jusqu’aux appareils de périphérie décentralisés ». À l’avenir, de petits appareils comme les téléphones portables pourront peut-être exécuter des programmes qui ne peuvent être calculés que dans d’immenses centres de données.

Des modèles d'apprentissage automatique massifs qui imitent le traitement de l'information par le cerveau sont à la base des réseaux de neurones profonds (DNN) comme celui qui alimente ChatGPT. Alors que l'apprentissage automatique se développe, les technologies numériques qui alimentent les DNN d'aujourd'hui plafonnent. De plus, on les trouve souvent uniquement dans les très grands centres de données en raison de leurs besoins énergétiques extrêmes. Cela stimule l’innovation dans l’architecture informatique.

La discipline de la science des données évolue en raison de l'essor des réseaux de neurones profonds (DNN). En réponse à l'expansion exponentielle de ces DNN, qui met à rude épreuve les capacités du matériel informatique traditionnel, les réseaux de neurones optiques (ONN) ont récemment évolué pour exécuter des tâches DNN à des fréquences d'horloge élevées, en parallèle et avec une perte de données minimale. La faible efficacité de conversion électro-optique, l'encombrement énorme des appareils et la diaphonie des canaux contribuent à une faible densité de calcul dans les ONN, tandis que le manque de non-linéarité en ligne entraîne un retard important. Les chercheurs ont montré expérimentalement un système ONN multiplexé spatio-temporel permettant de résoudre tous ces problèmes à la fois. Ils utilisent le codage neuronal à l’aide de réseaux micrométriques de lasers à émission de surface à cavité verticale (VCSEL), fabriqués en grande quantité et présentant une excellente conversion électro-optique.

Pour la première fois, les chercheurs proposent un petit modèle qui résout ces trois problèmes à la fois. La télédétection LiDAR moderne et l’impression laser utilisent toutes deux cette architecture, construite sur des réseaux de lasers à émission de surface verticale (VCSEL). Ces mesures semblent représenter une amélioration de deux ordres de grandeur dans un avenir proche. Le processeur optoélectronique offre de nouvelles opportunités pour accélérer les processus d’apprentissage automatique sur des infrastructures centralisées et distribuées.

VérifiezPapieretBlog . Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de vous inscrirenotre SubReddit 27k+ ML,Chaîne Discorde, etCourriel, où nous partageons les dernières nouvelles en matière de recherche sur l'IA, des projets intéressants en matière d'IA et bien plus encore.

Dhanshree Shenwai est ingénieur en informatique et possède une bonne expérience dans des entreprises FinTech couvrant les domaines de la finance, des cartes et paiements et de la banque avec un vif intérêt pour les applications de l'IA. Elle est enthousiaste à l'idée d'explorer les nouvelles technologies et les progrès dans le monde en évolution d'aujourd'hui qui facilite la vie de chacun.