Apple le premier LLM public de la Commission européenne s'appelle Ferret et est alimenté par 8 GPU Nivida A100

Apple a discrètement publié sa première IA multimodale à grand modèle de langage (LLM) en tant que projet open source, qu'elle a baptisé Ferret. La nouvelle IA Ferret a été présentée en octobre par Zhe Gan , chercheur en IA à l'adresse Apple, via X/Twitter, mais elle est passée largement inaperçue jusqu'à présent. Ferret a été développé conjointement par M. Gan et ses collègues de Apple, ainsi que par des chercheurs de l'université de Columbia. Selon M. Gan, Ferret est plus précis dans la compréhension et la description de petites régions d'images que le GPT-4 d'OpenAI, tout en produisant moins d'hallucinations (erreurs).

Il est intéressant de noter que le dépôt Github de Apple révèle que l'entreprise a entraîné Ferret en utilisant 8 GPU Nvidia A100 haut de gamme équipés de 80 Go de RAM HBM2e. L'A100 est le GPU le plus demandé sur le marché suite à l'explosion de la technologie d'IA générative qui a suivi le lancement du projet OpenAI générative qui a suivi le lancement du ChatGPT d'OpenAI d'OpenAI à la fin de l'année dernière. Il est capable de réaliser 312 TeraFLOPS en précision Tensor Float 32, le modèle de 80 Go utilisé par Apple pour entraîner Ferret offrant une bande passante allant jusqu'à 2 039 Go/s. L'entreprise ne révèle toutefois pas le sujet utilisé pour entraîner le nouveau modèle.

Bien que Apple en soit encore aux premières étapes de son voyage dans l'IA générative avec Ferret, l'objectif est de faire fonctionner efficacement un modèle tel que Ferret sur un smartphone. Le modèle GPT4 d'OpenAI est censé avoir plus de 1 000 milliards de paramètres, mais les téléphones portables ne peuvent actuellement traiter que des LLM d'environ 10 milliards de paramètres. C'est pourquoi Apple des chercheurs ont récemment fait une percée en démontrant en démontrant comment compléter la mémoire vive d'un smartphone par un stockage flash embarqué afin d'y insérer des modèles plus volumineux qu'il ne serait autrement possible d'exécuter sur l'appareil.