De nieuwsbrief Interconnects lanceert twee gratis projecten gewijd aan het ecosysteem van open modellen, een Artifacts Hub en een dagelijks bijgewerkt adoptiedashboard. Deze tools breiden de analyses uit die de publicatie tot nu toe wijdde aan specifieke modellen en maandelijkse overzichten.
Het eerste project, Artifacts Hub, is een geselecteerd overzicht van trending modellen op Hugging Face, het platform voor het delen van kunstmatige intelligentiemodellen. Het benadrukt de inferentietokens, dat zijn de eenheden verwerkte tekst bij het gebruik van een model, verzameld via Open Router, de intelligentie van modellen volgens Artificial Analysis, evenals adoptie-indicatoren ontwikkeld door het team op basis van gegevens van Hugging Face. De site vermeldt momenteel 792 modellen die in de afgelopen twee jaar zijn uitgebracht, of het nu gaat om grote tekstgerichte taalmmodellen of multimodale generatieve modellen.
Om deze inventaris samen te stellen, zegt Interconnects de gegevens van elk op Hugging Face gepubliceerd model te volgen en de paar duizend belangrijkste grote taalmmodellen te analyseren, waarvan de lijst openbaar is op GitHub en regelmatig wordt bijgewerkt. Een selectie van enkele honderden daarvan krijgt vervolgens meer gedetailleerde uitleg.
Voor de populairste modellen laat de Hub met een paar klikken het verschil zien met de grens van intelligentie, gemeten door de Intelligence Index van Artificial Analysis. Het maakt ook mogelijk de adoptie op Hugging Face en Open Router voor vergelijkbare modellen te vergelijken, de scores van de indicator genaamd RAM (relative adoption metric) te raadplegen, die downloads relateert aan de beschikbaarheidsduur en de grootte van het model, of de VAIL-similariteitsindex, die modellen van vergelijkbare generaties met elkaar verbindt. Dit werk is uitgevoerd in samenwerking met Project VAIL, een startup gespecialiseerd in AI-verificatie, die de nieuwsbrief beschrijft als een van zijn meest trouwe supporters.
Een dashboard over de kloof tussen de VS en China
Het tweede project, het Adoption Dashboard, toont het aantal downloads en afgeleide modellen, gesorteerd op geografische zone en organisatie. Volgens de publicatie benadrukt het de kloof tussen de Verenigde Staten en China, evenals de opkomst van nieuwe spelers in het open ecosysteem.
Interconnects geeft aan dat de vergelijking tussen de twee landen, al gepresenteerd in zijn rapport The ATOM Project, regelmatig terugkwam in sectorale discussies zonder voldoende bijgewerkt te worden. Het dashboard bundelt nu de gegevens van dit rapport en van het ecosysteem, met een dagelijkse update.
De publicatie preciseert dat deze tools passen binnen zijn missie, die gericht is op het ondersteunen van het ecosysteem van open modellen naarmate gebruikers ze willen inzetten, met name op een kosteneffectieve manier in vergelijking met state-of-the-art modellen. Het bedankt Hugging Face, Open Router en Artificial Analysis voor hun bijdrage, evenals Project VAIL, en nodigt zijn lezers uit om hun opmerkingen, evenals hun ideeën voor het gebruik van de gegevens, te delen op het adres [email protected].
