Aperçu exécutif et portée architecturale

La sortie de Vercel 3.0 introduit des améliorations architecturales majeures pour l'AI Gateway de la plateforme, comblant le fossé entre l'infrastructure sans serveur (serverless) évolutive et l'orchestration de modèles de langage de grande taille (LLM) à haute performance. Au cœur de cette version se trouve l'intégration du modèle Ling 3.0 Tiny d'ANT Group, qui remplace avec succès les anciens modèles de base au sein de l'écosystème gratuit. Cette version renforce la capacité de Vercel à prendre en charge des agents IA sophistiqués et réactifs, des conversations complexes à plusieurs tours et des charges de travail de production sensibles à la latence grâce à une couche d'infrastructure unifiée.

Sur le plan architectural, Vercel 3.0 consolide l'AI Gateway en tant que couche de médiation robuste. En découplant l'appel des modèles des contraintes des fournisseurs sous-jacents, Vercel permet aux applications distribuées de bénéficier de fonctionnalités de fiabilité de niveau entreprise, notamment le basculement automatisé (failover), les optimisations de performance, les rapports personnalisés et la prise en charge de la conservation zéro des données (ZDR). L'inclusion du routage natif par mélange d'experts (MoE) via Ling 3.0 Tiny démontre l'engagement de Vercel à optimiser à la fois les coûts et l'efficacité du calcul, garantissant ainsi que les développeurs peuvent déployer des agents à contexte élevé et respectueux des instructions sans supporter de frais d'infrastructure prohibitifs ni sacrifier la réactivité pour l'utilisateur final.

Améliorations principales et ergonomie pour les développeurs

L'ergonomie pour les développeurs dans Vercel 3.0 a été considérablement affinée, en particulier en ce qui concerne la manière dont les équipes d'ingénierie interagissent avec divers fournisseurs de modèles. L'AI Gateway mise à jour introduit une couche d'abstraction d'API unifiée qui normalise les charges utiles de requêtes et les flux de réponse à travers différents points de terminaison LLM. Cette abstraction élimine le code récurrent traditionnellement requis pour gérer les schémas spécifiques aux fournisseurs, la gestion des erreurs et la logique de nouvelle tentative. De plus, la plateforme intègre des éléments de gestion des coûts avancés, tels que des configurations de budget explicites pour les clés API et un support natif pour les architectures BYOK (Bring Your Own Key) sans marges de profit de la plateforme sur l'inférence.

L'intégration de Ling 3.0 Tiny apporte des capacités de pointe de mélange d'experts directement dans l'écosystème Vercel. Doté d'un total de 7,9 milliards de paramètres avec une empreinte de paramètres actifs optimisée d'environ 1,3 milliard par jeton (token), le modèle offre un débit d'inférence exceptionnel. Les développeurs bénéficient d'une vaste fenêtre de contexte de 256 000 jetons associée à une limite maximale de 32 000 jetons de sortie. Des fonctionnalités améliorées pour les développeurs — telles que l'appel de fonctions natif et la mise en cache de invites (prompts) intégrée — réduisent la latence des aller-retours et optimisent l'économie des jetons pour les flux de travail d'agents complexes, faisant de Vercel 3.0 un kit d'outils indispensable pour le développement d'applications modernes pilotées par l'IA.

Tableau comparatif architectural

Changements incompatibles et avertissements de migration

Vercel 3.0 maintient un degré élevé de rétrocompatibilité pour les déploiements existants de l'AI Gateway, garantissant que les règles de routage standard et les points de terminaison proxy continuent de fonctionner sans interruption immédiate. Cependant, les développeurs utilisant les créneaux gratuits promotionnels doivent noter un calendrier de transition critique. L'identifiant de modèle temporaire inclusionai/ling-3.0-tiny-free, actif jusqu'au 14 août (8h00, heure du Pacifique), sera obsolète et remplacé par l'identifiant de production inclusionai/ling-3.0-tiny. Les applications épinglées sur la chaîne promotionnelle temporaire rencontreront des erreurs de résolution une fois la fenêtre promotionnelle fermée, ce qui nécessite une mise à jour proactive de la configuration dans tous les environnements de code affectés.

Guide de mise à niveau étape par étape

La migration de votre application pour exploiter Ling 3.0 Tiny au sein du kit de développement logiciel (SDK) Vercel AI nécessite la mise à jour de vos chaînes de configuration de modèle. Suivez ces étapes opérationnelles pour terminer la mise à niveau :

1. Mettre à jour la configuration du SDK : Localisez votre bloc d'initialisation du SDK AI et modifiez la propriété model pour pointer vers le point de terminaison promotionnel Ling 3.0 Tiny :

   import { generateText } from 'ai';
   import { aiGateway } from '@vercel/ai-gateway';
   
   const response = await generateText({
     model: aiGateway('inclusionai/ling-3.0-tiny-free'), // Utilisez la chaîne de production après le 14 août
     prompt: 'Analyser les implications architecturales des modèles MoE sans serveur.',
   });
   

2. Configurer les agents de codage (CLI) : Si vous déployez des agents de codage dans votre flux de travail de développement, exécutez la commande d'installation et sélectionnez la nouvelle instance de modèle de manière interactive :

   npx vercel ai-gateway coding-agents setup
   

   Sélectionnez inclusionai/ling-3.0-tiny-free dans la liste de invites interactives pour lier l'environnement d'exécution de l'agent.

3. Validation post-migration : Vérifiez le suivi de l'utilisation, les métriques de rapports personnalisés et les contraintes budgétaires dans votre tableau de bord Vercel pour vous assurer que la télémétrie capture correctement les traces d'exécution du nouveau modèle.