LFM2.5-VL-3B: il Vision-Language Model di Liquid AI che Gira anche su Smartphone

Liquid AI ha rilasciato LFM2.5-VL-3B, un vision-language model da 3,1 miliardi di parametri progettato per eseguire OCR, visual question answering, object detection e interazioni con interfacce grafiche direttamente su hardware consumer.

Il modello migliora il precedente LFM2-VL-3B senza aumentare il parameter count. Il lavoro si concentra su training, qualità dei dati e post-training, con progressi particolarmente marcati nel grounding, nello screen understanding, negli input multi-image e nel function calling.

Un Modello Multimodale Pensato per l'Edge

LFM2.5-VL-3B combina un language backbone LFM2.5-2.6B con un vision encoder SigLIP2 NaFlex da 400M parametri. Un multimodal projector collega le rappresentazioni visive al language model, portando il totale a circa 3,1 miliardi di parametri.

Il backbone LFM2 utilizza un'architettura ibrida composta da gated short convolution e blocchi di grouped query attention. Le convolution gestiscono gran parte della sequenza con costi contenuti, mentre i blocchi attention preservano la capacità di collegare informazioni distanti.

Questa struttura deriva da una hardware-aware architecture search condotta considerando direttamente latenza e consumo di memoria sui processori edge. L'architettura generale è descritta nel technical report di LFM2.

Il vision encoder NaFlex accetta immagini con risoluzioni e aspect ratio differenti. Le immagini grandi vengono divise in patch non sovrapposte da 512×512 pixel, alle quali viene aggiunta una thumbnail dell'immagine completa.

In questo modo il modello conserva sia i dettagli locali sia il contesto globale, senza deformare l'immagine per adattarla a una risoluzione fissa. Il numero di vision token può inoltre essere regolato per bilanciare qualità, memoria e latency.

Cosa Cambia rispetto a LFM2-VL-3B

LFM2.5-VL-3B non è un reasoning model: produce direttamente la risposta, senza generare una lunga chain-of-thought. La scelta limita alcune capacità di ragionamento complesso, ma riduce il time to first token e rende il modello più adatto a pipeline interattive o ad alto throughput.

I miglioramenti principali interessano quattro aree.

Screen e UI Understanding

Su ScreenSpot-v2, benchmark che misura la capacità di localizzare elementi nelle interfacce grafiche, LFM2.5-VL-3B raggiunge uno score medio di 80,7.

Questa capacità permette di trasformare istruzioni come "apri la documentazione relativa al fine-tuning" in coordinate utilizzabili da un agente. Il modello osserva uno screenshot, identifica il controllo corretto e restituisce il punto o la bounding box su cui intervenire.

Il risultato è rilevante per browser agents, desktop automation e assistenti on-device. Il modello resta però responsabile soltanto della percezione e della decisione: click, autorizzazioni e controllo degli effetti devono essere gestiti dall'applicazione.

Grounding e Object Detection

Nel visual grounding il modello deve associare una descrizione in natural language a una regione precisa dell'immagine. Su RefCOCO, la Macro Precision@1 passa da 57,1 a 87,9.

Liquid AI attribuisce il miglioramento soprattutto all'aumento dei dati sintetici dedicati al grounding. Il modello può restituire bounding box con coordinate normalizzate tra 0 e 1000, rendendo l'output più semplice da integrare in applicazioni indipendenti dalla risoluzione originale.

Multi-Image Understanding

La capacità di confrontare più immagini migliora sensibilmente. Lo score BLINK passa da 50,2 a 61,5, mentre MuirBench sale da 34,9 a 58,3.

Questo apre casi d'uso come il confronto tra schermate, l'analisi di più pagine di un documento o l'elaborazione di sequenze di frame. Non equivale però a un video model nativo: i frame vengono trattati come un insieme di immagini all'interno dello stesso prompt.

Function Calling

Il function calling arriva per la prima volta nella linea LFM2.5-VL. Il modello può osservare un'immagine, decidere se serve uno strumento esterno, produrre una chiamata strutturata e utilizzare il risultato per completare la risposta.

Su ToolSandbox lo score passa da 26,4 a 59,5. BFCL v4 cresce invece da 20,5 a 32,5.

Il salto è sostanziale, ma non rende LFM2.5-VL-3B il migliore in ogni benchmark. BFCL v4, ad esempio, rimane distante dai modelli più forti della comparazione pubblicata da Liquid AI.

Training: più Token e più Dati Sintetici

Il language backbone è stato pre-trained su circa 34 trilioni di token. Il vocabolario è stato raddoppiato a 128.000 token per migliorare la tokenization delle lingue con alfabeti non latini.

Il supporto ufficiale copre 16 lingue: arabo, cinese, inglese, francese, tedesco, hindi, indonesiano, italiano, giapponese, coreano, polacco, portoghese, russo, spagnolo, thailandese e vietnamita.

Nei test interni che ho condotto, il modello ha mostrato ottime capacità OCR anche su lingue non comprese nell'elenco ufficiale. È un risultato empirico, non una garanzia di supporto: accuratezza e robustezza vanno verificate sullo specifico alfabeto, dominio e layout documentale.

La context length indicata nella model card su Hugging Face è di 32.768 token.

Rispetto alla generazione precedente, Liquid AI ha quadruplicato i token utilizzati nel vision pre-training. Il dataset comprende image-caption pairs, documenti per OCR, esempi di grounding e dati per instruction following, provenienti da una combinazione di fonti curate e synthetic data.

Il post-training include Supervised Fine-tuning, knowledge distillation da un teacher model più grande, Antidoom training e multi-reward reinforcement learning.

I numeri pubblicati rimangono benchmark dichiarati dal produttore. Liquid AI ha utilizzato vLLM 0.26 e i generation parameters raccomandati per ciascun modello, disabilitando il reasoning dove disponibile. Differenze nelle prompt template e nelle configurazioni di inference possono quindi influenzare il confronto.

OCR con Layout Annotation

Una delle applicazioni più concrete è la conversione di documenti scansionati in contenuti strutturati. LFM2.5-VL-3B può analizzare una pagina completa e produrre regioni etichettate come titolo, testo, tabella, immagine, equazione, codice, header o footer.

Ogni regione contiene una bounding box e il relativo contenuto. Le equazioni possono essere rappresentate in LaTeX, mentre le tabelle utilizzano OTSL, l'Optimized Table Structure Language introdotto da IBM.

Questo formato è interessante per document ingestion, searchable PDF e multimodal RAG. Liquid AI lo definisce ancora sperimentale: lo schema potrebbe cambiare e l'output può richiedere validazione o parsing correttivo prima di essere usato in produzione.

Inference: Veloce su Edge e Cloud

On-device. Secondo i test di Liquid AI, LFM2.5-VL-3B raggiunge 228 token/s su Apple M5 Max e 116 token/s su AMD Ryzen AI Max+ 395, occupando circa 3 GB di memoria nella configurazione utilizzata.

Sul Galaxy S26 Ultra il decode throughput dichiarato è di circa 20 token/s. Non è una velocità da cloud inference, ma è sufficiente per OCR, image captioning e assistenti visivi locali senza inviare immagini a un server remoto.

L'elaborazione on-device può migliorare privacy, disponibilità offline e costi operativi. Questi vantaggi dipendono comunque dall'applicazione: usare un modello locale non garantisce automaticamente che telemetria, immagini o risultati non vengano trasmessi altrove.

GPU. Su una singola NVIDIA H100 SXM5, usando vLLM 0.26 e BF16, Liquid AI dichiara un output throughput vicino a 11.000 token al secondo ad alta concurrency.

Il test utilizza un'immagine da 512×512 pixel, 1.024 input token e fino a 256 output token. Liquid mantiene costante il numero di richieste in-flight, sostituendo immediatamente quelle completate.

Il dato descrive la capacità di serving aggregata, non la velocità percepita da un singolo utente. In un test separato, con una richiesta alla volta, il modello registra circa 34 millisecondi di time to first token su un input composto da cinque frame.

Dove può essere Utile

LFM2.5-VL-3B è particolarmente adatto a workload single-turn, a bassa latenza o processati in batch:

• OCR di documenti con riconoscimento del layout
• Image captioning e visual question answering
• Estrazione di bounding box tramite natural-language query
• Analisi di dashboard, applicazioni e interfacce web
• Traduzione on-device di menu, cartelli e documenti
• Agenti che combinano percezione visiva e function calling
• Classificazione e controllo qualità su immagini industriali

La model card sconsiglia invece l'impiego per task visuali con ragionamento lungo, generazione di web design complessi o domande altamente tecniche su blueprint. Il modello privilegia velocità e risposte dirette rispetto alla profondità del reasoning.

Ecosistema, Disponibilità e Licenza

I weights sono disponibili nei formati nativo Transformers, GGUF, ONNX e MLX. Sono supportati Transformers, llama.cpp, vLLM e SGLang, oltre a una demo WebGPU che esegue il modello direttamente nel browser.

LFM2.5-VL-3B è open-weight, ma non utilizza una licenza open source standard. La LFM Open License v1.0 permette l'uso commerciale gratuito soltanto alle entità con ricavi annuali inferiori a 10 milioni di dollari.

Per le aziende che superano quella soglia, l'uso commerciale non è coperto dalla licenza pubblica e richiede un accordo separato con Liquid AI. È una distinzione importante rispetto a licenze più permissive come Apache 2.0.

Il risultato più notevole non è un nuovo record assoluto di visual reasoning. LFM2.5-VL-3B mostra invece quanto possa diventare capace un vision-language model relativamente piccolo quando architettura, training data e inference stack vengono ottimizzati insieme.

Restano da verificare le performance su dispositivi precedenti, documenti italiani complessi e workload reali. Se i risultati dichiarati verranno confermati da valutazioni indipendenti, LFM2.5-VL-3B potrebbe diventare una delle opzioni più interessanti per costruire visual agents veloci, privati e distribuibili sull'edge.

Il modello è disponibile su Hugging Face, sul Playground ufficiale e attraverso la documentazione di Liquid AI.