Alibaba lancia la serie Qwen 3.5 Small: varianti dense da 0.8B a 9B

Il team Qwen di Alibaba ha annunciato la serie Qwen 3.5 Small, una famiglia di modelli vision-language da 0,8B a 9B di parametri pensata per l'esecuzione locale e su dispositivi con risorse limitate. La serie punta a ridurre memoria e latenza rispetto a modelli più grandi, senza eliminare i compromessi tra qualità, quantizzazione e hardware.

La capacità vision è indicata come supportata da tutti i modelli della release; le modalità e i limiti possono variare tra le varianti.

Un'architettura per l'edge computing

Per la serie Small, l'elemento centrale è il contenimento della memoria. A differenza dei modelli più grandi basati su architetture MoE, i modelli Small usano un'architettura densa che include reti Gated Delta Networks (linear attention) per gestire la KV cache.

Secondo la descrizione della release, i modelli supportano finestre di contesto fino a 128.000 token. Il consumo effettivo cresce comunque con il contesto e dipende dall'implementazione. Il post-training basato su Reinforcement Learning (RL) è descritto come comune alla serie Medium, ma la qualità dell'instruction-following va valutata sui task reali.

La famiglia Qwen 3.5 Small

La famiglia comprende diverse varianti open-weight, disponibili su Hugging Face e pensate per hardware e modalità di deployment differenti:

• Qwen3.5-0.8B: la variante più compatta, pensata per scenari IoT, classificazione e routing in pipeline multi-agente, quando memoria e latenza sono vincoli prioritari.
• Qwen3.5-4B: una variante compatta per applicazioni locali. Può essere valutata per traduzione, sintesi e assistenza testuale, se il dispositivo dispone di memoria e backend compatibili.
• Qwen3.5-9B: la variante più grande della fascia Small, orientata a coding, multilinguismo e task locali di Retrieval-Augmented Generation (RAG). Il confronto con modelli più grandi va fatto sullo stesso benchmark e con la stessa quantizzazione.

Efficienza e deployment on-device

Il vantaggio principale della serie è la possibilità di sperimentare con hardware consumer. L'esecuzione di un modello da 9B su Mac Apple Silicon o su GPU entry-level dipende da quantizzazione, contesto e memoria disponibile; non è garantita da una singola configurazione.

Su laptop e GPU consumer la velocità può variare sensibilmente. Il valore indicativo di 150–300 token/s va quindi associato all'hardware e al backend usati nel test, non presentato come prestazione generale.

La serie è compatibile con diversi framework per inferenza locale ed edge:

• Unsloth (per quantizzazione e fine-tuning)
• llama.cpp / Ollama (per inferenza locale su GPU e CPU, con compatibilità che dipende dal formato)
• MLX (per l'inferenza su dispositivi Apple Silicon)

Qwen3.5-9B e 4B: Unsloth e Ollama

Su Hugging Face e nella documentazione ufficiale sono disponibili file in formato GGUF; Unsloth documenta il supporto alle varianti compatibili.

Si consiglia di valutare le versioni quantizzate a 4-bit (Q4_K_M). In questo formato, il Qwen3.5-4B occupa circa 2,5 GB di memoria RAM/VRAM, mentre il Qwen3.5-9B ne richiede circa 5,5 GB; i valori dipendono da runtime e contesto. Con Ollama si può avviare un'inferenza locale usando: ollama run qwen3.5:9b oppure ollama run qwen3.5:4b per avviare un'inferenza locale, se il dispositivo dispone delle risorse necessarie.

Punti di forza dell'AI "On-Device" e Privacy-First

L'esecuzione locale può ridurre l'invio di dati verso servizi cloud, ma non garantisce automaticamente privacy o sicurezza: contano il software utilizzato, i log, le dipendenze e la configurazione del dispositivo. Qwen 3.5 Small è quindi un'opzione da valutare per applicazioni privacy-first, non una garanzia assoluta.

Licenza Apache 2.0

Come per la serie Medium, Alibaba ha rilasciato i pesi di Qwen 3.5 Small sotto la licenza Apache 2.0.

La licenza Apache 2.0 consente in generale uso, modifica e distribuzione, nel rispetto dei suoi obblighi e delle licenze dei componenti inclusi. Per app mobili o prodotti enterprise è comunque necessario verificare il testo della licenza, gli avvisi del repository e le condizioni dei framework utilizzati.