Qwen3.5 混合注意力架构全解析：Gated DeltaNet + MoE 的技术内幕与硬核实践

概述

Qwen3.5 是阿里巴巴通义团队于 2025 年发布的新一代大语言模型系列，其核心创新在于引入了混合注意力机制（Hybrid Attention），通过巧妙融合 Gated Delta Networks（门控增量网络）线性注意力与完整注意力（Full Attention），在保持高质量生成的同时显著提升了推理效率。这一架构创新使 Qwen3.5 能够支持长达 262K tokens 的上下文窗口，为长文本处理和多轮对话场景提供了强大的技术支撑。

Qwen3.5 系列模型基于 Qwen3-Next 架构演进而来，采用了更高稀疏度的混合专家（MoE）机制，结合 Gated DeltaNet + Gated Attention 的混合注意力设计，以及多 Token 预测技术，实现了性能与效率的双重突破。根据官方基准测试，在 32K/256K 上下文长度下，Qwen3.5-397B-A17B 的解码吞吐量分别达到 Qwen3-Max 的 8.6 倍和 19.0 倍，而模型性能却保持相当甚至略有提升，充分验证了混合注意力架构的实际价值。

本文将从技术原理、架构设计、实现细节、性能分析等多个维度，深入剖析 Qwen3.5 混合注意力机制的创新之处，并探讨其在实际应用中的优势与前景。我们还将对比分析 Qwen3.5 与前代模型以及同类架构的差异，为开发者和研究人员提供全面的技术参考。

技术背景

传统注意力机制的局限性

标准 Transformer 模型采用的自注意力机制（Self-Attention）在处理长序列时存在显著的计算瓶颈。对于一个序列长度为 L、隐藏维度为 d 的输入，自注意力机制的计算复杂度为 O(L²·d)。这意味着序列长度每增加一倍，计算量将呈平方级增长，严重制约了模型在长文本处理场景中的应用能力。

具体而言，传统注意力机制面临以下三大核心挑战：

首先是计算复杂度问题。当序列长度从 8K 扩展到 128K 时，注意力计算的计算量将增长 256 倍，这对硬件算力提出了极高的要求。在实际部署中，这种计算量的爆炸式增长往往超出了单机硬件的承载能力，迫使开发者采用复杂的分布式推理策略，显著增加了系统复杂度和运营成本。

其次是内存占用问题。完整注意力需要存储 L×L 的注意力矩阵，对于 128K 长度的序列，仅注意力矩阵就需要约 128GB 的显存（FP16 精度），远超单卡容量。这一问题在多轮对话、长文档处理等需要维护大量历史上下文的场景中尤为突出，成为制约应用落地的主要瓶颈。

第三是推理延迟问题。在自回归生成过程中，每生成一个新 Token 都需要与所有历史 Token 计算注意力，导致生成速度随上下文长度增加而显著下降。对于需要实时响应的交互式应用，这种延迟增长往往难以接受，严重影响了用户体验。

这些问题在 Qwen2 等前代模型中已经显现。Qwen2 最大支持 32K 上下文，虽然通过 Flash Attention 等优化技术在一定程度上缓解了计算压力，但面对更长的上下文需求时仍然力不从心。因此，寻找一种既能保持注意力机制的表达能力，又能突破计算复杂度瓶颈的新型架构，成为大语言模型发展的重要方向。

线性注意力的突破与演进

线性注意力（Linear Attention）机制通过将注意力计算分解为可分离的矩阵操作，将复杂度从 O(L²·d) 降低到 O(L·d²)，实现了对序列长度的线性复杂度。其核心思想在于利用核函数技巧（Kernel Trick）将注意力计算转换为矩阵乘法形式。

在标准 softmax 注意力中，计算过程为：

Attention(Q, K, V) = softmax(QK^T / √d_k) · V

而线性注意力将其改写为：

LinearAttention(Q, K, V) = φ(Q)(φ(K)^T · V)

其中 φ 是特征映射函数。这种转换使得注意力计算可以通过矩阵乘法的结合律进行重排，从而实现对序列长度的线性复杂度。

线性注意力的发展经历了多个重要阶段。早期的线性注意力变体虽然解决了复杂度问题，但在实际应用中存在表达能力和训练稳定性的不足。2023 年，Mamba 模型的出现标志着状态空间模型（SSM）在大语言模型中的成功应用，它通过选择性状态空间机制实现了对长程依赖的有效建模。随后，Mamba-2 进一步优化了 SSM 的计算效率，并建立了与注意力机制的统一理论框架。

Gated Delta Networks（门控增量网络）代表了线性注意力机制的最新进展。它综合了门控机制（Gating）和增量规则（Delta Rule）的优势：门控机制使模型能够快速清除过期记忆，实现高效的内存复用；增量规则则支持对特定记忆位置的精确更新，避免全量覆盖带来的信息损失。这两者的结合使 Gated DeltaNet 在保持线性复杂度的同时，获得了接近完整注意力的表达能力。

💡 专业提示：在企业级 AI 应用开发中，选择合适的模型架构至关重要。如果您正在进行大模型应用落地，需要专业的技术咨询和定制化开发服务，欢迎联系我们。我们提供从模型选型、架构设计到部署优化的全流程技术支持。

Qwen3.5 混合注意力架构

整体架构设计

Qwen3.5 的架构设计融合了三大核心技术组件：Gated Delta Networks 线性注意力、Gated Attention 完整注意力以及稀疏混合专家（Sparse MoE）路由机制。这种三位一体的设计使模型能够在计算效率、表达能力和推理吞吐量之间取得理想的平衡。

在整体架构层面，Qwen3.5 采用了基于层级的混合策略，根据模型配置中的 layer_types 字段决定每一层使用的注意力类型。典型的配置采用 3:1 的混合比例，即每 3 层 Gated DeltaNet 线性注意力后插入 1 层 Gated Attention 完整注意力。这种设计既保证了大部分层的计算效率，又通过定期的完整注意力层维持了模型对长程依赖的捕获能力。

值得注意的是，Qwen3.5 的混合注意力设计与稀疏 MoE 机制相互协同。MoE 机制在专家层面实现了参数的高效利用，而混合注意力则在序列层面优化了计算复杂度。两者的结合使 Qwen3.5-397B-A17B 模型虽然拥有 3970 亿总参数，但每个 Token 仅激活 170 亿参数，同时注意力计算也保持着对序列长度的近线性复杂度。

层级配置策略

Qwen3.5 的层级配置采用 JSON 格式进行定义，通过 layer_types 数组精确指定每一层的注意力类型。以下是一个典型的配置示例，展示了 24 层网络中线性注意力与完整注意力的交替分布：

{
  "num_hidden_layers": 24,
  "layer_types": [
    "linear_attention",  // Layer 0
    "linear_attention",  // Layer 1
    "linear_attention",  // Layer 2
    "full_attention",    // Layer 3
    "linear_attention",  // Layer 4
    "linear_attention",  // Layer 5
    "linear_attention",  // Layer 6
    "full_attention",    // Layer 7
    // ... 每 4 层插入一个完整注意力层
  ],
  "full_attention_interval": 4
}

配置中的 full_attention_interval 参数设置为 4，表示每隔 4 层插入一个完整注意力层。对于 24 层的网络，这意味着共有 6 个完整注意力层和 18 个线性注意力层，完整注意力层的占比为 25%。这种间隔策略经过充分的实验验证，能够在效率和表达能力之间取得最优平衡。

层级配置的灵活性还体现在可以根据不同规模的模型进行调整。对于参数量较小的模型（如 Qwen3.5-0.8B），可以适当增加完整注意力层的比例以保证表达能力；对于大规模 MoE 模型（如 Qwen3.5-397B-A17B），则可以维持较低的完整注意力层比例以最大化推理效率。

线性注意力参数配置

线性注意力层的参数配置定义了 Gated Delta Networks 的具体结构特性。这些参数共同决定了模型的记忆容量、信息更新策略以及与下层模块的交互方式。下表列出了核心参数及其典型配置值：

这些参数的合理配置对于模型的最终性能有着重要影响。键头数量（linear_num_key_heads）直接决定了模型的记忆容量上限，更高的键头数量意味着模型能够存储更丰富的历史信息；卷积核大小（linear_conv_kernel_dim）则影响模型对局部依赖的捕获能力，适当增大可以提高对短语和搭配的建模效果。

Gated DeltaNet 技术原理

核心机制解析

Gated Delta Networks 的核心创新在于将门控机制与增量规则有机结合，构建了一种兼具快速遗忘和精确更新能力的线性注意力变体。这一设计直接解决了传统线性注意力在长序列建模中的记忆管理难题。

在传统线性注意力中，信息一旦写入记忆状态就难以被选择性清除或更新，这导致了记忆状态随着序列增长而不断膨胀，既有信息的干扰也会影响新信息的写入质量。Gated DeltaNet 通过引入门控参数 β 和增量参数 Δ，实现了对记忆状态的精细化管理：

• 门控参数 β：控制每个时间步的记忆保留比例，使模型能够快速「遗忘」不再相关的历史信息
• 增量参数 Δ：定义了对现有记忆的更新方式，支持对特定位置的精确修改而非全量覆盖

从数学表达来看，Gated DeltaNet 的状态更新公式可以表示为：

S_t = β_t ⊙ S_{t-1} + Δ_t ⊗ (K_t ⊗ V_t)

其中 S_t 表示当前时刻的记忆状态，βt 是门控向量，Δt 是增量向量，K_t 和 V_t 分别是当前时刻的键值对。这种设计使模型能够在 O(1) 的状态空间内实现对任意历史位置的记忆访问和更新，同时保持着对序列长度的线性计算复杂度。

SSM 组件结构

Qwen3.5 的线性注意力层实质上是一个基于状态空间模型（SSM）的架构，包含以下核心张量组件：

1. 卷积张量（conv1d.weight）：用于局部特征提取，通常采用 1D 卷积核捕获相邻 Token 之间的局部依赖关系，核大小一般设置为 4。这一组件弥补了线性注意力对局部信息建模的不足，增强了模型对短语和搭配的理解能力。
2. 状态矩阵（A_log）：以对数形式存储的状态转移矩阵，在模型加载时通过 -exp(A_log) 转换为实际的转移权重。这种存储方式保证了数值稳定性，避免了在训练过程中可能出现的数据溢出问题。
3. 门控投影（dt_proj）：包含权重（weight）和偏置（bias），用于生成时间步长相关的门控参数，是 Gated DeltaNet 门控机制的核心实现。这一组件使模型能够根据输入内容动态调整记忆更新策略。
4. 跳跃连接（D_proj）：提供从输入到输出的直连通道，增强梯度的反向传播能力，提升模型的训练稳定性。跳跃连接是深度神经网络中的经典技巧，在 SSM 架构中同样发挥着重要作用。

这些组件共同构成了 Gated DeltaNet 的完整计算图。在实际推理过程中，模型通过递归式地更新记忆状态，实现了对任意长度序列的高效处理。与标准 Transformer 需要缓存所有历史 Key-Value 对不同，Gated DeltaNet 只需要维护一个固定大小的记忆状态，这大大降低了长序列推理时的内存占用。

🔧 实践建议：在实际项目开发中，理解模型架构的技术细节对于性能优化和问题排查至关重要。我们的技术团队在 AI 大模型应用开发领域积累了丰富的实战经验，可以为您提供从架构设计到性能调优的专业支持。如有技术咨询需求，欢迎通过文末联系方式与我们取得联系。

稀疏 MoE 混合专家架构

MoE 设计原理

Qwen3.5 系列模型采用了稀疏混合专家（Sparse Mixture-of-Experts, MoE）架构，这是一种通过条件计算实现参数高效利用的技术路线。MoE 的核心思想是将模型的 Feed-Forward Network（FFN）层替换为多个并行的专家网络，并通过路由机制为每个输入 Token 选择性地激活部分专家。

Qwen3.5 的 MoE 实现具有以下突出特点：

首先是高稀疏度设计。以 Qwen3.5-397B-A17B 为例，模型拥有 3970 亿总参数，但每个 Token 仅激活 170 亿参数，稀疏度高达 95.7%。这意味着在推理时，模型的实际计算量仅相当于一个 170 亿参数的稠密模型，大大降低了对硬件资源的要求。

其次是共享专家机制。除了可路由的专家外，还设计了共享专家层，所有 Token 都会经过这些共享专家处理。这种设计确保了基础能力的稳定性，避免了专家路由可能带来的能力不均衡问题。

第三是 Top-K 路由策略。采用 Top-8 路由从 64 个专家中选择最相关的专家组合，在专家多样性和计算效率之间取得了良好的平衡。路由决策基于输入 Token 的特征向量，通过可学习的路由网络实现端到端训练。

MoE 架构与混合注意力机制的结合产生了显著的协同效应。MoE 在专家层面实现了参数的高效利用，使模型能够在有限的激活参数量下获得强大的表达能力；混合注意力则在序列层面优化了计算复杂度，使模型能够高效处理超长上下文。两者的结合使 Qwen3.5 成为一个在参数规模、计算效率和模型性能三个维度上都达到行业领先水平的模型系列。

模型规格对比

Qwen3.5 系列提供了多种规模的模型变体，以适应不同的应用场景和部署环境。下表列出了主要模型的规格参数：

不同规模的模型在性能、资源消耗和部署难度上各有特点，开发者可以根据实际需求和硬件条件选择合适的模型变体。对于资源受限的边缘设备，Qwen3.5-0.8B 是理想选择；对于追求极致性能的企业级应用，Qwen3.5-397B-A17B 则能提供最强大的能力支持。

混合策略优势分析

计算效率显著提升

混合注意力架构带来的计算效率提升是多维度的。以 24 层、序列长度 32K 的模型配置为例，我们可以对比不同注意力策略的计算开销：

从表中可以看出，混合注意力策略在保留完整注意力层的同时，整体计算量减少了约 56%。更重要的是，这种计算量的降低并不以牺牲模型性能为代价。根据官方基准测试，Qwen3.5 在多项任务上的表现与纯完整注意力模型相当甚至更优，这得益于 Gated DeltaNet 卓越的长程建模能力和混合策略对注意力模式的互补增强。

内存占用大幅优化

完整注意力需要存储 L×L 的注意力矩阵，而线性注意力只需要维护 L×d 的中间状态。对于长序列场景，这种差异带来的内存节省是显著的。下表对比了不同序列长度下各注意力策略的内存占用：

从表中数据可以清楚地看到，混合注意力策略使 Qwen3.5 能够在单机多卡环境下处理 262K 超长上下文，而纯完整注意力模型在这种情况下将面临严峻的硬件瓶颈。这也是 Qwen3.5 最大支持 262K 上下文的技术基础。

上下文感知能力保障

虽然线性注意力在计算效率上具有显著优势，但其在捕获长程依赖方面存在一定的局限性。线性注意力的递归式状态更新会导致信息的逐步衰减，距离当前位置越远的历史信息，其影响力越弱。这对于需要精确检索历史上下文的任务（如文档问答、代码补全等）可能造成性能损失。

Qwen3.5 的混合策略通过定期插入完整注意力层（每 4 层）有效解决了这一问题。完整注意力层能够精确建模任意两个位置之间的依赖关系，不存在信息衰减问题。通过将完整注意力层均匀分布在网络中，模型既能够利用线性注意力的高效计算特性，又能够通过完整注意力层「刷新」对历史上下文的精确访问能力。

这种设计特别适合需要高联想回忆（Associative Recall）能力的应用场景。例如，在长文档问答任务中，模型需要在数万 Token 的上下文中准确定位答案片段。混合注意力架构使 Qwen3.5 在这类任务中表现出色，同时保持着高效的推理速度。SGLang 等推理框架的官方文档也特别指出，Qwen3.5 的混合注意力设计是为了实现「高联想回忆」能力而精心优化的。

实际应用案例

模型配置示例

以下是 Qwen3.5-0.8B 模型的完整配置示例，展示了混合注意力架构的核心参数配置。这一配置可直接用于 HuggingFace Transformers 框架加载模型：

{
  "model_type": "qwen3_5_text",
  "hidden_size": 1024,
  "num_hidden_layers": 24,
  "num_attention_heads": 8,
  "num_key_value_heads": 2,
  "max_position_embeddings": 262144,
  "partial_rotary_factor": 0.25,
  "layer_types": [
    "linear_attention", "linear_attention",
    "linear_attention", "full_attention"
    // ... 重复 6 次
  ],
  "full_attention_interval": 4,
  "linear_conv_kernel_dim": 4,
  "linear_key_head_dim": 128,
  "linear_num_key_heads": 16,
  "linear_value_head_dim": 128
}

配置中的 partial_rotary_factor 参数设置为 0.25，表示旋转位置编码（RoPE）仅应用于 25% 的注意力头维度。这种设计进一步降低了位置编码的计算开销，同时保持了对位置信息的有效编码能力。max_position_embeddings 参数设置为 262144，对应 262K 的最大上下文窗口。

模型转换与部署

Qwen3.5 模型可以通过 llama.cpp 工具链转换为 GGUF 格式，以实现高效的 CPU/GPU 混合推理。

⚠️ 重要提示：由于 Qwen3.5 采用了创新的混合注意力架构，包含 Gated DeltaNet 线性注意力层，llama.cpp 官方仓库版本目前尚不支持 Qwen3.5 模型的转换。需要使用 tekintian/llama.cpp 维护的版本，该版本由 tekintian 专门为 Qwen3.5 的混合注意力架构添加了支持功能。

转换过程需要对线性注意力张量进行特殊处理：

# 状态矩阵转换：A_log = -exp(A_log)
if name.endswith(".linear_attn.A_log"):
    data_torch = -torch.exp(data_torch)
    new_name = name.replace(".linear_attn.", ".ssm.")
# 门控偏差重命名
elif name.endswith(".dt_bias"):
    new_name = name.replace(".dt_bias", ".dt_proj.bias")
# 卷积张量降维
elif "conv1d" in name:
    data_torch = data_torch.squeeze()

第一步：获取支持 Qwen3.5 的 llama.cpp 版本

# 克隆 tekintian 维护的 llama-cpp" target="_blank">llama.cpp 仓库（包含 Qwen3.5 支持）
git clone https://github.com/tekintian/llama-cpp" target="_blank">llama.cpp.git
cd llama-cpp" target="_blank">llama.cpp
# 安装依赖
pip install -r requirements.txt

第二步：转换模型为 GGUF 格式

使用 tekintian 增强的转换脚本将 HuggingFace 格式的模型转换为 GGUF 格式：

python convert_hf_to_gguf.py \
  --model demo/qwen3.5-0.8B-custom-finetuned \
  --outfile demo/qwen3.5-0.8B-custom-finetuned.gguf \
  --outtype f16

第三步：编译并运行推理

# 编译 llama-cpp" target="_blank">llama.cpp
make
# 运行推理
./llama-cli \
  -m demo/qwen3.5-0.8B-custom-finetuned.gguf \
  -p "你好，请介绍一下 Qwen3.5 的混合注意力机制" \
  -n 512 -c 32768

关于 Qwen3.5 混合注意力架构的转换实现细节，可以参考 convert_hf_to_gguf.py 中的相关代码。

📋 部署建议：模型部署是 AI 应用落地的关键环节，涉及推理优化、服务化封装、监控运维等多个方面。我们持续跟进最新的模型架构和推理技术，为 Qwen3.5 等新架构提供及时的部署支持。如果您需要企业级的模型部署解决方案，或者希望将大模型能力整合到现有业务系统中，欢迎咨询我们的技术服务团队。我们专注于互联网软件研发和 AI 大模型应用开发，可提供端到端的解决方案。

与其他架构的对比

与 Qwen2 的区别

Qwen3.5 相比前代 Qwen2 系列实现了架构层面的重大升级。下表详细对比了两代模型的核心差异：

从对比可以看出，Qwen3.5 在多个关键维度上都实现了质的飞跃。最大序列长度从 32K 提升到 262K，增长了 8 倍以上；计算复杂度从平方级优化为近线性级，显著降低了长序列处理的成本；原生多模态能力的引入更是扩展了模型的应用边界，使其能够处理图像和文本的联合输入。

与纯线性注意力模型的对比

纯线性注意力模型（如某些 Mamba 变体）虽然计算效率极高，但在以下方面可能存在不足：复杂推理任务的准确率可能下降，需要精细的调参才能达到与完整注意力相当的性能，对位置编码的敏感性更高。Qwen3.5 的混合策略通过保留 25% 的完整注意力层，有效避免了这些问题。

在实际测试中，纯线性注意力模型在某些需要精确上下文检索的任务上表现不如完整注意力模型。例如，在「大海捞针」（Needle In A Haystack）测试中，纯线性注意力模型在超长上下文的信息检索准确率会随着上下文长度增加而下降。而 Qwen3.5 由于定期插入完整注意力层，在这类测试中保持了稳定的高准确率，证明了混合策略的有效性。

与 Kimi Linear 的对比

Kimi Linear 是另一款采用类似混合注意力架构的模型，同样使用 3:1 的线性注意力与完整注意力比例。两者的设计理念相似，都认识到纯线性注意力在表达能力上的局限，选择通过混合策略来平衡效率与性能。

Qwen3.5 的独特之处在于其与稀疏 MoE 架构的深度整合。Kimi Linear 主要聚焦于注意力层面的优化，而 Qwen3.5 同时在注意力机制和专家路由两个维度实现了创新。此外，Qwen3.5 的原生多模态能力使其在视觉语言任务上也具有优势，这是 Kimi Linear 所不具备的。

未来发展方向

混合注意力架构的引入标志着大语言模型架构设计进入了一个新阶段。基于 Qwen3.5 的成功实践，我们可以预见以下几个重要的发展方向：

1. 自适应混合策略：未来的模型可能根据输入序列的特性和任务需求，动态调整注意力类型的使用频率。例如，对于需要精确检索的任务可以增加完整注意力层的激活，而对于简单生成任务则主要依赖线性注意力层。这种自适应机制将进一步优化计算资源的利用效率。
2. 量化优化：针对 Gated DeltaNet 中的 SSM 张量（如 A_log、dt_proj）开发更高效的量化方案。当前主流的 INT4/INT8 量化主要针对权重矩阵设计，SSM 状态张量的量化策略仍有优化空间。专门的量化方案有望在保持模型性能的同时进一步降低内存占用和推理延迟。
3. 硬件协同设计：针对混合注意力机制的专用硬件加速器。当前 GPU 在处理递归式 SSM 计算时效率有限，专用硬件（如 NPU 中的 SSM 加速单元）有望带来数量级的性能提升。这一方向已经引起学术界和工业界的广泛关注。
4. 更细粒度的混合：在层内部对不同注意力头采用不同的注意力策略。例如，某些注意力头可以专注于局部依赖（使用线性注意力），而另一些头则负责全局信息整合（使用完整注意力）。这种细粒度的混合可能带来更优的效率-性能权衡。
5. 跨模态混合注意力：将混合注意力架构扩展到多模态场景。对于视觉语言模型，图像 Token 和文本 Token 可以采用不同的注意力策略，进一步优化多模态推理的效率。Qwen3.5 的原生多模态能力已经为这一方向奠定了基础。

总结

Qwen3.5 的混合注意力机制代表了长文本模型架构设计的重要突破。通过巧妙结合 Gated Delta Networks 线性注意力和完整注意力，并融合稀疏 MoE 架构，它在计算效率、内存占用和模型质量之间取得了理想的平衡。

从技术层面看，3:1 的混合注意力比例经过充分验证，能够在保证模型性能的前提下将计算复杂度从平方级降低到近线性级。Gated DeltaNet 的门控机制和增量规则使线性注意力层具备了强大的记忆管理能力，而定期的完整注意力层则确保了对长程依赖的精确建模。这种设计使 Qwen3.5 能够支持高达 262K 的上下文窗口，同时保持着业界领先的推理吞吐量。

从应用层面看，Qwen3.5 的混合注意力架构不仅适用于大规模部署场景，也为长文本理解、多轮对话、代码生成等任务提供了强大的技术支撑。其开源策略和完善的工具链支持也降低了开发者的使用门槛。

展望未来，混合注意力架构有望成为大语言模型的主流设计范式。随着自适应策略、专用硬件和量化技术的不断发展，我们期待看到更高效、更强大的混合注意力模型涌现，推动人工智能技术的持续进步。

参考资料

1. Qwen3.5 官方博客 - GitHub 仓库
2. llama.cpp (Qwen3.5 支持版本) - tekintian
3. 技术与认知
4. SGLang 文档 - Qwen 3.5 使用指南
5. Gated Delta Networks 论文
6. DeltaNet Explained - Songlin Yang
7. Sebastian Raschka - LLM Architectures Analysis
8. Hugging Face - Qwen3.5-0.8B 模型卡

写在最后

本文是笔者在学习研究 Qwen3.5 模型架构过程中的一些心得体会和技术总结。作为一个技术爱好者，我始终保持着对新技术的好奇心和探索欲。Qwen3.5 的混合注意力架构确实让我眼前一亮——它用一种优雅的方式解决了长文本处理的效率难题，这种工程智慧值得深入学习。

文章中关于模型转换部署的部分，是我在实际测试过程中踩过的坑。官方 llama.cpp 暂不支持 Qwen3.5，所以我自己动手扩展了转换脚本，希望能帮到同样在折腾这个模型的朋友。如果文章中有任何疏漏或错误，欢迎指正交流。

技术交流与合作：

• 📮 邮箱：tekintian@gmail.com
• 💬 QQ：932256355
• 📱 公众号：技术与认知
• 🔗 GitHub：github.com/tekintian

欢迎关注公众号「技术与认知」，我会持续分享 AI 技术学习笔记、源码解读和实战经验。如果你在 Qwen3.5 部署或 AI 应用开发中遇到问题，也欢迎一起交流探讨。

本文系笔者技术研究心得，基于 Qwen3.5 官方资料和实际测试整理。转载请注明作者 tekintian 及出处。