无Tokenizer时代真要来了？Mamba作者再发颠覆性论文，挑战Transformer

本文介绍了由Mamba作者之一Albert Gu参与的研究，提出了一种名为H-Net的分层网络，旨在通过动态分块机制取代传统的tokenization过程，实现真正端到端的语言模型。研究背景是当前tokenization存在可解释性差、处理复杂语言性能下降等问题。研究目的是通过H-Net的动态分块技术，自动发现和操作有意义的数据单元，从而提升模型性能。实验结果表明，H-Net在英语预训练中展现出更强的字符级鲁棒性，并在中文、代码和DNA序列等任务中显著优于基于token的Transformer模型，数据效率提升近4倍。结论表明，H-Net代表了首个真正的端到端无tokenizer语言模型，具有更优的学习和扩展潜力。