简介循环神经网络RNN是处理序列数据的经典深度学习模型而LSTM通过门控机制有效缓解了长序列训练中的梯度消失问题成为文本生成任务的热门选择。在自然语言处理中字符级建模无需分词即可直接学习汉字间的依赖关系尤其适合古诗这种格式规整的文本。基于TensorFlow构建Embedding-LSTM-Dense网络结构配合滑窗数据增强与温度采样策略可以训练出自动续写唐诗的生成模型。此类技术不仅能用于古诗创作辅助还可扩展至宋词、歌词等生成场景。本文以唐诗写作为例详细讲解语料清洗、词汇表构建、模型参数配置、训练流程及常见排错指南帮助开发者快速上手循环神经网络文本生成项目。1. 项目概述与核心需求解析1.1 这个期末大作业到底在做什么唐诗写作生成器本质上是一个基于字符级循环神经网络的文本生成项目。用大白话说就是给模型喂大量的唐诗让它学习唐诗中汉字出现的规律和上下文关系然后当我们给出一个起始字或起始句时模型会自动续写出看起来像模像样的诗句。这个项目选型非常典型TensorFlow作为深度学习框架LSTM-RNN作为核心网络结构Python作为实现语言。之所以成为期末大作业的热门选择是因为它几乎覆盖了深度学习入门阶段所有核心知识点数据预处理、序列建模、词嵌入、循环神经网络、损失函数设计、采样生成策略等同时成果展示性强——训练出来的模型可以直接生成诗句看着很炫酷答辩时也容易讲清楚。1.2 需求拆解与技术选型逻辑从期末大作业这个定位出发这个项目需要解决几个核心问题数据从哪来唐诗语料库怎么获取、怎么清洗、怎么处理成模型能吃的格式模型怎么搭Embedding层、LSTM层、Dense层的结构怎么设计参数怎么定训练怎么跑损失函数选什么、优化器怎么配、训练轮次和批次怎么调诗句怎么生成训练好的模型如何被用来生成新的唐诗采样策略怎么选技术选型上TensorFlow的优势在于生态成熟、文档丰富、API相对稳定。选择LSTM-RNN而不是普通RNN或GRU是因为LSTM通过门控机制有效缓解了长序列训练中的梯度消失问题。举例来说如果我们要模型记住一首五言绝句前两句的语义在生成后两句时依然能呼应普通RNN在处理这种超过20个字符的依赖关系时已经很吃力了而LSTM可以比较稳定地保留这些信息。代码层面如果用GPU跑建议TensorFlow 2.5以上版本如果纯CPU训练则建议把网络规模调小一些后面我会给出具体的参数参考值。2. 数据准备与预处理细节2.1 语料库选择与基础清洗唐诗语料库推荐使用全唐诗数据集网上有不少整理好的版本通常包含约五万首唐诗涵盖初唐到五代的诗人作品。但如果只是期末大作业不需要贪多求全实际训练中我建议筛选出两三千首比较工整的五言或七言绝句和律诗即可这样既能保证训练效率又能让模型学到足够丰富的句式结构。拿到原始语料后第一件事是清洗。全唐诗数据集中常见的问题包括诗题、作者、注释混在一起需要按规则过滤掉全角空格、生僻字、繁体字混杂需要统一处理有些诗不完整或格式混乱需要按长度过滤我当时的处理方式是先按文件或段落拆分出每首诗然后用正则去掉非汉字字符只保留诗名、作者、正文中正文的部分最终将每首诗拼接成连续的字符串序列。对于生僻字我保留了一个高频字表只使用出现频率排名前2000~3000的汉字其余全部替换为 标记这样可以有效减少词汇表大小降低训练难度。2.2 字符级还是词级建模粒度的抉择唐诗生成项目有一个关键决策用字符级建模还是词级建模。我强烈建议字符级理由很实在——中文分词在古诗词场景下容易出错且词表会变得非常大训练效率低。而字符级建模把每个汉字当作一个token五言绝句二十个字就是二十个时间步序列长度适中非常适合LSTM的训练和生成。具体来说字符级建模的流程是统计语料中所有出现的汉字建立字形到索引的映射表把每首诗转换成索引序列比如床前明月光变成[12, 87, 34, 95, 67, 120]设定序列长度seq_length比如40个字符用滑窗截取训练样本每个样本的输入是前N个字符标签是往后偏移一位的字符序列举个例子假设seq_length设为40语料中有床前明月光疑是地上霜那么我们会截出两个样本样本1输入床前明月光疑是地上霜举头望明月标签前明月光疑是地上霜举头望明月低样本2输入前明月光疑是地上霜举头望明月低标签明月光疑是地上霜举头望明月低头这种滑窗方式实际上是把每首诗展开成无数个有重叠的训练片段大幅扩充了训练数据量。我当时用2500首诗seq_length设为40训练样本轻松过了几万个足够训练一个像样的模型了。2.3 数据预处理代码实现这里给出我当时的预处理代码框架可以直接参考import numpy as np import re from collections import Counter def load_and_clean_data(file_path): with open(file_path, r, encodingutf-8) as f: raw_text f.read() # 只保留汉字和基本标点句号、逗号、顿号 text re.sub(r[^\u4e00-\u9fff。、\n], , raw_text) # 按行拆分过滤掉过短或过长的行 lines [line.strip() for line in text.split(\n) if line.strip()] poems [line for line in lines if 10 len(line) 80] return .join(poems) def build_vocab(text, vocab_size3000): counter Counter(text) most_common counter.most_common(vocab_size - 1) # 留一个位置给UNK vocab {char: idx 1 for idx, (char, _) in enumerate(most_common)} vocab[UNK] 0 # 索引0留给未知字符 idx_to_char {idx: char for char, idx in vocab.items()} return vocab, idx_to_char def text_to_sequences(text, vocab, seq_length40): sequences [] # 转换整个语料为索引序列 indices [] for char in text: indices.append(vocab.get(char, 0)) # 滑窗截取训练样本 for i in range(0, len(indices) - seq_length, 1): seq_in indices[i:i seq_length] seq_out indices[i seq_length] # 预测下一个字符 sequences.append((seq_in, seq_out)) return sequences这段代码的关键点在于build_vocab函数中预留了UNK槽位防止训练时遇到未登录字导致程序崩溃。另一个细节是滑窗步长设为1虽然会生成大量高度重叠的样本但对于文本生成任务来说这种数据增强方式被证明非常有效。3. 模型结构设计与核心参数配置3.1 Embedding层让汉字变成向量LSTM不能直接处理整数索引需要先经过Embedding层把每个汉字映射为一个稠密向量。Embedding层本质上是一个查找表每一行对应一个汉字的向量表示。这个向量不是预先训练好的比如Word2Vec而是作为模型的一部分从随机初始化开始随着训练过程不断调整。关于Embedding维度我建议设为128或256。维度太小模型难以区分不同汉字之间的语义差异维度太大参数量激增在数据量有限的情况下反而容易过拟合。128维在几万训练样本的规模下是一个比较稳妥的选择。3.2 LSTM层记忆与遗忘的平衡LSTM的核心思想是引入了一个细胞状态cell state可以理解为一条贯穿整个序列的传送带信息可以在传送带上稳定传递同时通过三个门控机制遗忘门、输入门、输出门控制信息的写入和读取。在唐诗生成场景中LSTM需要记住的信息包括当前诗句的主题意境、押韵要求、对仗关系、以及前面几个字对后面用词的影响。举个具体的例子如果前文出现了春那么后面出现花风月江的概率应该增加如果出现了愁则情感基调偏哀婉用词需要相应调整。LSTM的门控机制让模型在训练中自行学习这些复杂的依赖关系。LSTM隐藏单元数量units的选择是一个关键调参点。我的经验值是128个units在小数据集上训练速度快但生成质量一般256个units是性价比最高的选择512个units在数据量超过一万首诗时效果更好但对CPU训练来说非常慢。import tensorflow as tf def build_model(vocab_size, embedding_dim128, rnn_units256, batch_size64): model tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_dim), tf.keras.layers.LSTM( rnn_units, return_sequencesFalse, # 只返回最后一个时间步的输出 statefulTrue, # 有状态的LSTM训练时可以跨batch传递状态 recurrent_initializerglorot_uniform ), tf.keras.layers.Dense(vocab_size) ]) return model注意这里的return_sequencesFalse表示我们只取LSTM最后一个时间步的输出因为我们的任务是给定前N个字预测第N1个字只需要最后一个时刻的隐藏状态即可。而statefulTrue代表有状态模式batch之间会传递细胞状态这在训练序列模型时能保持上下文连续性。3.3 损失函数与优化器选择模型输出层是一个Dense层输出维度等于词汇表大小每个位置对应一个汉字的得分logits。我们需要将这些得分通过softmax转换为概率分布然后计算与真实标签的交叉熵损失。TensorFlow中可以直接使用tf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue)这样模型在训练时不需要手动加Softmax层数值上更稳定。优化器我推荐Adam初始学习率设为0.001。Adam的优势在于自适应调整每个参数的学习率对新手来说几乎不需要手动调整学习率衰减策略。训练轮次方面我在2500首诗的数据集上训练了50个epoch左右loss从最初的5.8左右下降到了1.2附近。这里有个经验如果loss下降到一定程度后长时间不再下降但生成的文本依然不连贯多半是模型容量不够或数据量不足此时增加LSTM层数或units数量可能比盲目的增加轮次更有效。3.4 关于过拟合的讨论因为是期末大作业很多人会忽视过拟合问题。但实际上当训练loss降得很低比如低于0.5而验证集表现不佳时模型可能已经把训练数据背下来了生成的文本会大量复现训练集中的原句。解决过拟合的常用手段包括增加Dropout层建议在Embedding后加一个Dropout(0.2)增加L2正则化不过对RNN来说效果不如CNN明显增加训练数据量这是最朴素也最有效的方法提前停止Early Stopping监控验证集loss对于期末大作业我建议重点关注训练曲线是否平滑下降、生成文本是否合理而不是过分追求loss绝对值的低。一个loss在1.5左右但生成的文本逻辑通顺、意境尚可的模型比一个loss降到0.3但只会背原文的模型在答辩时更站得住脚。4. 训练流程与生成策略实现4.1 完整训练流程训练流程的设计直接影响模型的最终效果。这里给出我之前实践过的完整流程import tensorflow as tf import numpy as np # 1. 准备数据 text load_and_clean_data(tang_poems.txt) vocab, idx_to_char build_vocab(text, vocab_size3000) sequences text_to_sequences(text, vocab, seq_length40) # 2. 构建训练集 X np.array([seq[0] for seq in sequences], dtypenp.int32) y np.array([seq[1] for seq in sequences], dtypenp.int32) # 3. 构建模型 model build_model(vocab_sizelen(vocab), embedding_dim128, rnn_units256, batch_size64) # 4. 编译模型 loss tf.losses.SparseCategoricalCrossentropy(from_logitsTrue) model.compile(optimizeradam, lossloss) # 5. 训练 checkpoint_callback tf.keras.callbacks.ModelCheckpoint( filepathmodel_checkpoint.weights.h5, save_weights_onlyTrue, save_best_onlyTrue ) history model.fit( X, y, batch_size64, epochs50, callbacks[checkpoint_callback] )这里有几个实操细节想强调一下批次大小batch_size这个超参数经常被忽略但它的影响很大。batch_size太大比如256模型收敛速度快但泛化能力可能下降batch_size太小比如16训练过程会非常震荡且耗时。64是一个稳妥的中间值。如果用的是CPU建议再调小到32。检查点Checkpoint训练中途断电或崩溃是常有的事没有检查点就意味着前功尽弃。ModelCheckpoint回调可以在每个epoch结束后自动保存表现最好的模型权重后面继续训练或直接加载都非常方便。训练时间预估在CPU上训练一个2500首诗、sequence长度40、LSTM units 256的模型每个epoch大约需要5到10分钟50个epoch总共约4到8小时。如果时间有限可以把训练轮次降到20个epoch效果虽然差一些但足以展示完整的项目流程。4.2 生成策略贪心、随机与温度采样模型训练完成后最关键的一步是如何从模型输出的概率分布中采样生成文本。这里有三种常见策略贪心采样Greedy Sampling每次选择概率最大的字符。这种方法生成的文本最安全但也最容易陷入重复循环。连续输出月明星稀稀稀稀这种尴尬局面的情况并不少见。随机采样Random Sampling按照概率分布随机抽取。这种方法增加了文本多样性但可能生成完全不通顺的内容。温度采样Temperature-based Sampling在Softmax之前除以一个温度参数T然后进行随机采样。T越小趋近于0输出越接近贪心采样文本越保守T越大输出越随机多样但出错概率也增大。def generate_text(model, start_string, num_generate100, temperature0.8): # 将起始字符串转换为索引序列 input_indices [vocab.get(c, 0) for c in start_string] input_eval tf.expand_dims(input_indices, 0) text_generated [] model.reset_states() for _ in range(num_generate): predictions model(input_eval) # 除以温度参数并计算softmax概率 predictions predictions / temperature predicted_id tf.random.categorical(predictions, num_samples1)[-1, 0].numpy() # 将预测的字符追加到结果中 text_generated.append(idx_to_char[predicted_id]) # 把预测的字符作为下一个输入只保留最后一位 input_eval tf.expand_dims([predicted_id], 0) return start_string .join(text_generated)温度参数的调节是生成效果的关键。我的经验是唐诗这种高度格式化的文本温度在0.6到0.9之间效果最好。0.5以下容易变成复读机1.0以上则经常产生不存在的汉字组合。另外代码中model.reset_states()很重要它清空了LSTM的隐藏状态确保每次生成都是从零开始不会受到上一次生成结果的影响。4.3 让生成诗句更符合格律的小技巧基础版模型生成的文本虽然通顺但往往不符合唐诗的韵律和格式要求。如果你想让项目更有亮点可以尝试以下进阶技巧强制五言或七言结构在生成过程中设定每句长度限制每五个或七个字符强制添加句读逗号或句号。具体实现时可以跟踪当前句子的长度达到目标长度后在词表中选择句读符作为下一个字符。押韵约束唐诗通常每联最后一个字押韵。可以在生成最后一个字时从韵脚字集合中采样。最简单的实现是预先准备一个常用韵脚表在模型输出的概率基础上对韵脚字施加一个偏向权重比如乘以1.5提高它们被选中的概率。主题引导如果希望生成以月为主题的诗可以在起始字符串中直接给出月字或者在模型输入前拼接一个主题向量。后一种方法更复杂需要修改模型结构对期末大作业来说不太必要。这些进阶技巧虽然不能保证生成严格合规的格律诗但能让生成结果在形式上更贴近唐诗的观感在期末答辩中非常加分。5. 常见问题与排错合集5.1 训练loss不下降或下降极慢这种情况非常常见原因可能有几种学习率过大导致震荡可以尝试把学习率从0.001降到0.0003数据没有归一化LSTM对输入范围比较敏感确保Embedding输入是整数索引不要误传入One-Hot向量模型结构有误检查LSTM的return_sequences设置是否正确如果是多层的LSTM堆叠中间层必须设置return_sequencesTrue词汇表过大但数据量不足把词表从3000缩小到1000让模型专注于学习高频字的用法我遇到过最离谱的一次是loss值始终在5.0以上不动排查了很久发现是text_to_sequences函数中滑窗的range结束条件写错了导致所有样本的输入输出完全相同——模型当然什么都学不到。所以遇到异常情况优先打印几个样本来检查数据和标签是否对齐。5.2 生成结果全是重复字符这是所有文本生成项目最容易遇到的问题。如果你生成的内容是夜夜夜夜夜夜或花花花花花说明温度系数太低模型基本在走贪心路径导致高频字符被反复选择。解决方案# 把温度调到0.8或更高 generate_text(model, 床前, num_generate40, temperature0.8)如果调整温度后依然复读可能是模型容量太小或欠拟合。试着增加LSTM层数比如两层LSTM堆叠并加大训练轮次。5.3 生成的诗完全不像唐诗当生成结果虽然连贯但缺乏唐诗味时问题通常出在数据层面。唐诗的语料需要包含绝句、律诗等完整作品而不是把所有诗句随机打乱拼接。我当时的一个做法是在数据预处理阶段用诗名、作者等信息把每首诗分割成独立单元然后在每个单元末尾加一个特殊结束符比如\n这样LSTM可以学到诗的结束概念。同时确保数据集里五言诗和七言诗保持合理比例避免模型偏向某一种格式。另外检查一下语料中是否混杂了宋词、元曲或现代诗。有些公开的全唐诗数据集并不干净混杂了其他朝代的作品这会让模型的输出风格跑偏。5.4 推理阶段报错维度不匹配训练时用的batch_size是64推理时输入只有一个样本维度为[1, seq_length]这可能导致维度不匹配的报错尤其是使用了statefulTrue时。解决方案是在训练结束后把模型重新构建为batch_size1的推理版本。# 重新构建推理模型batch_size1 infer_model build_model(vocab_sizelen(vocab), batch_size1) infer_model.load_weights(model_checkpoint.weights.h5)注意build_model函数中的batch_size参数要和加载的权重匹配。如果不匹配load_weights会报错。5.5 显存不足或内存溢出虽然文本生成模型相对较小但如果数据量过大比如用了全唐诗五万首加上深层LSTM在GPU上训练也可能遇到显存不足。解决思路是缩小batch_size比如从64降到32使用model.fit的steps_per_epoch参数限制每个epoch的步数如果是在Colab平台确保使用GPU运行时6. 项目扩展与答辩加分建议6.1 从LSTM到GRU的对比实验如果你想在期末答辩中展现更深入的理解可以做一个LSTM和GRU的对比实验。GRU是LSTM的简化版本将遗忘门和输入门合并为更新门参数更少、训练更快在很多序列任务上效果与LSTM相当。具体的对比维度可以包括训练时间、loss收敛速度、生成文本质量可以人工打分。用两组实验数据说话会非常有说服力。这部分的代码改造非常简单只需要把tf.keras.layers.LSTM换成tf.keras.layers.GRU即可。6.2 从字符级到词级的对比分析可以在项目中同时实现字符级和词级两个版本的模型并对比生成效果。词级模型需要分词工具比如jieba但中文古诗词分词效果并不理想。这个对比实验恰恰能说明为什么在古诗生成场景下选择字符级建模更合理。6.3 生成结果的评价方法期末答辩中如果被问如何评价生成质量除了人工主观感受之外可以从以下几个角度量化分析困惑度Perplexity模型对测试集数据的困惑度越低说明模型对语言规律的建模能力越强重复率生成文本中n-gram重复的比例重复率过高说明模型陷入循环押韵率统计生成诗句的尾字是否在押韵关系上人工评价设计一个简单的评分表从通顺度、意境、格律三个维度让同学打分哪怕只是简单的统计表格都会让你的项目看起来非常扎实。6.4 将模型部署为Web应用如果你还有余力用Flask或Streamlit把训练好的模型包装成一个简单的Web应用用户输入起始字网页返回生成的唐诗。这种可视化交互的效果在演示环节非常惊艳。Streamlit的代码量很少但效果非常直观import streamlit as st st.title(唐诗生成器) start st.text_input(请输入起始字或起始句, 床前明月光) temperature st.slider(温度参数, 0.2, 1.5, 0.8) if st.button(生成): result generate_text(infer_model, start, num_generate40, temperaturetemperature) st.write(result)不过我有一个补充建议期末演示环节还是以本地代码为主Web应用可以做成一个彩蛋在最后展示不要喧宾夺主。7. 实操总结我踩过的那些坑希望你别再踩这个项目前前后后我做了将近两周反复调试了很多次。总结下来有几个教训如果能早点知道会节省大量时间。第一数据预处理一定要多打印中间结果确认。不要觉得清洗好的文本看起来没问题就直接开始训练一定要打印出前几个训练样本检查输入输出是否对齐、词汇表是否有遗漏、特殊字符是否被正确替换。数据出了问题模型训练再久也是白费。第二训练过程一定要设置Checkpoint。我中途有一次训练到第40个epoch时系统崩溃因为没有保存检查点所有训练时间全部浪费。看似是基础操作但很多人在赶作业时都会忽略。第三不要盲目堆模型复杂度。我一开始试图用三层LSTM、512个units来追求更高质量结果训练时间翻了几倍效果反而变差。对于几千首诗的数据量来说单层LSTM配256个units是完全够用的先把基线模型跑通再去考虑优化。最后关于这个项目的后续扩展方向除了唐诗生成同样的技术架构可以迁移到宋词生成、现代诗生成、歌词生成甚至对联生成。换一个训练语料换个起始条件模型结构基本不用改。框架跑通之后换应用场景就是换数据的事。这也是把期末大作业做好之后最有价值的地方——你掌握的是一套文本生成能力而不是死记了一个唐诗项目。本文还有配套的精品资源点击获取
基于LSTM的唐诗生成器：从字符级建模到训练策略全解析
简介循环神经网络RNN是处理序列数据的经典深度学习模型而LSTM通过门控机制有效缓解了长序列训练中的梯度消失问题成为文本生成任务的热门选择。在自然语言处理中字符级建模无需分词即可直接学习汉字间的依赖关系尤其适合古诗这种格式规整的文本。基于TensorFlow构建Embedding-LSTM-Dense网络结构配合滑窗数据增强与温度采样策略可以训练出自动续写唐诗的生成模型。此类技术不仅能用于古诗创作辅助还可扩展至宋词、歌词等生成场景。本文以唐诗写作为例详细讲解语料清洗、词汇表构建、模型参数配置、训练流程及常见排错指南帮助开发者快速上手循环神经网络文本生成项目。1. 项目概述与核心需求解析1.1 这个期末大作业到底在做什么唐诗写作生成器本质上是一个基于字符级循环神经网络的文本生成项目。用大白话说就是给模型喂大量的唐诗让它学习唐诗中汉字出现的规律和上下文关系然后当我们给出一个起始字或起始句时模型会自动续写出看起来像模像样的诗句。这个项目选型非常典型TensorFlow作为深度学习框架LSTM-RNN作为核心网络结构Python作为实现语言。之所以成为期末大作业的热门选择是因为它几乎覆盖了深度学习入门阶段所有核心知识点数据预处理、序列建模、词嵌入、循环神经网络、损失函数设计、采样生成策略等同时成果展示性强——训练出来的模型可以直接生成诗句看着很炫酷答辩时也容易讲清楚。1.2 需求拆解与技术选型逻辑从期末大作业这个定位出发这个项目需要解决几个核心问题数据从哪来唐诗语料库怎么获取、怎么清洗、怎么处理成模型能吃的格式模型怎么搭Embedding层、LSTM层、Dense层的结构怎么设计参数怎么定训练怎么跑损失函数选什么、优化器怎么配、训练轮次和批次怎么调诗句怎么生成训练好的模型如何被用来生成新的唐诗采样策略怎么选技术选型上TensorFlow的优势在于生态成熟、文档丰富、API相对稳定。选择LSTM-RNN而不是普通RNN或GRU是因为LSTM通过门控机制有效缓解了长序列训练中的梯度消失问题。举例来说如果我们要模型记住一首五言绝句前两句的语义在生成后两句时依然能呼应普通RNN在处理这种超过20个字符的依赖关系时已经很吃力了而LSTM可以比较稳定地保留这些信息。代码层面如果用GPU跑建议TensorFlow 2.5以上版本如果纯CPU训练则建议把网络规模调小一些后面我会给出具体的参数参考值。2. 数据准备与预处理细节2.1 语料库选择与基础清洗唐诗语料库推荐使用全唐诗数据集网上有不少整理好的版本通常包含约五万首唐诗涵盖初唐到五代的诗人作品。但如果只是期末大作业不需要贪多求全实际训练中我建议筛选出两三千首比较工整的五言或七言绝句和律诗即可这样既能保证训练效率又能让模型学到足够丰富的句式结构。拿到原始语料后第一件事是清洗。全唐诗数据集中常见的问题包括诗题、作者、注释混在一起需要按规则过滤掉全角空格、生僻字、繁体字混杂需要统一处理有些诗不完整或格式混乱需要按长度过滤我当时的处理方式是先按文件或段落拆分出每首诗然后用正则去掉非汉字字符只保留诗名、作者、正文中正文的部分最终将每首诗拼接成连续的字符串序列。对于生僻字我保留了一个高频字表只使用出现频率排名前2000~3000的汉字其余全部替换为 标记这样可以有效减少词汇表大小降低训练难度。2.2 字符级还是词级建模粒度的抉择唐诗生成项目有一个关键决策用字符级建模还是词级建模。我强烈建议字符级理由很实在——中文分词在古诗词场景下容易出错且词表会变得非常大训练效率低。而字符级建模把每个汉字当作一个token五言绝句二十个字就是二十个时间步序列长度适中非常适合LSTM的训练和生成。具体来说字符级建模的流程是统计语料中所有出现的汉字建立字形到索引的映射表把每首诗转换成索引序列比如床前明月光变成[12, 87, 34, 95, 67, 120]设定序列长度seq_length比如40个字符用滑窗截取训练样本每个样本的输入是前N个字符标签是往后偏移一位的字符序列举个例子假设seq_length设为40语料中有床前明月光疑是地上霜那么我们会截出两个样本样本1输入床前明月光疑是地上霜举头望明月标签前明月光疑是地上霜举头望明月低样本2输入前明月光疑是地上霜举头望明月低标签明月光疑是地上霜举头望明月低头这种滑窗方式实际上是把每首诗展开成无数个有重叠的训练片段大幅扩充了训练数据量。我当时用2500首诗seq_length设为40训练样本轻松过了几万个足够训练一个像样的模型了。2.3 数据预处理代码实现这里给出我当时的预处理代码框架可以直接参考import numpy as np import re from collections import Counter def load_and_clean_data(file_path): with open(file_path, r, encodingutf-8) as f: raw_text f.read() # 只保留汉字和基本标点句号、逗号、顿号 text re.sub(r[^\u4e00-\u9fff。、\n], , raw_text) # 按行拆分过滤掉过短或过长的行 lines [line.strip() for line in text.split(\n) if line.strip()] poems [line for line in lines if 10 len(line) 80] return .join(poems) def build_vocab(text, vocab_size3000): counter Counter(text) most_common counter.most_common(vocab_size - 1) # 留一个位置给UNK vocab {char: idx 1 for idx, (char, _) in enumerate(most_common)} vocab[UNK] 0 # 索引0留给未知字符 idx_to_char {idx: char for char, idx in vocab.items()} return vocab, idx_to_char def text_to_sequences(text, vocab, seq_length40): sequences [] # 转换整个语料为索引序列 indices [] for char in text: indices.append(vocab.get(char, 0)) # 滑窗截取训练样本 for i in range(0, len(indices) - seq_length, 1): seq_in indices[i:i seq_length] seq_out indices[i seq_length] # 预测下一个字符 sequences.append((seq_in, seq_out)) return sequences这段代码的关键点在于build_vocab函数中预留了UNK槽位防止训练时遇到未登录字导致程序崩溃。另一个细节是滑窗步长设为1虽然会生成大量高度重叠的样本但对于文本生成任务来说这种数据增强方式被证明非常有效。3. 模型结构设计与核心参数配置3.1 Embedding层让汉字变成向量LSTM不能直接处理整数索引需要先经过Embedding层把每个汉字映射为一个稠密向量。Embedding层本质上是一个查找表每一行对应一个汉字的向量表示。这个向量不是预先训练好的比如Word2Vec而是作为模型的一部分从随机初始化开始随着训练过程不断调整。关于Embedding维度我建议设为128或256。维度太小模型难以区分不同汉字之间的语义差异维度太大参数量激增在数据量有限的情况下反而容易过拟合。128维在几万训练样本的规模下是一个比较稳妥的选择。3.2 LSTM层记忆与遗忘的平衡LSTM的核心思想是引入了一个细胞状态cell state可以理解为一条贯穿整个序列的传送带信息可以在传送带上稳定传递同时通过三个门控机制遗忘门、输入门、输出门控制信息的写入和读取。在唐诗生成场景中LSTM需要记住的信息包括当前诗句的主题意境、押韵要求、对仗关系、以及前面几个字对后面用词的影响。举个具体的例子如果前文出现了春那么后面出现花风月江的概率应该增加如果出现了愁则情感基调偏哀婉用词需要相应调整。LSTM的门控机制让模型在训练中自行学习这些复杂的依赖关系。LSTM隐藏单元数量units的选择是一个关键调参点。我的经验值是128个units在小数据集上训练速度快但生成质量一般256个units是性价比最高的选择512个units在数据量超过一万首诗时效果更好但对CPU训练来说非常慢。import tensorflow as tf def build_model(vocab_size, embedding_dim128, rnn_units256, batch_size64): model tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_dim), tf.keras.layers.LSTM( rnn_units, return_sequencesFalse, # 只返回最后一个时间步的输出 statefulTrue, # 有状态的LSTM训练时可以跨batch传递状态 recurrent_initializerglorot_uniform ), tf.keras.layers.Dense(vocab_size) ]) return model注意这里的return_sequencesFalse表示我们只取LSTM最后一个时间步的输出因为我们的任务是给定前N个字预测第N1个字只需要最后一个时刻的隐藏状态即可。而statefulTrue代表有状态模式batch之间会传递细胞状态这在训练序列模型时能保持上下文连续性。3.3 损失函数与优化器选择模型输出层是一个Dense层输出维度等于词汇表大小每个位置对应一个汉字的得分logits。我们需要将这些得分通过softmax转换为概率分布然后计算与真实标签的交叉熵损失。TensorFlow中可以直接使用tf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue)这样模型在训练时不需要手动加Softmax层数值上更稳定。优化器我推荐Adam初始学习率设为0.001。Adam的优势在于自适应调整每个参数的学习率对新手来说几乎不需要手动调整学习率衰减策略。训练轮次方面我在2500首诗的数据集上训练了50个epoch左右loss从最初的5.8左右下降到了1.2附近。这里有个经验如果loss下降到一定程度后长时间不再下降但生成的文本依然不连贯多半是模型容量不够或数据量不足此时增加LSTM层数或units数量可能比盲目的增加轮次更有效。3.4 关于过拟合的讨论因为是期末大作业很多人会忽视过拟合问题。但实际上当训练loss降得很低比如低于0.5而验证集表现不佳时模型可能已经把训练数据背下来了生成的文本会大量复现训练集中的原句。解决过拟合的常用手段包括增加Dropout层建议在Embedding后加一个Dropout(0.2)增加L2正则化不过对RNN来说效果不如CNN明显增加训练数据量这是最朴素也最有效的方法提前停止Early Stopping监控验证集loss对于期末大作业我建议重点关注训练曲线是否平滑下降、生成文本是否合理而不是过分追求loss绝对值的低。一个loss在1.5左右但生成的文本逻辑通顺、意境尚可的模型比一个loss降到0.3但只会背原文的模型在答辩时更站得住脚。4. 训练流程与生成策略实现4.1 完整训练流程训练流程的设计直接影响模型的最终效果。这里给出我之前实践过的完整流程import tensorflow as tf import numpy as np # 1. 准备数据 text load_and_clean_data(tang_poems.txt) vocab, idx_to_char build_vocab(text, vocab_size3000) sequences text_to_sequences(text, vocab, seq_length40) # 2. 构建训练集 X np.array([seq[0] for seq in sequences], dtypenp.int32) y np.array([seq[1] for seq in sequences], dtypenp.int32) # 3. 构建模型 model build_model(vocab_sizelen(vocab), embedding_dim128, rnn_units256, batch_size64) # 4. 编译模型 loss tf.losses.SparseCategoricalCrossentropy(from_logitsTrue) model.compile(optimizeradam, lossloss) # 5. 训练 checkpoint_callback tf.keras.callbacks.ModelCheckpoint( filepathmodel_checkpoint.weights.h5, save_weights_onlyTrue, save_best_onlyTrue ) history model.fit( X, y, batch_size64, epochs50, callbacks[checkpoint_callback] )这里有几个实操细节想强调一下批次大小batch_size这个超参数经常被忽略但它的影响很大。batch_size太大比如256模型收敛速度快但泛化能力可能下降batch_size太小比如16训练过程会非常震荡且耗时。64是一个稳妥的中间值。如果用的是CPU建议再调小到32。检查点Checkpoint训练中途断电或崩溃是常有的事没有检查点就意味着前功尽弃。ModelCheckpoint回调可以在每个epoch结束后自动保存表现最好的模型权重后面继续训练或直接加载都非常方便。训练时间预估在CPU上训练一个2500首诗、sequence长度40、LSTM units 256的模型每个epoch大约需要5到10分钟50个epoch总共约4到8小时。如果时间有限可以把训练轮次降到20个epoch效果虽然差一些但足以展示完整的项目流程。4.2 生成策略贪心、随机与温度采样模型训练完成后最关键的一步是如何从模型输出的概率分布中采样生成文本。这里有三种常见策略贪心采样Greedy Sampling每次选择概率最大的字符。这种方法生成的文本最安全但也最容易陷入重复循环。连续输出月明星稀稀稀稀这种尴尬局面的情况并不少见。随机采样Random Sampling按照概率分布随机抽取。这种方法增加了文本多样性但可能生成完全不通顺的内容。温度采样Temperature-based Sampling在Softmax之前除以一个温度参数T然后进行随机采样。T越小趋近于0输出越接近贪心采样文本越保守T越大输出越随机多样但出错概率也增大。def generate_text(model, start_string, num_generate100, temperature0.8): # 将起始字符串转换为索引序列 input_indices [vocab.get(c, 0) for c in start_string] input_eval tf.expand_dims(input_indices, 0) text_generated [] model.reset_states() for _ in range(num_generate): predictions model(input_eval) # 除以温度参数并计算softmax概率 predictions predictions / temperature predicted_id tf.random.categorical(predictions, num_samples1)[-1, 0].numpy() # 将预测的字符追加到结果中 text_generated.append(idx_to_char[predicted_id]) # 把预测的字符作为下一个输入只保留最后一位 input_eval tf.expand_dims([predicted_id], 0) return start_string .join(text_generated)温度参数的调节是生成效果的关键。我的经验是唐诗这种高度格式化的文本温度在0.6到0.9之间效果最好。0.5以下容易变成复读机1.0以上则经常产生不存在的汉字组合。另外代码中model.reset_states()很重要它清空了LSTM的隐藏状态确保每次生成都是从零开始不会受到上一次生成结果的影响。4.3 让生成诗句更符合格律的小技巧基础版模型生成的文本虽然通顺但往往不符合唐诗的韵律和格式要求。如果你想让项目更有亮点可以尝试以下进阶技巧强制五言或七言结构在生成过程中设定每句长度限制每五个或七个字符强制添加句读逗号或句号。具体实现时可以跟踪当前句子的长度达到目标长度后在词表中选择句读符作为下一个字符。押韵约束唐诗通常每联最后一个字押韵。可以在生成最后一个字时从韵脚字集合中采样。最简单的实现是预先准备一个常用韵脚表在模型输出的概率基础上对韵脚字施加一个偏向权重比如乘以1.5提高它们被选中的概率。主题引导如果希望生成以月为主题的诗可以在起始字符串中直接给出月字或者在模型输入前拼接一个主题向量。后一种方法更复杂需要修改模型结构对期末大作业来说不太必要。这些进阶技巧虽然不能保证生成严格合规的格律诗但能让生成结果在形式上更贴近唐诗的观感在期末答辩中非常加分。5. 常见问题与排错合集5.1 训练loss不下降或下降极慢这种情况非常常见原因可能有几种学习率过大导致震荡可以尝试把学习率从0.001降到0.0003数据没有归一化LSTM对输入范围比较敏感确保Embedding输入是整数索引不要误传入One-Hot向量模型结构有误检查LSTM的return_sequences设置是否正确如果是多层的LSTM堆叠中间层必须设置return_sequencesTrue词汇表过大但数据量不足把词表从3000缩小到1000让模型专注于学习高频字的用法我遇到过最离谱的一次是loss值始终在5.0以上不动排查了很久发现是text_to_sequences函数中滑窗的range结束条件写错了导致所有样本的输入输出完全相同——模型当然什么都学不到。所以遇到异常情况优先打印几个样本来检查数据和标签是否对齐。5.2 生成结果全是重复字符这是所有文本生成项目最容易遇到的问题。如果你生成的内容是夜夜夜夜夜夜或花花花花花说明温度系数太低模型基本在走贪心路径导致高频字符被反复选择。解决方案# 把温度调到0.8或更高 generate_text(model, 床前, num_generate40, temperature0.8)如果调整温度后依然复读可能是模型容量太小或欠拟合。试着增加LSTM层数比如两层LSTM堆叠并加大训练轮次。5.3 生成的诗完全不像唐诗当生成结果虽然连贯但缺乏唐诗味时问题通常出在数据层面。唐诗的语料需要包含绝句、律诗等完整作品而不是把所有诗句随机打乱拼接。我当时的一个做法是在数据预处理阶段用诗名、作者等信息把每首诗分割成独立单元然后在每个单元末尾加一个特殊结束符比如\n这样LSTM可以学到诗的结束概念。同时确保数据集里五言诗和七言诗保持合理比例避免模型偏向某一种格式。另外检查一下语料中是否混杂了宋词、元曲或现代诗。有些公开的全唐诗数据集并不干净混杂了其他朝代的作品这会让模型的输出风格跑偏。5.4 推理阶段报错维度不匹配训练时用的batch_size是64推理时输入只有一个样本维度为[1, seq_length]这可能导致维度不匹配的报错尤其是使用了statefulTrue时。解决方案是在训练结束后把模型重新构建为batch_size1的推理版本。# 重新构建推理模型batch_size1 infer_model build_model(vocab_sizelen(vocab), batch_size1) infer_model.load_weights(model_checkpoint.weights.h5)注意build_model函数中的batch_size参数要和加载的权重匹配。如果不匹配load_weights会报错。5.5 显存不足或内存溢出虽然文本生成模型相对较小但如果数据量过大比如用了全唐诗五万首加上深层LSTM在GPU上训练也可能遇到显存不足。解决思路是缩小batch_size比如从64降到32使用model.fit的steps_per_epoch参数限制每个epoch的步数如果是在Colab平台确保使用GPU运行时6. 项目扩展与答辩加分建议6.1 从LSTM到GRU的对比实验如果你想在期末答辩中展现更深入的理解可以做一个LSTM和GRU的对比实验。GRU是LSTM的简化版本将遗忘门和输入门合并为更新门参数更少、训练更快在很多序列任务上效果与LSTM相当。具体的对比维度可以包括训练时间、loss收敛速度、生成文本质量可以人工打分。用两组实验数据说话会非常有说服力。这部分的代码改造非常简单只需要把tf.keras.layers.LSTM换成tf.keras.layers.GRU即可。6.2 从字符级到词级的对比分析可以在项目中同时实现字符级和词级两个版本的模型并对比生成效果。词级模型需要分词工具比如jieba但中文古诗词分词效果并不理想。这个对比实验恰恰能说明为什么在古诗生成场景下选择字符级建模更合理。6.3 生成结果的评价方法期末答辩中如果被问如何评价生成质量除了人工主观感受之外可以从以下几个角度量化分析困惑度Perplexity模型对测试集数据的困惑度越低说明模型对语言规律的建模能力越强重复率生成文本中n-gram重复的比例重复率过高说明模型陷入循环押韵率统计生成诗句的尾字是否在押韵关系上人工评价设计一个简单的评分表从通顺度、意境、格律三个维度让同学打分哪怕只是简单的统计表格都会让你的项目看起来非常扎实。6.4 将模型部署为Web应用如果你还有余力用Flask或Streamlit把训练好的模型包装成一个简单的Web应用用户输入起始字网页返回生成的唐诗。这种可视化交互的效果在演示环节非常惊艳。Streamlit的代码量很少但效果非常直观import streamlit as st st.title(唐诗生成器) start st.text_input(请输入起始字或起始句, 床前明月光) temperature st.slider(温度参数, 0.2, 1.5, 0.8) if st.button(生成): result generate_text(infer_model, start, num_generate40, temperaturetemperature) st.write(result)不过我有一个补充建议期末演示环节还是以本地代码为主Web应用可以做成一个彩蛋在最后展示不要喧宾夺主。7. 实操总结我踩过的那些坑希望你别再踩这个项目前前后后我做了将近两周反复调试了很多次。总结下来有几个教训如果能早点知道会节省大量时间。第一数据预处理一定要多打印中间结果确认。不要觉得清洗好的文本看起来没问题就直接开始训练一定要打印出前几个训练样本检查输入输出是否对齐、词汇表是否有遗漏、特殊字符是否被正确替换。数据出了问题模型训练再久也是白费。第二训练过程一定要设置Checkpoint。我中途有一次训练到第40个epoch时系统崩溃因为没有保存检查点所有训练时间全部浪费。看似是基础操作但很多人在赶作业时都会忽略。第三不要盲目堆模型复杂度。我一开始试图用三层LSTM、512个units来追求更高质量结果训练时间翻了几倍效果反而变差。对于几千首诗的数据量来说单层LSTM配256个units是完全够用的先把基线模型跑通再去考虑优化。最后关于这个项目的后续扩展方向除了唐诗生成同样的技术架构可以迁移到宋词生成、现代诗生成、歌词生成甚至对联生成。换一个训练语料换个起始条件模型结构基本不用改。框架跑通之后换应用场景就是换数据的事。这也是把期末大作业做好之后最有价值的地方——你掌握的是一套文本生成能力而不是死记了一个唐诗项目。本文还有配套的精品资源点击获取