chinese-poetryhttps://github.com/chinese-poetry/chinese-poetry是 GitHub 星标 52.4K、中文古典文学领域标杆开源诗词数据集2016 年上线至今持续维护收录 37 万 唐宋诗词与古籍文本MIT 协议完全商用免费。 本文从仓库底层结构、数据规模、字段规范、简繁体分支、同类主流数据集横向对比、生产实战落地场景、致命缺陷与解决方案、数据库导入完整脚本、AI 微调适配九大硬核维度拆解摒弃浅度介绍全部为开发、NLP 训练、诗词 APP 可直接复用的实战干货区分学生实验、个人副业、企业商用三类选型标准。一、项目基础核心信息生产前置必看1.1 基础档案项目项详情生产影响仓库地址https://github.com/chinese-poetry/chinese-poetry主仓繁体原版配套简体分支chinese-poetry-zhCNStars/Forks52.4K / 10K社区活跃衍生 MySQL 转换、API、Docker 镜像生态完善开源协议MIT License无商用限制可用于 APP、AI 训练、付费产品、企业系统首次发布2016-09国内最早标准化结构化诗词数据集经过 10 年社区校验原始存储格式JSON 分片文件、SQLite 宋词库大文件拆分单 JSON 仅存数百首避免读取 OOM数据来源古典古籍数字化、公开文史网站爬虫无版权内容不存在侵权风险1.2 完整收录数据体量官方统计精准可校验唐诗55000 首覆盖 14000 唐代诗人全唐诗完整收录宋诗260000 首宋代文人诗词全集宋词21050 首1564 位两宋词人含完整词牌、平仄划分小众古典文集花间集、南唐二主词、诗经、论语、四书五经、纳兰词、幽梦影等蒙学古籍总体量37 万 古典诗文公开开源诗词数据集体量天花板。1.3 仓库目录分层结构开箱即用无需手动整理chinese-poetry/ ├── quan_tang_shi/ # 唐诗JSON分片繁体 ├── quan_song_shi/ # 宋诗JSON分片 ├── ci/ # 宋词SQLite数据库 ├── other/ # 古籍、蒙学、散文子集 ├── statistics/ # 词牌、诗人、词频统计分析文件 └── zhCN/ # 简体中文版本分支独立仓库单份 JSON 标准字段示例每首诗词结构化无需二次解析{ author: 李白, title: 静夜思, paragraphs: [床前明月光疑是地上霜。,举头望明月低头思故乡。], strains: [五言绝句], rhythmic: null }宋词 SQLite 额外字段词牌名、平仄、韵脚、分段阕信息结构化程度高于唐诗子集。二、主流同类古诗词数据集硬核横向对比表选型核心依据对比对象chinese-poetry、Poetry 百万级 CSV 数据集、THU-CCPC 清华诗词语料、古诗文网爬虫自建库、付费诗词 API表格对比维度chinese-poetryPoetry-Corpus 百万 CSVTHU-CCPC 清华语料古诗文网自建爬虫付费商用诗词 API总诗词数量37 万 101 万 含大量近现代杂诗15 万古典诗词约 20 万需自行爬取1~5 万结构化字段作者 / 标题 / 段落 / 体裁 / 词牌完整仅标题、作者、内容极简 4 字段标注情感、意象、押韵标注字段混乱缺失体裁分类基础字段无古籍子集开源协议MIT免费商用开源无明确协议商用风险高学术非商用网站版权禁止批量爬取年费 300~1000 元调用限流数据格式JSON 分片、SQLite衍生 MySQL 脚本单一大 CSV读取极易 OOM纯文本训练语料无结构化HTML 原始页面需清洗解析在线 HTTP 接口无法离线部署简繁体支持官方独立简体分支仅简体无繁体古籍繁体为主无转换工具简体繁体混杂仅简体配套生态MySQL 转换脚本、API、Docker、NLP 分析工具无配套工具全靠自研仅学术训练脚本零生态全部从零开发仅在线调用无本地离线包维护更新社区持续迭代 10 年2022 年后停止更新高校实验室静态数据集网站反爬频繁失效服务商不定期维护最佳适配场景诗词 APP、AI 古典模型微调、文史网站、小程序大规模无区分文本预训练学术论文、古典 NLP 研究小型个人 Demo 临时使用轻量化博客、低频次展示三、chinese-poetry 五大核心生产优势竞品无法替代3.1 MIT 开源商用无限制零版权成本绝大多数同类数据集仅允许学术非商用付费 API 有调用限额与年费本项目 MIT 协议可直接用于付费小程序、AI 写诗付费工具、教育类 APP无需申请授权、无分成约束独立开发者、中小企业首选。3.2 结构化分层数据省去 90% 清洗工作量唐诗、宋诗拆分多份小体积 JSON 文件单文件仅数百条Python/JS 读取不会内存溢出宋词内置 SQLite 库自带词牌、韵脚、阕分段配套统计文件夹自带词频、热门词牌、诗人分布文件做推荐、检索、词云直接使用。 同类百万 CSV 数据集单文件 GB 级加载必须分片切割字段缺失体裁、段落拆分需要大量脚本二次清洗。3.3 完整配套衍生工具生态生产落地开箱即用社区成熟衍生仓库无需重复造轮子chinese-poetry-zhCN官方简体完整版适配国内移动端展示chinese-poetry-mysql一键转换 MySQL 建表 SQL支持批量导入chinese-poetry-apiGo 高性能 REST/GraphQL 诗词接口Docker 一键部署转换脚本JSON 转 CSV、JSON 转 SQL、繁体简体互转工具 个人开发诗词小程序、后台管理系统1 小时完成数据入库与接口封装。3.4 兼顾诗词 古籍文本多业务场景复用除唐宋诗词外内置四书五经、诗经、纳兰词、蒙学读物一套数据集同时支撑诗词飞花令、每日一句功能国学启蒙、古文背诵 APP古典大模型预训练同时具备诗词、散文双语料。3.5 社区庞大踩坑解决方案全网可查5 万 Star 积累大量生产问题方案内存分片读取、去重脚本、分词优化、模糊检索、AI 微调参数遇到报错可直接检索现成解决方案冷门数据集极易出现无资料排错困境。四、生产环境五大致命缺陷上线必避坑实战踩坑汇总缺陷 1原版主仓全繁体国内 C 端产品展示需批量转简体主仓库原始 JSON 全部繁体直接展示给普通用户阅读体验差虽然有官方简体分支但简体分支更新滞后原版 1~2 个版本新增诗词无法同步。生产解决方案优先拉取 zhCN 简体分支作为业务库使用 opencc 离线简繁转换脚本批量处理原版 JSON同步新增数据MySQL 入库时增加简体标题、简体内容冗余字段检索优先使用简体字段。缺陷 2宋诗体量巨大批量导入数据库极易触发内存 / IO 瓶颈宋诗 26 万首 JSON 分片总数多循环读取批量 INSERT 会导致数据库长事务、锁表、服务卡顿。优化导入脚本Python 可直接运行import json import pymysql import os # 批量分片分批提交单次1000条避免长事务 BATCH_SIZE 1000 db pymysql.connect(host127.0.0.1, userroot, passwordxxx, databasepoetry) cursor db.cursor() data_buffer [] def load_poetry_json(file_path): with open(file_path, r, encodingutf-8) as f: return json.load(f) # 遍历宋诗目录 for filename in os.listdir(quan_song_shi): poems load_poetry_json(fquan_song_shi/{filename}) for p in poems: paras |.join(p.get(paragraphs, [])) data_buffer.append((p[author], p[title], paras, p.get(strains, ))) # 分批写入 if len(data_buffer) BATCH_SIZE: cursor.executemany( INSERT INTO poetry(author,title,content,style) VALUES(%s,%s,%s,%s), data_buffer ) db.commit() data_buffer.clear() # 写入剩余数据 if data_buffer: cursor.executemany(INSERT INTO poetry(author,title,content,style) VALUES(%s,%s,%s,%s), data_buffer) db.commit()缺陷 3数据存在少量重复、异体字、缺失体裁标注部分跨朝代诗人作品重复收录小众古风、杂诗无 strains 体裁字段检索过滤会出现遗漏古籍文本存在大量异体生僻字前端渲染偶现方块乱码。修复方案入库前基于authortitlecontent做唯一索引自动去重前端引入思源宋体古典字体包兼容生僻繁体汉字无体裁字段统一填充 “古风 / 杂诗” 默认值保证筛选功能正常。缺陷 4无内置释义、赏析、创作背景纯文本数据集仅收录原文没有白话翻译、诗词注释、作者生平直接做教育类 APP、AI 鉴赏功能需要额外对接第三方释义接口或补充语料。落地方案结合大模型批量生成赏析存入附属表或对接古诗文网释义接口做补充。缺陷 5原生不支持向量检索AI 语义匹配需二次封装原始 JSON 无向量实现 “根据意境搜诗词”“相似诗词推荐” 必须自行接入向量库Milvus/FAISS分词、向量化流程需要自研。五、四大落地场景完整选型与实战方案场景 1个人 / 副业诗词小程序、每日一句、飞花令工具最优选择chinese-poetry操作流程拉取简体分支 → 运行 mysql 转换脚本入库 → 部署开源 chinese-poetry-api 接口 → 前端对接随机诗词、作者检索、全文搜索 成本零付费本地 Docker 部署无需依赖第三方在线 API无调用限流、无年费。场景 2古典诗词大模型微调、AI 自动写诗训练最优选择chinese-poetry Poetry-Corpus 混合使用主训练语料chinese-poetry 高质量结构化 37 万首格律、体裁完整保证生成诗词格式合规扩充预训练语料百万级 Poetry-Corpus 文本扩大文字、意象学习范围 避坑仅用百万 CSV 数据集会导致生成诗词无固定体裁、格律混乱。场景 3高校学术论文、古典中文 NLP 研究最优选择THU-CCPC chinese-poetry清华 CCPC 自带人工标注情感、意象、押韵标签适合实验指标对比chinese-poetry 提供海量原始无标注文本做大模型预训练。场景 4企业付费国学教育 APP商用合规刚需唯一合规方案chinese-poetry MIT 开源数据集规避爬虫网站版权、付费 API 高额年费可完全离线部署数据自主可控无外部接口稳定性风险。六、线上生产标准化优化规范企业团队可直接作为开发规范存储分层MySQL 主库存储结构化诗词原文Redis 缓存热门每日诗词、高频作者列表向量库 Milvus 存储分词向量用于语义检索数据双份存储简体库对外业务查询繁体原始库用于 AI 训练、文史导出定时同步脚本每周拉取原版仓库更新自动去重、批量入库增量同步新收录诗词检索优化给 author、title、style 建立联合索引全文检索采用 MySQL 全文索引或 Elasticsearch资源管控宋诗、唐诗分片读取禁止一次性加载全量 JSON 到内存容器部署限制内存上限。七、同类数据集选型决策速查表快速判断商用 APP、小程序、独立副业 → 选 chinese-poetry纯学术论文、带标注情感意象实验 → 选 THU-CCPC超大无区分文本预训练、不限体裁质量 → 选 Poetry-Corpus 百万 CSV临时小型 Demo、短期测试 → 古诗文网简易爬虫不建议上线商用低频次博客展示、不想部署本地数据库 → 付费诗词 API
chinese-poetryhttps://github.com/chinese-poetry/chinese-poetry是 GitHub 星标 52.4K、中文古典文学领域标杆开源诗词数据集2016 年上线至今持续维护收录 37 万 唐宋诗词与古籍文本MIT 协议完全商用免费。 本文从仓库底层结构、数据规模、字段规范、简繁体分支、同类主流数据集横向对比、生产实战落地场景、致命缺陷与解决方案、数据库导入完整脚本、AI 微调适配九大硬核维度拆解摒弃浅度介绍全部为开发、NLP 训练、诗词 APP 可直接复用的实战干货区分学生实验、个人副业、企业商用三类选型标准。一、项目基础核心信息生产前置必看1.1 基础档案项目项详情生产影响仓库地址https://github.com/chinese-poetry/chinese-poetry主仓繁体原版配套简体分支chinese-poetry-zhCNStars/Forks52.4K / 10K社区活跃衍生 MySQL 转换、API、Docker 镜像生态完善开源协议MIT License无商用限制可用于 APP、AI 训练、付费产品、企业系统首次发布2016-09国内最早标准化结构化诗词数据集经过 10 年社区校验原始存储格式JSON 分片文件、SQLite 宋词库大文件拆分单 JSON 仅存数百首避免读取 OOM数据来源古典古籍数字化、公开文史网站爬虫无版权内容不存在侵权风险1.2 完整收录数据体量官方统计精准可校验唐诗55000 首覆盖 14000 唐代诗人全唐诗完整收录宋诗260000 首宋代文人诗词全集宋词21050 首1564 位两宋词人含完整词牌、平仄划分小众古典文集花间集、南唐二主词、诗经、论语、四书五经、纳兰词、幽梦影等蒙学古籍总体量37 万 古典诗文公开开源诗词数据集体量天花板。1.3 仓库目录分层结构开箱即用无需手动整理chinese-poetry/ ├── quan_tang_shi/ # 唐诗JSON分片繁体 ├── quan_song_shi/ # 宋诗JSON分片 ├── ci/ # 宋词SQLite数据库 ├── other/ # 古籍、蒙学、散文子集 ├── statistics/ # 词牌、诗人、词频统计分析文件 └── zhCN/ # 简体中文版本分支独立仓库单份 JSON 标准字段示例每首诗词结构化无需二次解析{ author: 李白, title: 静夜思, paragraphs: [床前明月光疑是地上霜。,举头望明月低头思故乡。], strains: [五言绝句], rhythmic: null }宋词 SQLite 额外字段词牌名、平仄、韵脚、分段阕信息结构化程度高于唐诗子集。二、主流同类古诗词数据集硬核横向对比表选型核心依据对比对象chinese-poetry、Poetry 百万级 CSV 数据集、THU-CCPC 清华诗词语料、古诗文网爬虫自建库、付费诗词 API表格对比维度chinese-poetryPoetry-Corpus 百万 CSVTHU-CCPC 清华语料古诗文网自建爬虫付费商用诗词 API总诗词数量37 万 101 万 含大量近现代杂诗15 万古典诗词约 20 万需自行爬取1~5 万结构化字段作者 / 标题 / 段落 / 体裁 / 词牌完整仅标题、作者、内容极简 4 字段标注情感、意象、押韵标注字段混乱缺失体裁分类基础字段无古籍子集开源协议MIT免费商用开源无明确协议商用风险高学术非商用网站版权禁止批量爬取年费 300~1000 元调用限流数据格式JSON 分片、SQLite衍生 MySQL 脚本单一大 CSV读取极易 OOM纯文本训练语料无结构化HTML 原始页面需清洗解析在线 HTTP 接口无法离线部署简繁体支持官方独立简体分支仅简体无繁体古籍繁体为主无转换工具简体繁体混杂仅简体配套生态MySQL 转换脚本、API、Docker、NLP 分析工具无配套工具全靠自研仅学术训练脚本零生态全部从零开发仅在线调用无本地离线包维护更新社区持续迭代 10 年2022 年后停止更新高校实验室静态数据集网站反爬频繁失效服务商不定期维护最佳适配场景诗词 APP、AI 古典模型微调、文史网站、小程序大规模无区分文本预训练学术论文、古典 NLP 研究小型个人 Demo 临时使用轻量化博客、低频次展示三、chinese-poetry 五大核心生产优势竞品无法替代3.1 MIT 开源商用无限制零版权成本绝大多数同类数据集仅允许学术非商用付费 API 有调用限额与年费本项目 MIT 协议可直接用于付费小程序、AI 写诗付费工具、教育类 APP无需申请授权、无分成约束独立开发者、中小企业首选。3.2 结构化分层数据省去 90% 清洗工作量唐诗、宋诗拆分多份小体积 JSON 文件单文件仅数百条Python/JS 读取不会内存溢出宋词内置 SQLite 库自带词牌、韵脚、阕分段配套统计文件夹自带词频、热门词牌、诗人分布文件做推荐、检索、词云直接使用。 同类百万 CSV 数据集单文件 GB 级加载必须分片切割字段缺失体裁、段落拆分需要大量脚本二次清洗。3.3 完整配套衍生工具生态生产落地开箱即用社区成熟衍生仓库无需重复造轮子chinese-poetry-zhCN官方简体完整版适配国内移动端展示chinese-poetry-mysql一键转换 MySQL 建表 SQL支持批量导入chinese-poetry-apiGo 高性能 REST/GraphQL 诗词接口Docker 一键部署转换脚本JSON 转 CSV、JSON 转 SQL、繁体简体互转工具 个人开发诗词小程序、后台管理系统1 小时完成数据入库与接口封装。3.4 兼顾诗词 古籍文本多业务场景复用除唐宋诗词外内置四书五经、诗经、纳兰词、蒙学读物一套数据集同时支撑诗词飞花令、每日一句功能国学启蒙、古文背诵 APP古典大模型预训练同时具备诗词、散文双语料。3.5 社区庞大踩坑解决方案全网可查5 万 Star 积累大量生产问题方案内存分片读取、去重脚本、分词优化、模糊检索、AI 微调参数遇到报错可直接检索现成解决方案冷门数据集极易出现无资料排错困境。四、生产环境五大致命缺陷上线必避坑实战踩坑汇总缺陷 1原版主仓全繁体国内 C 端产品展示需批量转简体主仓库原始 JSON 全部繁体直接展示给普通用户阅读体验差虽然有官方简体分支但简体分支更新滞后原版 1~2 个版本新增诗词无法同步。生产解决方案优先拉取 zhCN 简体分支作为业务库使用 opencc 离线简繁转换脚本批量处理原版 JSON同步新增数据MySQL 入库时增加简体标题、简体内容冗余字段检索优先使用简体字段。缺陷 2宋诗体量巨大批量导入数据库极易触发内存 / IO 瓶颈宋诗 26 万首 JSON 分片总数多循环读取批量 INSERT 会导致数据库长事务、锁表、服务卡顿。优化导入脚本Python 可直接运行import json import pymysql import os # 批量分片分批提交单次1000条避免长事务 BATCH_SIZE 1000 db pymysql.connect(host127.0.0.1, userroot, passwordxxx, databasepoetry) cursor db.cursor() data_buffer [] def load_poetry_json(file_path): with open(file_path, r, encodingutf-8) as f: return json.load(f) # 遍历宋诗目录 for filename in os.listdir(quan_song_shi): poems load_poetry_json(fquan_song_shi/{filename}) for p in poems: paras |.join(p.get(paragraphs, [])) data_buffer.append((p[author], p[title], paras, p.get(strains, ))) # 分批写入 if len(data_buffer) BATCH_SIZE: cursor.executemany( INSERT INTO poetry(author,title,content,style) VALUES(%s,%s,%s,%s), data_buffer ) db.commit() data_buffer.clear() # 写入剩余数据 if data_buffer: cursor.executemany(INSERT INTO poetry(author,title,content,style) VALUES(%s,%s,%s,%s), data_buffer) db.commit()缺陷 3数据存在少量重复、异体字、缺失体裁标注部分跨朝代诗人作品重复收录小众古风、杂诗无 strains 体裁字段检索过滤会出现遗漏古籍文本存在大量异体生僻字前端渲染偶现方块乱码。修复方案入库前基于authortitlecontent做唯一索引自动去重前端引入思源宋体古典字体包兼容生僻繁体汉字无体裁字段统一填充 “古风 / 杂诗” 默认值保证筛选功能正常。缺陷 4无内置释义、赏析、创作背景纯文本数据集仅收录原文没有白话翻译、诗词注释、作者生平直接做教育类 APP、AI 鉴赏功能需要额外对接第三方释义接口或补充语料。落地方案结合大模型批量生成赏析存入附属表或对接古诗文网释义接口做补充。缺陷 5原生不支持向量检索AI 语义匹配需二次封装原始 JSON 无向量实现 “根据意境搜诗词”“相似诗词推荐” 必须自行接入向量库Milvus/FAISS分词、向量化流程需要自研。五、四大落地场景完整选型与实战方案场景 1个人 / 副业诗词小程序、每日一句、飞花令工具最优选择chinese-poetry操作流程拉取简体分支 → 运行 mysql 转换脚本入库 → 部署开源 chinese-poetry-api 接口 → 前端对接随机诗词、作者检索、全文搜索 成本零付费本地 Docker 部署无需依赖第三方在线 API无调用限流、无年费。场景 2古典诗词大模型微调、AI 自动写诗训练最优选择chinese-poetry Poetry-Corpus 混合使用主训练语料chinese-poetry 高质量结构化 37 万首格律、体裁完整保证生成诗词格式合规扩充预训练语料百万级 Poetry-Corpus 文本扩大文字、意象学习范围 避坑仅用百万 CSV 数据集会导致生成诗词无固定体裁、格律混乱。场景 3高校学术论文、古典中文 NLP 研究最优选择THU-CCPC chinese-poetry清华 CCPC 自带人工标注情感、意象、押韵标签适合实验指标对比chinese-poetry 提供海量原始无标注文本做大模型预训练。场景 4企业付费国学教育 APP商用合规刚需唯一合规方案chinese-poetry MIT 开源数据集规避爬虫网站版权、付费 API 高额年费可完全离线部署数据自主可控无外部接口稳定性风险。六、线上生产标准化优化规范企业团队可直接作为开发规范存储分层MySQL 主库存储结构化诗词原文Redis 缓存热门每日诗词、高频作者列表向量库 Milvus 存储分词向量用于语义检索数据双份存储简体库对外业务查询繁体原始库用于 AI 训练、文史导出定时同步脚本每周拉取原版仓库更新自动去重、批量入库增量同步新收录诗词检索优化给 author、title、style 建立联合索引全文检索采用 MySQL 全文索引或 Elasticsearch资源管控宋诗、唐诗分片读取禁止一次性加载全量 JSON 到内存容器部署限制内存上限。七、同类数据集选型决策速查表快速判断商用 APP、小程序、独立副业 → 选 chinese-poetry纯学术论文、带标注情感意象实验 → 选 THU-CCPC超大无区分文本预训练、不限体裁质量 → 选 Poetry-Corpus 百万 CSV临时小型 Demo、短期测试 → 古诗文网简易爬虫不建议上线商用低频次博客展示、不想部署本地数据库 → 付费诗词 API
