WangZeJun

CSTS. 中文自然语言推理与语义相似度数据集

LLMTuner. 大语言模型指令调优工具（支持 FlashAttention）

bert4vec. 一个基于预训练的句向量生成工具

bert_text_classification. 基于 BERT 模型的中文文本分类工具

chatglm_tuning. 基于 LoRA 和 P-Tuning v2 的 ChatGLM-6B 高效参数微调

bertorch. 基于 pytorch 的 bert 实现和下游任务微调

CTCDataset. 中文文本纠错数据集汇总

easytokenizer. 高性能文本 Tokenizer 库

bloom_tuning. BLOOM 模型的指令微调

gpt2classifier. 基于中文 GPT2 预训练模型的文本分类微调

fastMatch. Large-scale exact string matching tool

darmatch. 一个非常高效的字符串匹配工具，支持正向/反向最大匹配分词和多模式字符串精确匹配

gpt2ppl-zh. 基于中文 GPT2 预训练模型的语句困惑度计算

lightltp. 基于 onnxruntime 推理引擎的中文 ltp 词法分析

GPTDetector. AI生成内容检测分类器

simbert_distill. Two-stage SimBERT distillation

fastlcs. An effective tool for solving LCS problems

ElectraForSpellingCheck. 基于 Electra 预训练模型的中文拼写检查

stringutils. A bridge between Unicode encoded strings and std::string.

sentence-splitter. Split Chinese text and English text into sentences.

learn-unicode. Learn Unicode the easy way

confuse. 汉语字词混淆集

learn. Some technical learning and summary

csc_hard. Chinese spelling correction dataset

Firefly. Firefly(流萤): 中文对话式大语言模型

TurboTransformers. a fast and user-friendly runtime for transformer inference (Bert, Albert, GPT2, Decoders, etc) on CPU and GPU.