Keras-TextClassification. 中文长文本分类、短句子分类、多标签分类、两句子相似度(Chinese Text Classification of Keras NLP, multi-label classify, or sentence classify, long or short),字词句向量嵌入层(embeddings)和网络层(graph)构建基类,FastText,TextCNN,CharCNN,TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 胶囊网络-CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN
1.8knlp_xiaojiang. 自然语言处理(nlp),小姜机器人(闲聊检索式chatbot),BERT句向量-相似度(Sentence Similarity),XLNET句向量-相似度(text xlnet embedding),文本分类(Text classification), 实体提取(ner,bert+bilstm+crf),数据增强(text augment, data enhance),同义句同义词生成,句子主干提取(mainpart),中文汉语短文本相似度,文本特征工程,keras-http-service调用
1.5kMacropodus. 自然语言处理工具Macropodus,基于Albert+BiLSTM+CRF深度学习网络架构,中文分词,词性标注,命名实体识别,新词发现,关键词,文本摘要,文本相似度,科学计算器,中文数字阿拉伯数字(罗马数字)转换,中文繁简转换,拼音转换。tookit(tool) of NLP,CWS(chinese word segnment),POS(Part-Of-Speech Tagging),NER(name entity recognition),Find(new words discovery),Keyword(keyword extraction),Summarize(text summarization),Sim(text similarity),Calculate(scientific calculator),Chi2num(chinese number to arabic number)
660nlg-yongzhuo. 中文文本摘要(text summarization)工具包, 抽取式中文文本摘要 Extractive text summary of Lead3、keyword、textrank、text teaser、word significance、LDA、LSI、NMF。(graph,feature,topic model,summarize tool or tookit)
417Pytorch-NLU. 中文文本分类、序列标注工具包(pytorch),支持中文长文本、短文本的多类、多标签分类任务,支持中文命名实体识别、词性标注、分词、抽取式文本摘要等序列标注任务。 Chinese text classification and sequence labeling toolkit, supports multi class and multi label classification, text similsrity, text summary and NER.
357Macadam. Macadam是一个以Tensorflow(Keras)和bert4keras为基础,专注于文本分类、序列标注和关系抽取的自然语言处理工具包。支持RANDOM、WORD2VEC、FASTTEXT、BERT、ALBERT、ROBERTA、NEZHA、XLNET、ELECTRA、GPT-2等EMBEDDING嵌入; 支持FineTune、FastText、TextCNN、CharCNN、BiRNN、RCNN、DCNN、CRNN、DeepMoji、SelfAttention、HAN、Capsule等文本分类算法; 支持CRF、Bi-LSTM-CRF、CNN-LSTM、DGCNN、Bi-LSTM-LAN、Lattice-LSTM-Batch、MRC等序列标注算法。
325LLM-SFT. 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微调, 推理, 测评, 接口)等.
217chatglm-maths. chatglm-6b微调/LORA/PPO/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu
165Qwen-SFT. 阿里通义千问(Qwen-7B-Chat/Qwen-7B), 微调/LORA/推理
143ChatGLM2-SFT. ChatGLM2-6B微调, SFT/LoRA, instruction finetune
108qwen2-sft. Qwen1.5-SFT(阿里, Ali), Qwen_Qwen1.5-2B-Chat/Qwen_Qwen1.5-7B-Chat微调(transformers)/LORA(peft)/推理
73macro-correct. 文本纠错(Text Correct, CSC), 支持中文文本纠错(拼写纠错/标点符号纠错/繁体纠错)(CSC, Chinese Spelling Correct / Check; Punct), CSC支持各领域数据的中文文本纠错(包括古文), 重点是错别字检测纠正(字词纠错).支持120种标点符号补全/纠错/病句.包括文本纠错测评.
71layoutlmv3-layoutxlm-chinese. chinese document classification of layoutlmv3 and layoutxlm
45LLaMA3-SFT. LlaMA3-SFT, Meta-Llama-3-8B/Meta-Llama-3-8B-Instruct微调(transformers)/LORA(peft)/推理, 支持中文(chinese, zh)
34gemma-sft. Gemma-SFT, gemma-2b/gemma-7b微调(finetune,transformers)/LORA(peft)/推理(inference)
32near-synonym. near-synonym, 基于大模型LLM的中文反义词/近义词(antonyms/synonyms)工具包. 也可计算词语相似度/句子相似度/文本相似度等。
31Llama2-SFT. Llama2-SFT, Llama-2-7B微调(transformers)/LORA(peft)/推理
28bert. bert分类, classify, classifier. TensorFlow code and pre-trained models for BERT
26Tookit-Sihui. Tookit-Sihui, a tool of some common algorithm, AI文本混合科学计算器(calculator-sihui), 句子词频-逆文本频率(TF-IDF),搜索BM25, 前缀树搜索关键词(trietree), 模板匹配-递归函数(func_recursive),中文数字转阿拉伯数字(chinese to number),阿拉伯数字转汉语数字, HMM, CRF
24char-similar. 字符相似度, 汉字字形/拼音/语义相似度(单字, 可用于数据增强, CSC错别字检测识别任务(构建混淆集)) Chinese character font/pinyin/semantic similarity (single character, can be used for data augmentation, CSC misclassified character detection and recognition tasks (building confusion sets))
24ChatGLM3-SFT. chatglm3-6b, 微调/LORA/推理/单机多卡/deepspeed/支持多轮对话
16char_CNN_text_classification_Chinese2Pinyin. char_CNN_text_classification_Chinese2Pinyin,中文转拼音实例-基于字符的卷积神经网络-超短文本分类-主要代码为lc222的github项目,有HTTP访问等
16MacroGPT-Pretrain. macrogpt大模型全量预训练(1b3,32层), 多卡deepspeed/单卡adafactor
15InternLM-SFT. InternLM-7B微调, SFT/LoRA, instruction finetune
13pytorch-loss. pytorch版损失函数,改写自科学空间文章,【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】
12Word-Dict. 构建中文词频词典-搜索引擎式切词(create chinese word dict of freq by segnment of search)
9Open-Information-Extraction-System. 中文开放信息抽取系统, open-information-extraction-system, build open-knowledge-graph(SPO, subject-predicate-object) by pyltp(version==3.4.0)
8Text-Analysis. 文本数据分析, Text-Analysis
7chat-paint. chat-paint,仿ChatTutor、豆包爱学的豆包老师,实现老师教学讲解的边讲边画边板书;chat-paint, painter and teacher, Visual and Interactive AI Tutor of China.
6leetcode-in-out. leetcode一些热门题型的python代码,包括输入输出。leetcode of hot, which Includes input and output.
2web-demo. web-demo of http and ui
1pytorch-model-to-tensorflow. transformers-model of pytorch1.x to tensorflow2.x, deploy for tf-serving
1Tft-Preprocess. tensorflow-transformer(tft) of pre-processing and post-processing of text-classification
1csc_dataset_de3. dataset of csc, chinese spelling correct / check; 14万中文文本纠错数据集(中文拼写纠错), 主要是"地得的"
1