This is your work, valued
entity_extractor_by_ner. 基于Tensorflow2.3开发的NER模型,都是CRF范式,包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF,可微调预训练模型,可对抗学习,用于命名实体识别,配置后可直接运行。
429llms_tool. 一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练(预训练、SFT、RM、PPO、DPO)和融合、量化。
226text_classifier_tf2. Tensorflow2.3的文本分类项目,支持各种分类模型,支持相关tricks。
177entity_extractor_by_pointer. 使用torch整合两种经典的指针NER抽取范式,分别是SpanBert和苏神的GlobalPointer,简单加了些tricks,配置后一键运行
133app_comments_spider. 爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy),过滤器采用了bloomfilter。
54bert_nlu_joint. 一个使用tensorflow2.3开发的基于Bert的意图识别的自然语言理解任务Demo
27entity_extractor. 基于torch的,支持logits、crf、span、global_pointer四种方法的命名实体识别任务框架
24text_embedding. 一个用于训练句子embedding的工具,支持Cosent以及Simcse、infonce
24nlu_torch. 意图槽位模型训练框架(单意图、独立槽位),使用的是JointBERT的结构进行编写,槽位提取时可以选择双指针(Binary Pointer)实体抽取和Global Pointer两种方法。
21uie_torch. 百度UIE抽取模型torch版训练预测框架
12image_classification. 常用的一些用于图像分类的模型demo。
10text_classifier_torch. Text classification repository built with Torch, featuring training tricks, acceleration methods, and model optimization techniques like distillation, compression, and pruning. Supports single-label and multi-label training with customizable configurations. 基于Torch的文本分类仓库,包含训练技巧、加速方法以及模型优化技术,如蒸馏、压缩和剪枝。支持单标签和多标签训练,并提供可自定义的配置选项。
7text_classification_by_transformer. 使用transformer模型进行文本的分类,基于Tensorflow2.3开发
7seq2seq. 基于Tensorflow官方教程的基于注意力的神经机器翻译重构的代码,使用Seq2Seq做机器翻译和摘要生成代码仓库。使用Tensorflow2.3进行构建。
6relation_extraction. 关系抽取
5ErnieForCSC. 百度ErnieCSC纠错模型
4reinforcement_learning_tutorial. 强化学习学习代码
2faiss_utils. Python
2practical-pytorch. Python
1pdf_online. 在线浏览上传的pdf文件(网页基于Django2.0框架)
1chatbot. Python
1stanleylsx.github.io. HTML
1