模型调参大法让你的模型更进一步
模型调参 首先需要牢记一个点：模型选型和数据质量决定了任务的底线，而调参只是锦上添花（也可能雪上加霜）的工作 所以 优先考虑模型与数据，再考虑微调 ，能不调就不调。 模型与数据 任务 首先要明确任务是分类、回归、生成、排序 模型架构 不同的模型架构在同意任务上的性能不一。选择合适的架构（gpt,be
AI笔记
企业如何进一步拥抱AI搭建RAG本地私有知识库篇
企业如何进一步拥抱AI：搭建RAG本地私有知识库篇 随着国运级AI：Deepseek的出现，很多企业从原有的观望想法，走到试一试的态度尝试，甚至很多已经想要直接用AI赋能企业。 我觉得企业要拥抱AI，第一个必须要做的，就是私有化的公司内部知识库。 什么是知识库，怎么用？ 给大家放一张图，看看知识库在
什么你还不会微调T5模型手把手教你弄懂
什么？你还不会微调T5模型？手把手教你弄懂！ 什么是T5架构模型 有详细了解的小伙伴可以看看论文： 《Exploring the Limits of Transfer Learning with a UnifiedText-to-Text Transformer》 https://arxiv.org
如何不使用PEFT手写Lora微调
如何不使用PEFT，手写Lora微调？ ❝ 前阵子的面试给了我很多启发,公司的业务为了效率都会套用框架,这是一件很简单的事情.但是会用不代表懂,你还真不一定理解内部运行原理. 我称其为 调参侠 哈哈.尽管很多时候,能用就行.但是算法工程师的基本素质还是需要具备的,这些内容在面试中经常涉及. 或许某一
深度学习模型环境搭建Ubuntu
深度学习/模型环境搭建（Ubuntu） 这几天笔者忙于工作入职，没怎么更新。接下来一段时间坚持日更哈，记录工作与学习！！！ 本次分享的主题： 深度学习/大模型 环境搭建（Ubuntu） NVIDIA驱动 一般命令行执行 nvidia-smi
如果出现以下信息则表示存在显卡驱动/安装成功： 我这边已
腾讯全方面接入Deepseek背后到底有哪些布局
腾讯全方面接入Deepseek,背后到底有哪些布局？ 腾讯的大招 不知道最近大家有没有观察到这样的现象：所有的互联网大厂都在不断地接入Deepseek ，把AI渗透到各个产品中。 但腾讯面对这一波风口反应无非是最快的一个。 举几个例子： 微信内置AI搜索 APP：Ima 腾讯元宝 腾讯云开发工具 这
微调不够对齐来凑强化学习让模型更进一步
微调不够，对齐来凑。强化学习--让模型更进一步 链接 https://arxiv.org/pdf/2203.02155 提出动机 GPT-3虽牛，但仍会生成一些带偏见、不真实、有害的负面信息，有时候一本正经胡说八道。这从做研究的角度来看，确实没啥，因为你只要在某个数据集上碾压对手，那就是牛的。但对于
新型AI大模型微调方式ReFT表征微调
新型AI大模型微调方式：ReFT 表征微调 ReFT (表征微调) 本文主要介绍 ReFT(表征微调)，这是一种比 PeFT(参数高效微调)效果更好的新的大语言模型微调技术。 背景 PEFT PEFT (Parameter-Efficient Fine-Tuning，参数高效微调) 是一种仅微调少量
新一代模型微调方案LLamaPro快来围观
新一代模型微调方案LLama-Pro ，快来围观！！！ LLAMA PRO论文笔记 直达链接： 摘要 这篇论文介绍了一种名为LLAMA PRO的新型后预训练方法，用于增强大型语言模型（LLMs）在特定领域的性能，同时保持其原有的通用能力。通过扩展Transformer块来增加模型的深度，从而在不牺牲
用RAG技术让大模型开卷考试建立私人数据库
用RAG技术让大模型开卷考试，建立私人数据库 最近一段时间在研究大模型Agent的项目，其中包含一个技术叫做RAG，如果你不是很清楚原理，此文可带你从零理解RAG基本原理，并且构造一个自己的知识数据库。 ps：注意此文的所有代码都只适用于学习原理，切忌部署于生产环 什么是RAG？ 检索增强生成(RA