大模型训练框架LLaMAFactory覆盖预训练指令微调强化学习评估全流程
大模型训练框架LLaMA-Factory，覆盖预训练、指令微调、强化学习、评估全流程 ** ** ** 1. 项目背景 ** 开源大模型如LLaMA，Qwen，Baichuan等主要都是使用通用数据进行训练而来，其对于不同下游的使用场景和垂直领域的效果有待进一步提升，衍生出了微调训练相关的需求，包含
AI笔记
大模型学习资源汇总我也在学习你可不要落下
❝ 大家好，我是 Bob! 😊 一个想和大家慢慢变富的 AI 程序员💸 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！💪 ❝ 最近笔者波波自己也有在好好学习喔，你也不能落下，所以把自己汇总的资源分享给大家参考。 论文系列 https://blog.csdn.net
动手学深度学习v2学习篇预备知识一
《动手学深度学习》v2学习篇--预备知识(一) 前言 嘿！这里是笔者的《动手学深度学习》v2学习篇，最近一段时间由于工作需要，目前在深度学习“深度学习”，以下皆为学习笔记与思考的分享。欢迎指正与follow。 本次分享：数据基本操作 torch数据创建你会发现与numpy非常相似，张量(tensor
大语言模型Tokenizer原理以及算法讲解一
大语言模型Tokenizer原理以及算法讲解（一） tokenizer的定义 tokenizer也叫分词器 作用： • 文本序列 通过 Tokenizer 被转化为 数字序列 （token 编号/id）。 • 是训练和微调大型语言模型（LLM）必不可少的一部分。
各类位置编码算法分析
各类位置编码算法分析 ❝ transformer 起初采用的是绝对位置编码，但随着用户对大模型上下文和效率的追求，行业在不断改进，绝对位置编码依然淘汰。了解最新的位置编码算法对于认识当前大模型有很好的帮助。 位置编码论文 ❝ 相对位置编码： https://arxiv.org/abs/1803.02
谷歌CEO闭门讲话误开直播AI前沿资讯令人震惊外网视频全部下架
❝ 大家好，我是 Bob! 😊 一个想和大家慢慢变富的 AI 程序员💸 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！💪 谷歌CEO闭门讲话误开直播，AI前沿资讯令人震惊……外网视频全部下架 ❝ 近日，最近 谷歌前CEO施密特 在斯坦福大学给大学生们做了一个 AI
缓存与效果的极限拉扯从MHAMQAGQA到MLA
缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA 注意力是transformer很重要的一个概念，如果没有注意力的改进，大模型不会出现如此好的效率和智能，所以对注意力算法的了解也是至关重要 引用： 苏剑林老师的博客 https://kexue.fm/archives/10091 注意力相关论文
解密AI大模型如何捕捉同一个词在不同位置的语义
解密AI大模型如何捕捉同一个词在不同位置的语义？ 😊 位置编码 一个句子经过分词后,得到多个词元/token，每一个token再向量化，得到语义信息。但是这就足够了吗？显然不够，因为一个句子中词与词之间的位置信息是不同的，比如“我喜欢吃苹果”和“我喜欢吃香蕉”，虽然“我”、“喜欢”、“吃”、“苹果
聊聊我眼中的DeepSeekR1当AI学会quot读心术quot
聊聊我眼中的deepseek R1 这次的年前的deepseek的王炸R1模型，给我最大的震惊就是思维链（cot）的能力。它以“无需复杂指令，一键生成优质内容”的标签横空出世，智能模型越来越“懂人心”。 从“服从指令”到“预测意图” 与传统的AI能力相比，他在反思用户指定的同时也会对指令的深度进行推
每位程序员都应该立即体验Claude35Artifacts
每位程序员都应该立即体验 Claude 3.5 + Artifacts！ 就在不久前， Anthropic公司推出了一款名为Claude 3.5 Sonnet的全新大型AI模型，宣称其智能程度达到了前所未有的高度，并且将向全球用户提供免费试用的机会。 **Anthropic 还给 Claude 3.