语言模型的前世今生
统计类语言模型 语言模型的发展最开始是从统计类语言模型开始的。这是一种统计类算法，通过计算序列中每一个词的概率来预测一整个序列出现的概率。 进而有马尔克夫链的思想，出现了n元统计概率模型。但这种方式存在数据稀疏问题：零频率并不代表0概率，尽管后面有一些平滑策略，但这不是根本解决方法。 神经语言模型
AI笔记
00 预训练语言模型的前世今生（全文 24854 个词）
转载说明 该文个人认为写的非常好，记录到自己博客，传播给所有人 尊重原作者，原文链接如下： 预训练语言模型的前世今生 - 从Word Embedding到BERT - 二十三岁的有德 预训练语言模型的前世今生 - 从Word Embedding到BERT Bert 最近很火，应该是最近最火爆的 AI
AI撰写老人回忆录项目从启动走向交付了啦
AI撰写老人回忆录项目---项目的初衷 AI撰写老人回忆录项目的初衷是帮助老年人记录和传承他们的人生经历和智慧......
AI技术发展变的是数据来源没变的是数据质量
AI技术发展：变的是数据来源，没变的是数据质量 需求一直在那里，但是一直没被满足好。 以前的数据散落在各处，就像大众点评上找餐厅，我们通过搜索引擎获得了一些坐标，并前往去寻找。 现在的数据则被汇聚到了模型里，就像一个中央厨房，我们可以随时打开一份预制菜，在家食用。 但是预制菜单，就是不太新鲜，所以我
AI大厂做的事你也可以带你一口气从零预训练RoBERTa模型告别算法畏惧
AI大厂做的事你也可以！带你一口气从零预训练RoBERTa模型!告别算法畏惧! 为什么预训练？ 这里使用一个比较形象的比喻： 大模型（model）在它被实例化的瞬间 ，他就如同 一个宝宝 出生了！但是他的 权重参数全部都是随机值 。以至于你和宝宝（model）对话时，他会胡言乱语，哇哇大叫。 所以我
Claude35Sonnet已经被网友玩出花来了程序员们跟上节奏
Claude 3.5 Sonnet 已经被网友玩出花来了，程序员们跟上节奏！ 前言 最近Anthropic 发布了 全新大模型 Claude 3.5 Sonnet ，号称是迄今为止最智能的模型。同时Anthropic 还在 Claude.ai 上 推出了 Artifacts ，这是一项扩展用户与 C
从专业角度聊聊deepseekR1为什么这么强大
❝ 今天认真再次看了一遍deepseek r1的论文，从技术角度聊一聊为什么deepseek-r1这么强，怎么超越Openai、Anthropic的？ https://arxiv.org/pdf/2501.12948 deepseek的能力 为什么deepseek r1可以思考？ 看一张图就明白了
程序猿的恐慌时刻智能代码编辑器Cursor
智能代码编辑器Cursor 最近一款AI代码辅助编译器爆火--Cursor。 链接直达：https://www.cursor.com/ 甚至有人扬言要取消copilot的订阅了。因为最新的版本实在是太强了！
WiseftRobustfinetuningofzeroshotmodels能解
Wise-ft《Robust fine-tuning of zero-shot models》，能解决大模型持续学习灾难性遗忘吗 微调框架： https://github.com/mlfoundations/wise-ft 论文链接 https://arxiv.org/pdf/2109.01903
Tokenizer之BPE算法的简单实现
Tokenizer之BPE算法的简单实现 此篇幅较长，基本都是BPE分词代码，可以先了解一下理论篇： 大语言模型Tokenizer原理以及算法讲解（一） 🤗大致流程： • 规范化 • 预标记化 • 将单词拆分为单个字符