相信大家在生活中接触到人工智能大模型时，经常听到“Token”这个词，那么这个词到底是什么意思呢？它在AI世界中又扮演着什么角色呢？
#imgIndex=0" alt="图片">
token英文直译过来就是令牌、标记、凭证。在AI领域，目前国内对它有一个官方翻译，叫词元。但即使有这个翻译，大部分人也还是理解不了token到底是什么。
若使用生活化的词来解释的话，那就是一个字--“度”。就像电按“度”来计算，水按“吨”来计算一样，AI干活就按“token”计算。
我们要弄懂Token，先别看英文和代码。我们来看一个最熟悉的词：“度”。
电，我们看不见摸不着，但我们知道用了多少度电；燃烧的煤炭、使用的水能核能，就算我们不知道怎么计算，但最终都可以归结为多少度电。
同样的，生活中我们沟通的语言、查看的视频和图片，我们也不清楚它们在AI的世界中怎么计算，但它们也都可以在AI的世界中转换为多少个“token”。
#imgIndex=1" alt="图片">
AI在跟我们聊天的时候，它脑子里面流的不是汉字，而是一串一串的数字编号。它需要把我们说的话、发送的图片全部打散切碎，切成一口一个的小颗粒，这个小颗粒叫1个token。
大家可能会好奇，token的消耗应该怎么来算呢？简单的来说，我们可以这么记：
一到两个汉字，大概要吃掉Al1个Token；
一个英文单词，大概要吃掉Al1个Token；
一个标点符号，甚至一个空格，有时候也要吃掉1个Token。
在日常生活中，我们其实不需要去纠结具体会消耗几个token，只需要明白：只要AI开始思考、打字，token就在消耗。就像灯泡一亮，电表就开始转一样。
随着AI技术的高速发展，现在很多AI大模型公司主营业务不是卖软件，而是卖算力。但算力不像水电有标准收费方式，总不能按“聊了几句”算，毕竟“早上好”和一篇几千字的论文，消耗的“力气”是天差地别的。于是，出现了最公平的计算方式，即按token收费。
你发给AI的话（输入）要按消耗的token收费，AI给你的回答（输出）还要再按消耗的token收费。你发的越长、聊的越多，花的token就越多。AI向你提示“不要发长文”或者“长对话消耗额度”，这不是AI小气，更像是朋友一样提醒你少煲电话粥，月底话费会爆是一个道理，毕竟付钱的可是你。
AI的“记忆”全靠一块虚拟黑板，黑板的尺寸就叫“上下文窗口”，而黑板的大小同样用token标注。有些AI黑板只有4000token，有些能达到128000token。黑板越大，模型也就越大，能同时记住的内容也就越多。
那就只能擦掉最早写的内容甚至停止沟通，而这就会直接导致AI“健忘”。
举例来看，小知和AI聊天时提到“我叫小知，养了只猫”，随着小知与AI聊天输入与收到的信息越来越多，“黑板”被写满了（token消耗超过上限），AI不得不忘掉这句话，甚至直接停止继续聊天。出现这种情况，其实不是AI不尊重我们，而是它的“脑容量”是真的存不下了。
日常生活中我们遇到的长文档分析也逃不过这个限制。“文件过大，只处理前3000字”，这个现象背后的本质就是token容量不够。
所以，token数量就是AI记忆的“倒计时器”，黑板越大，记性越好，但“月租”也越贵。
