官方文件：https://docs.rancher.cn/docs/k3s/_index/
包装为单个二进制文件。使用基于SQLITE3的轻型存储后端作为默认存储机制。还支持的是ETCD3，MySQL和PostgreSQL作为存储机制。封装在一个简单的启动程序中，通过该程序处理许多复杂的TLS和选项。默认情况下，它是安全的，具有合理的默认值适合轻质环境。添加了简单但功能强大的电池功能，例如：本地存储提供商，服务负载平衡器，Helm Controller和Traefik Ingress Controller。 Kubernetes控制平面组件的所有操作都封装在单个二进制文件和过程中，使K3S具有自动化和管理复杂集群操作（包括证书分配）的能力。为了最大程度地减少外部依赖性，K3S仅需要内核和cgroup安装座。 K3S软件包所需的依赖项包括：集装
绒布
coredns
CNI
主机实用程序（iptables，socat等）
入口控制器（Traefik）
嵌入式服务负载平衡器
嵌入式网络策略控制器
K3适合以下情况：
Edge Computing – Edge IoT – IoTCIDevelopmentARM Embedded k8sk3s Server Node: Two or more server nodes will serve the Kubernetes API and run other control-plane services External database: Contrary to the embedded SQLite data store used in a single node k3s setup, highly available k3s requires mounting an external database external database as the medium for the data storage.k3s高可用架构：如下图所示：
验证：
离线安装的过程主要分为以下两个步骤：步骤 1：部署镜像步骤 2：安装 k3s**离线升级K3S版本： **在离线安装K3S之后，您还可以通过脚本升级K3S版本，或启用自动升级功能，以使K3S版本与最新的K3S版本同步在离线环境中。
前提条件创建镜像仓库 YAML手动部署镜像前提条件假设在离线环境中创建了节点。这种方法要求您手动将必要的图像部署到每个节点，并且适用于无法部署镜像存储库的边缘部署方案。
操作步骤请按照以下步骤准备镜像目录和K3S二进制文件
获取您正在从K3S GITHUB发行页面上运行的K3S版本的图像焦油文件。 Place the tar file in the images directory, for example: sudo mkdir -p /var/lib/rancher/k3s/worker/images/sudo cp k3s-airgap-images-amd64.tar /var/lib/rancher/k3s/worker/images/Place the k3s binary file in the /usr/local/bin/k3s path and make sure to have executable permissions.完成后，您现在可以转到下面的安装K3S部分，然后开始安装K3。 CHMOD +X K3S CP K3S/USR/local/bin/更多安装选项参考安装选项介绍|牧场主文档
前提条件在安装K3S之前，完成上述私人镜像存储库的部署或手动部署镜像，并导入安装K3S所需的图像。从发布页面下载K3S二进制文件，该页面需要匹配离线图像的版本。将二进制文件放入/usr/local/bin中的每个离线节点上，并确保二进制可执行。下载K3S安装脚本：https://get.k3s.io。将安装脚本放在每个离线节点上的任何位置，并命名IT install.sh。使用install_k3s_skip_download环境变量运行K3S脚本时，K3S使用本地脚本和二进制。
server节点worker节点注意：K3S还为Kubelets提供了-resolv-conf标志，这可能有助于在离线网络中配置DNS
！[Image-20222111823168]（/users/haojianwei1/library/application支持/typora-user-images/image-20222111823168.png）
添加worker角色标签需要调整安装命令以指定install_k3s_skip_download=true=true并在本地运行安装脚本。您还将使用install_k3s_exec=\\’args \\\’为K3S提供其他参数。
例如，使用外部数据库的高可用性安装指南的第二步提到：
由于您无法使用curl命令在离线环境中安装，因此您需要参考以下示例并修改此命令行以离线安装：
离线环境的升级可以通过以下步骤完成：下载您要升级到K3S GitHub发行页的K3S版本。将焦油文件放在每个节点的/var/lib/rancher/k3s/worker/worker/images/目录中。删除旧的焦油文件。复制并替换每个节点上/usr/local/bin中的旧K3S二进制文件。复制https://get.k3s.io的安装脚本（因为上次版本后可能已更改）。再次运行脚本。重新启动K3S服务。除了脚本升级到K3S外，您还可以启用自动升级功能，以使K3S版本保持在离线环境中与最新的K3S版本同步。
从v1.17.4+K3S1开始，K3S支持自动升级。要在离线环境中启用此功能，您必须确保在私人镜像存储库中可用所需的图像。
您将需要与您打算升级到的K3S版本相对应的Rancher/K3S升级版本。请注意，镜像标签在K3S版本中替换为- 因为Docker映像不支持+。您还需要您要部署的系统upgrad-controller supertyaml中指定的System-upgrad-controller和kubectl的版本。在此处查看最新版本的System-Upgrad-controller，然后下载System-upgrad-controller.yaml，以确定您需要将哪个版本推入私有图像存储库。例如，在v0.4.0的系统升级- 控制器的V0.4.0版本中，这些图像在清单YAML：Rancher/System-Upgrade-controller 3:V0.4.4.0您的私人图像存储库，您可以遵循K3S自动升级指南。卸载K3S将删除群集数据和所有脚本。
要使用不同的安装选项重新启动群集，请重新运行带有不同标志的安装脚本。
Helm是Kubernetes生态系统中的软件包管理工具。本文将介绍有关掌舵的相关概念和基本工作原则，并学习如何使用Helm包装，分发，安装，升级，并归还给Kubernetes应用程序，并带有特定示例。
Kubernetes是一种基于容器的应用程序集群管理解决方案。 Kubernetes提供了一系列完整的功能，例如部署和操作，资源调度，服务发现以及容器化应用程序的动态缩放。
Kubernetes的核心设计理念是：用户为要部署的应用程序定义规则，而Kubernetes负责根据定义的规则部署和运行应用程序。如果应用程序有问题导致其偏离定义规范，则Kubernetes负责自动纠正它。例如：定义的应用程序规则需要部署两个实例（POD），其中一个规则异常终止。 Kubernetes将检查并重新启动一个新实例。
用户通过使用kubernetes API对象来描述应用程序规则，包括POD，服务，卷，名称空间，replaciCet，reploceret，部署，作业等。通常，这些资源对象的定义需要写入一系列YAML文件中，然后通过Kubernetes命令行kubectl进行部署，以调试Kubernetes api。
以典型的三层应用程序WordPress为例，该应用程序涉及多个Kubernetes API对象，并描述这些Kubernetes API对象，可以同时维护多个YAML文件。
从上图可以看出，部署Kubernetes软件时，我们遇到以下问题：
如何管理，编辑和更新这些分散的Kubernetes应用程序配置文件。如何将一组相关配置文件作为应用程序管理。如何分发和重复使用Kubernetes应用程序配置。头盔似乎可以很好地解决上述问题。
Helm是Deis为Kubernetes应用程序开发的软件包管理工具，主要用于管理图表。在ubuntu或centos中的yum中有点类似。
Helm Chart是一系列YAML文件，用于封装Kubernetes本机应用程序。当您部署应用程序以促进应用程序的分布时，您可以自定义应用程序的一些元数据。
对于应用程序发布者，他们可以包装应用程序，管理应用程序依赖性，管理应用程序版本并通过Helm将应用程序发布给存储库。
对于用户，使用Helm后，您无需编写复杂的应用程序部署文件。您可以以简单的方式在Kubernetes上找到，安装，升级，后退和卸载应用程序。
Helmhelm是命令行下方的客户端工具。主要用于Kubernetes应用程序图表的本地和远程图表存储库的创建，包装，发布以及创建和管理。
Tillertiller是Helm的服务器，并部署在Kubernetes群集中。 Tiller用于接收Helm的请求，并根据图表生成Kubernetes部署文件（Helm Callme Release），然后将其提交给Kubernetes以创建应用程序。 Tiller还提供了一系列功能，例如升级，删除和发行版回滚。
Charthelm的软件包，以tar格式。类似于APT或rpm yum的DEB软件包，该软件包包含一组定义Kubernetes资源的YAML文件。
RepoistoryHelm的存储库本质上是一个Web服务器，它包含一系列图表软件包供用户下载，并提供了用于查询的存储库的图表包的清单文件。头盔可以同时管理多个不同的存储库。
发布是使用名为Release的Helm install命令在Kubernetes群集中部署的图表。
注意：应该注意的是，掌舵中提到的发行版与我们通常的概念中的版本不同。这里的版本可以理解为使用图表软件包部署的应用程序实例。
该图描述了头盔，舵（Client），Tiller（服务器），存储库（图表软件存储库）的几个关键组成部分与图表（软件包）之间的关系。
图表安装过程
从指定的目录或焦油文件中掌舵解析图表结构信息。赫尔姆通过GRPC将指定的图表结构和价值信息传递给Tiller。 Tiller根据图表和值生成版本。 Tiller将释放发送到Kubernetes生成释放。图表更新过程
从指定的目录或焦油文件中掌舵解析图表结构信息。赫尔姆传递了需要更新为tiller的发行版的名称，图表结构和值。 Tiller生成版本并使用指定名称更新版本的历史记录。 Tiller将发布到Kubernetes进行更新发布。图表回滚过程
赫尔姆将释放的名称滚回去。 Tiller以发行名称找到历史。 Tiller从历史上获取了先前的版本。 Tiller将先前的版本发送到Kubernetes，以替换当前版本。图表依赖处理指令
当Tiller处理图表时，它直接将图表合并为单个版本，并将其传递给Kubernetes。因此，Tiller不负责管理依赖关系之间的启动顺序。图表中的应用需要能够自己处理依赖关系。
安装头盔的方法有很多，并且在此处安装在二进制中。有关更多安装方法，请参阅Helm的官方帮助文档。
使用官方脚本单击安装，然后手动下载二进制包。以部署的形式将安装tiller部署在Kubernetes群集中。只需使用以下说明即可轻松完成安装。
注意：默认情况下无法访问storage.googleapis.com。请自己解决这个问题。如果您不知道是否可以访问它，那么完成此行命令CP Linux-AMD64/Helm/usr/usr/local/bin/，请查看是否还可以
由于Helm将使用Storage.googleapis.com默认地拉图像，如果您当前正在执行的计算机无法访问域名，则可以使用以下命令将其安装：
接下来检查状态
如上图可以看出：现在，Helm版本可以查看服务器版本信息，并且部署已完成
随后的下载软件包将报告错误，因为从Kubernetes 1.6版开始，API服务器已启用RBAC授权。默认情况下，当前的分er部署并未定义授权的ServiceAccount，这在访问API服务器时可能会导致拒绝。因此，我们需要明确添加用于分er部署的授权。
Kubernetes网络文件系统，主要用于持续存储，例如ES，Kafka，Minio等。
与Docker相比，集装箱有更多的命名空间概念，并且每个图像和容器在各自的名称空间下都可以看到。
CTR，评论家，Docker命令的比较
其他命令：
LLVM学习教程：3 将源文件转换为抽象语法树
正如我们在上一章中学到的那样，编译器通常分为两个部分——前端和后端。在本章中，我们将实施编程语言的前端——，即主要涉及源语言的部分。我们将学习实际编译器使用的技术，并将其应用于我们的编程语言。
我们的旅程将从定义我们的编程语言的语法开始，并以抽象的语法树（AST）结尾，这将成为代码生成的基础。您可以将此方法用于要实现编译器的任何编程语言。
在本章中，您将学习以下内容：
定义一种真实的编程语言，您将了解Tinylang语言，这是真实编程语言的一个子集，您将为其实施编译器前端组织编译器项目的目录结构了解如何处理编译器流程用户消息的多个输入文件，并以愉快的方式告知他们。构建具有语法规则的模块化组件来构建词汇分析仪的提示，以执行语法分析本章获得的技能，您将能够为任何编程语言构建编译器前端。定义真实的编程语言一种真实的编程语言比上一章中简单的CALC语言提出了更多的挑战。有关更多信息，我们将在本章和后续章节中使用Modula-2的一小部分。 Modula-2的设计良好，可选地支持通用和面向对象的编程（OOP）。但是，我们不会在本书中创建一个完整的Modula-2编译器。因此，我们称此子集tinylang。
让我们从tinylang程序的示例开始。以下功能使用欧几里得算法来计算最大的常见除数：
现在，我们可以感觉到该语言中程序的外观，让我们快速了解本章中使用的Tinylang子集的语法。在接下来的几节中，我们将使用此语法来从中得出词汇分析仪和解析器：
在Modula-2中，汇编单元从模块关键字开始，然后是模块名称。该模块的内容可以包括导入模块的列表，声明和以初始化运行的语句：
声明引入常数，变量和程序。常数声明从前缀const关键字开始。同样，变量声明从var关键字开始。常数的声明非常简单：
标识符是常数的名称。该值来自必须在编译时计算的表达式。变量声明更为复杂：
为了能够一次声明多个变量，使用标识符列表。该类型名称可能来自另一个模块，在这种情况下，它以先前的模块之一的名称为前缀。这称为合格标识符。该过程需要最详细的信息：
以上代码显示了如何声明常数，变量和程序。该过程可以具有参数和返回类型。正常参数按值传递，var参数通过参考传递。缺少块规则的另一部分是语句序列，它是单个语句的列表：
如果一个陈述后面是另一个陈述，则将其分离为半隆。同样，仅支持Modula-2语句的一个子集：
此规则的第一部分描述了分配或过程调用。合格的标识符后跟：=是一个分配。如果接下来是（那是一个程序调用。其他语句是常见的控制语句：
if语句的语法也被简化了，因为它只能具有另一个块。通过该声明，我们可以有条件地保护一个声明：
While语句描述了一个受条件保护的循环。与IF语句一起，这使我们能够在Tinylang中编写简单的算法。最后，表达式的定义丢失了：
表达语法与上一章中的计算非常相似。仅支持整数和布尔数据类型。
此外，还使用标识符和Integer_literal令牌。标识符是一个名称，以字母或下划线开头，然后是字母，数字和下划线。整数表面数量是一系列十进制数字或一系列十六进制数字，然后是字母H。
这些已经是许多规则，我们仅涵盖模量-2的一部分！然而，小型应用程序仍然可以写在该子集中。让我们实施Tinylang的编译器！
创建项目布局Tinylang的项目布局遵循我们在“安装LLVM”第1章中提出的方法。每个组件的源代码位于LIB目录的子目录中，标题文件位于Inclups/tinylang的子目录中。子目录以组件命名。在第1章“安装LLVM”中，我们仅创建了基本组件。
从上一章中，我们知道我们需要实现词汇分析仪，解析器，AST和语义分析仪。每个都是其自己的组件，称为Lexer，Parser，AST和SEMA。本章将使用的目录布局如下：
图3.1 – tinylang项目的目录布局图3.1 – 目录tinylang项目的布局
组件具有明确的依赖性。 Lexer仅取决于基本。解析器依赖于基本，Lexer，AST和SEMA。 SEMA仅取决于基本和AST。定义明确的依赖项有助于我们重用组件。
让我们仔细研究实现！
管理编译器的输入文件真正的编译器需要处理许多文件。通常，开发人员通过调用编译器并指定主编译单元的名称来调用编译器。此编译单元可以通过例如C，Python中的#include指令或Modula-2中的导入语句来参考其他文件。导入的模块可以导入其他模块，依此类推。所有这些文件必须加载到内存中，并通过编译器的分析阶段。在开发过程中，开发人员可能会犯语法或语义错误。当检测到这些错误时，应打印一条错误消息，包括源代码行和标签。这个基本组件并不简单。
幸运的是，LLVM提供了一个解决方案：LLVM:Sourcemgr类。通过调用AddNewSourceBuffer（）方法将新的源文件添加到Sourcemgr。另外，可以通过调用AddIncludeFile（）方法来加载文件。两种方法都返回标识缓冲区的ID。您可以使用此ID将指针检索到相关文件的内存缓冲区。要定义文件中的位置，您可以使用LLVM:SMLOC类。该类将指针封装到缓冲区。各种PrintMessage（）方法允许您向用户发出错误和其他信息消息。
为用户处理消息所有丢失是一种集中定义消息的方法。在大型软件（例如编译器）中，您不想在各地传播消息字符串。如果您需要更改消息或将其转换为另一种语言，则最好将它们放在集中位置！
一种简单的方法是让每个消息一个ID（枚举成员），一个严重性级别（例如错误或警告）以及包含消息的字符串。在您的代码中，您仅引用消息ID。严重性级别和消息字符串仅在打印消息时使用。这三个项目（ID，安全级别和消息）必须始终如一地管理。 LLVM库使用预处理器来解决此问题。数据存储在带有.def后缀的文件中，并用宏名称包装。该文件通常包含多次，每次宏的定义不同。该定义位于Incluph/tinylang/basic/diagnostic.def文件路径中，如下所示：
第一个宏参数ID是枚举标签，第二个参数级别是严重性，第三个参数msg是消息文本。有了这个定义，我们可以定义诊断Engine类以发出错误消息。该界面位于Incluph/tinylang/basic/diagnostic.h文件中：
包含必要的标头文件后，您可以使用diagnostic.def来定义枚举。为了避免污染全局名称空间，使用了一个名为diag的嵌套名称空间：
DiagnosticsEngine类使用Sourcemgr实例通过Report（）方法发送消息。消息可以具有参数。为了实现此功能，使用LLVM提供的可变格式支持。通过静态方法检索消息文本和严重性级别。作为奖励，也计算了发送的错误消息的数量：
通过此实施，我们已经实施了大多数课程。仅缺少GetDiaNgnostTictExt（）和GetDiagnostickind（）。它们在lib/basic/diagnostic.cpp文件中定义，还使用diagnostic.def文件：
Sourcemgr和DiagnosticsEngine类的组合为其他组件提供了良好的基础。我们将首先在Lexer中使用它们！
正如我们从上一章中学到的那样，我们需要一个令牌类和Lexer类。此外，需要一个tokenkind枚举才能为每个标签类提供一个唯一的数字。将所有内容放入标头文件和实现文件是不可扩展的，所以让我们移动这些项目。 Tokenkind可以普遍使用并放置在基本组件中。令牌和Lexer类属于Lexer组件，但放置在不同的标题和实现文件中。
有三种不同类型的标记：关键字，标点符号和代表许多值的标记。例如，const关键字；定界符和标签，每个标签代表源代码中的标识符。每个标签都需要枚举成员名称。关键字和标点符号具有可用于消息的自然显示名称。
像许多编程语言一样，关键字是标识符的子集。为了
标记分类为关键字，我们需要一个关键字过滤器，该过滤器检查找到的标识符是否确实是关键字。这与C或C++中的行为相同，其中关键字也是标识符的一个子集。编程语言的发展可能会引入新的关键字。例如，原始的K&R C语言没有使用enum关键字定义枚举。因此，应该有一个标志指示关键字的语言级别。
我们收集了几件信息，所有这些都属于TokenKind枚举的成员：枚举成员的标签、标点符号的拼写以及关键字的标志。为了诊断消息，我们在名为include/tinylang/Basic/TokenKinds.def的.def文件中集中存储信息，如下所示。需要注意的一点是，关键字以kw_为前缀：
有了这些集中定义，很容易在include/tinylang/Basic/TokenKinds.h文件中创建TokenKind枚举。同样，枚举被放入自己的命名空间tok中：
实现文件lib/Basic/TokenKinds.cpp也使用.def文件检索名称：
标记的文本名称从其枚举标签ID派生。有两个特点：
首先，我们需要定义TOK和KEYWORD宏，因为KEYWORD的默认定义不使用TOK宏 其次，在数组的末尾添加了一个nullptr值，以适应添加的NUM_TOKENS枚举成员：
我们采用略有不同的方法在getPunctuatorSpelling()和getKeywordSpelling()函数中。这些函数仅在枚举的子集中返回有意义的值。可以通过使用switch语句实现，默认情况下返回一个空指针值：
提示
注意宏是如何定义的，以便从文件中检索必要的信息片段。
在上一章中，Token类在Lexer类的同一头文件中声明。为了使其更加通用，我们将把Token类放入其自己的头文件include/Lexer/Token.h中。与之前一样，Token存储指向标记开头的指针、其长度以及之前定义的标记类型：
我们在include/Lexer/Lexer.h头文件中声明Lexer类，并将实现放在lib/Lexer/lexer.cpp文件中。结构与上一章中的calc语言相同。我们需要更仔细地查看两个细节：
首先，一些操作符共享相同的前缀——例如，<和<=。当当前字符我们查看的是<，那么我们必须在决定我们找到了哪个标记之前检查下一个字符。记住，输入需要以空字节结束。因此，如果当前字符有效，总是可以使用下一个字符：
另一个细节是现在有更多的关键字。我们如何处理这个？一个简单且快速的解决方案是在关键字的哈希表中填充，这些关键字都存储在TokenKinds.def文件中。这可以在Lexer类的实例化期间完成。通过这种方法，也可以支持语言的不同级别，因为可以通过附加的标志过滤关键字。在这里，这种灵活性还不是必需的。在头文件中，关键字过滤器定义如下，使用llvm::StringMap实例作为哈希表：
在实现文件中，填充了关键字表：
使用您刚刚了解到的技术，编写一个高效的词法分析器类并不困难。由于编译速度很重要，许多编译器使用手写的词法分析器，clang就是一个例子。
构建递归下降解析器 如上一章所示，解析器是从语法派生出来的。让我们回顾一下所有的构造规则。对于语法中的每一条规则，你都会创建一个以规则左侧非终结符命名的方法，以解析规则右侧的内容。遵循右侧的定义，你将执行以下操作：
对于每个非终结符，调用相应的方法 消耗每个标记 对于备选方案和可选或重复的组，检查前瞻标记（下一个未消耗的标记）以决定继续的位置 让我们将这些构造规则应用于以下语法规则：
我们可以很容易地将其翻译成以下C++方法：
tinylang的整个语法都可以以这种方式转换成C++。一般来说，你必须小心避免一些陷阱，因为你在网上找到的大多数语法都不适合这种构造方式。
语法和解析器
有两种不同类型的解析器：自顶向下解析器和自底向上解析器。它们的名字来源于解析过程中规则处理的顺序。解析器的输入是由词法分析器生成的标记序列。
自顶向下解析器会扩展规则中左边最深（最左边）的符号，直到匹配到一个标记。如果所有标记都被消耗，并且所有符号都被扩展，那么解析就成功了。这正是tinylang解析器的工作方式。
自底向上解析器则相反：它查看标记序列，并尝试用语法中的符号替换这些标记。例如，如果下一个标记是IF、3、+和4，那么自底向上解析器将3 + 4标记替换为表达式符号，从而形成IF表达式序列。当看到所有属于IF语句的标记时，那么这个标记和符号序列就被替换为ifStatement符号。
如果所有标记都被消耗，并且只剩下起始符号，那么解析就成功了。虽然自顶向下解析器可以很容易地手工构建，但自底向上解析器则不是这样。
通过首先扩展哪些符号，可以以不同的方式对这两种类型的解析器进行特征化。两者都从左到右读取输入，但自顶向下解析器首先扩展最左边的符号，而自底向上解析器扩展最右边的符号。因此，自顶向下解析器也被称为LL解析器，而自底向上解析器被称为LR解析器。
为了从语法中派生出LL或LR解析器，语法必须具有某些属性。语法相应地被命名：你需要一个LL语法来构建LL解析器。
你可以在关于编译器构建的大学教科书中找到更多细节，例如Wilhelm、Seidl和Hack的《编译器设计。语法和语义分析》，Springer 2013年，以及Grune和Jacobs的《解析技术，实用指南》，Springer 2008年。
要寻找的一个问题是左递归规则。如果规则的右侧以与左侧相同的终结符开始，则称该规则为左递归。在表达式的语法中可以找到一个典型的例子：
如果从语法中还不清楚，那么将其翻译成C++就很明显了，这将导致无限递归：
左递归也可以间接发生并涉及更多规则，这更加难以发现。这就是为什么存在一种算法可以检测并消除左递归。
注意
左递归规则仅对LL解析器（如tinylang的递归下降解析器）存在问题。原因是这些解析器首先扩展最左边的符号。相比之下，如果你使用解析器生成器生成一个首先扩展最右边符号的LR解析器，那么你应该避免使用右递归规则。
在每一步，解析器都只使用前瞻标记来决定如何继续。如果这个决定不能确定性地做出，那么语法就被称为有冲突。为了说明这一点，让我们看看C#中的using语句。就像在C++中一样，using语句可以用来在命名空间中使一个符号可见，例如using Math;。也可以为导入的符号定义一个别名名称，使用using M = Math;。在语法中，这可以这样表示：
这里有一个问题：在解析器消耗了using关键字之后，前瞻标记是ident。然而，这些信息不足以让我们决定是否需要跳过或解析可选组。如果可选组可以开始的标记集与可选组之后的标记集重叠，这种情况总是会出现的。
让我们用一个备选方案而不是一个可选组重写规则：
现在，有一个不同的冲突：两个备选方案都以相同的标记开始。仅查看前瞻标记，解析器无法决定哪个备选方案是正确的。
这些冲突非常常见。因此，知道如何处理它们是很好的。一种方法是重写语法，使冲突消失。在前面的示例中，两个备选方案都以相同的标记开始。这可以被分解出来，得到以下规则：
这种表述没有冲突，但还应该注意到它表达性较差。在另外两种表述中，哪个ident是别名名称，哪个ident是命名空间名称是显而易见的。在无冲突规则中，最左边的ident改变了它的角色。首先，它是命名空间名称，但如果跟随一个等号，那么它就变成了别名名称。
第二种方法是添加一个谓词来区分这两种情况。这个谓词，通常称为解析器，可以使用上下文信息进行决策（例如符号表中的名称查找），或者它可以查看一个以上的标记。让我们假设词法分析器有一个名为Token &peek(int n)的方法，它返回当前前瞻标记之后的第n个标记。在这里，等号的存在可以用作决策中的额外谓词：
第三种方法是使用回溯。为此，你需要保存当前状态。然后，你必须尝试解析冲突组。如果这不成功，那么你需要回到保存的状态并尝试另一条路径。在这里，你正在寻找要应用的正确规则，这不像其他方法那样高效。因此，你应该只在系统化的方法中，你可以定义一个明确的标记集，这些标记指示错误恢复应该停止并尝试继续解析的位置。例如，在C语言风格的语法中，分号通常用作语句的终止符。因此，当你遇到语法错误时，你可以跳过所有标记，直到你遇到一个分号，然后假设分号之前的内容是完整的语句，并继续解析下一个语句。
在实现解析器时，你需要跟踪当前的解析状态，这样当发生错误时，你可以回退到错误发生之前的状态。这通常涉及到保存解析器的状态，包括当前的输入位置、已经消耗的标记和任何中间解析结果。然后，如果解析尝试失败，你可以恢复到这个状态并尝试不同的解析路径。
此外，错误恢复策略可以更加复杂和精细，例如：错误报告：在检测到错误时，解析器可以生成错误消息，告知开发者或用户错误的类型和位置。这有助于快速定位和修复问题。错误提示：解析器可以提供关于如何修复错误的建议，例如建议缺少的标记或提示可能的语法结构。错误容忍：某些解析器设计为在遇到错误时继续尽可能地解析输入，而不是立即停止。这在处理大型文件或不完整的输入时非常有用。结构化错误恢复：在某些情况下，解析器可以利用语法的结构来更智能地恢复，例如，如果知道某些语句必须以特定的方式结束，解析器可以在检测到这些结构的结束时恢复。使用语法预测：解析器可以使用语法预测来决定在冲突情况下采用哪个规则。这通常涉及到分析语法并生成一个预测分析表，解析器使用这个表来决定在给定前瞻标记的情况下应该采取哪个规则。集成开发环境（IDE）支持：在IDE中，解析器的错误恢复功能可以与代码高亮、自动完成和其他编辑功能集成，以提供更流畅的用户体验。在设计解析器时，考虑错误恢复策略是至关重要的，因为它直接影响到开发者和用户处理语法错误的能力。一个良好设计的错误恢复机制可以显著提高编程语言的可用性和调试效率。
最后，值得注意的是，错误恢复策略的选择和实现取决于具体的应用场景和要求。在某些情况下，可能需要一个健壮且复杂的错误恢复机制，而在其他情况下，一个简单且快速的机制可能更为合适。
对于每个非终结符，你需要计算可以跟随该非终结符的标记集合（称为FOLLOW集）。对于非终结符statement，可以跟随的标记有;、ELSE和END。因此，你必须在parseStatement()的错误恢复部分使用这个集合。这种方法假设语法错误可以局部处理。通常情况下，这是不可能的。因为解析器会跳过标记，可能会跳过很多，以至于到达输入的末尾。在这一点上，局部恢复是不可能的。
为了防止无意义的错误消息，调用方法需要被告知错误恢复尚未完成。这可以通过布尔值（bool）来完成。如果它返回true，这意味着错误恢复还没有完成，而false则意味着解析（包括可能的错误恢复）成功。
有许多方法可以扩展这个错误恢复方案。使用活跃调用者的FOLLOW集是一个流行的方法。以一个简单的例子为例，假设parseStatement()由parseStatementSequence()调用，而parseStatementSequence()本身由parseBlock()调用，并且从parseModule()开始。
在这里，每个相应的非终结符都有一个FOLLOW集。如果解析器在parseStatement()中检测到语法错误，那么将跳过标记，直到标记至少在活动调用者的FOLLOW集中的一个中。如果标记在statement的FOLLOW集中，则错误已在本地恢复，并向调用者返回false值。否则，返回true值，意味着必须继续错误恢复。实现此扩展的可能策略是传递std::bitset或std::tuple以表示当前FOLLOW集的并集给被调用者。
最后一个问题仍然悬而未决：我们如何调用错误恢复？在上一章中，使用了goto语句跳转到错误恢复块。这可行，但不是令人满意的解决方案。考虑到我们之前讨论的内容，我们可以在单独的方法中跳过标记。Clang有一个名为hasSkipUntil()的方法用于此目的；我们也为tinylang使用这个方法。
因为下一步是向解析器添加语义动作，所以拥有一个中心位置放置清理代码（如果必要的话）也是很好的。嵌套函数将非常适合于此。C++没有嵌套函数。相反，Lambda函数可以提供类似的目的。我们最初看到的parseIfStatement()方法，在添加了完整的错误恢复代码后，看起来如下：
解析器和词法分析器生成器
手动构建解析器和词法分析器可能是一个繁琐的任务，特别是如果你尝试发明一种新的编程语言并且经常更改语法。幸运的是，一些工具可以自动化这项任务。
经典的Linux工具是flex（https://github.com/westes/flex）和bison（https://www.gnu.org/software/bison/）。flex从一组正则表达式生成词法分析器，而bison从语法描述生成LALR(1)解析器。这两个工具都生成C/C++源代码，并且可以一起使用。
另一个流行的工具是ANTLR（https://www.antlr.org/）。ANTLR可以从语法描述生成词法分析器、解析器和AST。生成的解析器属于LL(*)类，这意味着它是一个自顶向下的解析器，使用可变数量的前瞻来解决冲突。该工具是用Java编写的，但可以为许多流行语言生成源代码，包括C/C++。
所有这些工具都需要一些库支持。如果你正在寻找一个可以生成自包含词法分析器和解析器的工具，那么Coco/R（https://ssw.jku.at/Research/Projects/Coco/）可能是你需要的工具。Coco/R从LL(1)语法描述生成词法分析器和递归下降解析器，类似于本书中使用的那种。生成的文件基于一个模板文件，如果需要，你可以更改它。该工具是用C#编写的，但已经移植到C++、Java和其他语言。
有许多其他可用的工具，它们在支持的功能和输出语言方面差异很大。当然，在选择工具时，还需要考虑权衡。像bison这样的LALR(1)解析器生成器可以消耗广泛的语法，你在互联网上找到的自由语法通常是LALR(1)语法。
作为一个缺点，这些生成器生成的状态机需要在运行时进行解释，这可能比递归下降解析器慢。错误处理也更加复杂。bison对处理语法错误有基本支持，但正确使用需要深入理解解析器的工作原理。与此相比，ANTLR消耗的语法类略小，但可以自动生成错误处理，并且还可以生成AST。因此，重写语法以便与ANTLR一起使用可能会加快以后的开发速度。
执行语义分析
我们在上一节构建的解析器只检查输入的语法。下一步是添加执行语义分析的能力。在上一章的calc示例中，解析器构建了一个AST。在单独的阶段，语义分析器在这颗树上工作。这种方法总是可以使用的。在本节中，我们将使用一种略有不同的方法，并将解析器和语义分析器更紧密地交织在一起。
语义分析器需要做什么？让我们来看看：
对于每个声明，必须检查变量、对象等的名称，以确保它们没有在其他地方声明过。 对于表达式或语句中名称的每个出现，必须检查该名称已声明，并且所需的使用符合声明。 对于每个表达式，必须计算结果类型。还需要计算表达式是否为常量，如果是，它的值是什么。 对于赋值和参数传递，我们必须检查类型是否兼容。此外，我们必须检查IF和WHILE语句中的条件是否为布尔类型。
对于这样一个小的编程语言子集，已经有很多需要检查的内容了！
处理名称的作用域
首先，让我们看看名称的作用域。名称的作用域是名称可见的范围。像C语言一样，tinylang使用“先声明后使用”的模型。例如，变量B和X在模块级别声明为INTEGER类型：
在声明之前，这些变量是未知的，不能被使用。只有在声明之后才可能使用。在过程内部，可以声明更多的变量：
在过程内部，在注释的位置，使用B指的是局部变量B，而使用X指的是全局变量X。局部变量B的作用域是Proc。如果在当前作用域中找不到名称，则在包含作用域或父作用域中继续搜索。因此，可以在过程内部使用变量X。在tinylang中，只有模块和过程会开启新的作用域。其他语言结构，如结构体和类，通常也会开启一个作用域。预定义的实体，如INTEGER类型和TRUE字面量，是在全局作用域中声明的，它包围了模块的作用域。
在tinylang中，只有名称是至关重要的。因此，作用域可以作为名称到其声明的映射来实现。如果名称尚未出现，只能插入新名称。对于查找，还必须知道包含或父作用域。接口（在include/tinylang/Sema/Scope.h文件中）如下所示：
在lib/Sema/Scope.cpp文件中的实现如下：
请注意，StringMap::insert()方法不会覆盖现有条目。生成的std::pair的第二个成员指示表是否已更新。此信息返回给调用者。
为了实现对符号声明的搜索，lookup()方法在当前作用域中搜索，如果没有找到，则搜索由父成员链接的作用域：
然后，变量声明被处理如下：
当前作用域是模块作用域。 查找INTEGER类型声明。如果没有找到声明，或者它不是一个类型声明，那么这是一个错误。 实例化一个名为VariableDeclaration的新AST节点，其重要属性是名称B和类型。 将名称B插入当前作用域，映射到声明实例。如果作用域中已经存在该名称，则这是一个错误。在这种情况下，不更改当前作用域的内容。 对X变量也执行相同的操作。 这里执行了两个任务。就像在calc示例中一样，构建了AST节点。同时，计算了节点的属性，如类型。为什么这是可能的？
语义分析器可以依赖两组不同的属性。作用域是从调用者继承的。类型声明可以通过评估类型声明的名称来计算（或合成）。语言的设计方式是这两组属性足以计算AST节点的所有属性。
一个重要的方面是“先声明后使用”的模型。如果一种语言允许在使用前使用名称，例如C++中类的成员，则不可能一次性计算AST节点的所有属性。在这种情况下，必须使用仅部分计算的属性或仅使用纯信息（如在calc示例中）构建AST节点。
然后必须访问AST一次或多次以确定缺失的信息。在tinylang（和Modula-2）的情况下，可以不使用AST构造——AST通过parseXXX()方法的调用层次结构间接表示。从AST生成代码更为常见，因此我们在这里也构建了一个AST。
在我们把各个部分组合在一起之前，我们需要理解LLVM使用运行时类型信息（RTTI）的风格。
使用 LLVM 风格的 RTTI 为 AST
AST（抽象语法树）节点是类层次结构的一部分。声明总是有一个名称。其他属性取决于正在声明的内容。如果声明了一个变量，则需要一个类型。常量声明需要一个类型、一个值等。当然，在运行时，你需要弄清楚你正在处理的是哪种声明。可以使用 C++ 的 dynamic_cast<>运算符来实现这一点。问题在于，只有当 C++ 类附加了虚函数表（即它使用了虚函数）时，才可用所需的 RTTI。另一个缺点是 C++ RTTI 过于臃肿。为了避免这些缺点，LLVM 开发者引入了一种自制的 RTTI 风格，这种风格在整个 LLVM 库中使用。
我们层次结构的（抽象）基类是 Decl。为了实现 LLVM 风格的 RTTI，必须添加一个包含每个子类标签的公共枚举，并需要一个这种类型的私有成员和一个公共的 getter 函数。这个私有成员通常称为 Kind。在我们的例子中，它看起来像这样：
每个子类现在都需要一个特殊的函数成员，称为 classof。这个函数的目的是确定给定的实例是否是请求的类型。对于 VariableDeclaration，它的实现如下：
现在，你可以使用特殊的模板 llvm::isa<>来检查对象是否是请求的类型，使用 llvm::dyn_cast<>来动态转换对象。存在更多的模板，但这两者是最常用的。有关其他模板的更多信息，请参阅 LLVM Programmer’s Manual。有关 LLVM 风格的更多高级用途，请参阅 HowToSetUpLLVMStyleRTTI。
创建语义分析器
有了这些知识，我们现在可以实施所有部分。首先，我们必须在 include/llvm/tinylang/AST/AST.h 文件中创建存储在 AST 节点中变量的定义。除了支持 LLVM 风格的 RTTI，基类还存储声明的名称、名称的位置和指向封闭声明的指针。后者在嵌套过程的代码生成期间是必需的。Decl 基类声明如下：
变量声明的声明只增加了一个指向类型声明的指针：
解析器中的方法需要用语义动作和收集信息的变量来扩展：
DeclList 是声明的列表，std::vector，IdentList 是位置和标识符的列表，std::vector>。
parseQualident() 方法返回一个声明，在这个情况下，预期它是一个类型声明。
解析器类知道语义分析器类的一个实例，Sema，它存储在 Actions 成员中。调用 actOnVariableDeclaration() 运行语义分析器和 AST 构造。实现在 lib/Sema/Sema.cpp 文件中：
使用 llvm::dyn_cast检查类型声明。如果它不是一个类型声明，那么打印错误消息。否则，对于 Ids 列表中的每个名称，实例化 VariableDeclaration 并将其添加到声明列表中。如果因为名称已经被声明而向当前范围添加变量失败，也会打印错误消息。
大多数其他实体的构造方式相同——语义分析的复杂性是唯一的区别。模块和过程需要更多的工作，因为它们开启了一个新的范围。开启一个新的范围很简单：只需要实例化一个新的 Scope 对象。一旦模块或过程被解析，就必须移除范围。
这必须可靠地完成，因为我们不想在语法错误的情况下将名称添加到错误的范围。这是 C++ 中资源获取即初始化（RAII）惯用法的经典应用。另一个复杂性来自于一个过程可以递归调用自身。因此，在使用过程之前，必须将过程的名称添加到当前范围中。语义分析器有两个方法来进入和离开范围。范围与声明相关联：
使用一个简单的辅助类来实现 RAII 惯用法：
当解析模块或过程时，与语义分析器发生两次交互。第一次是在解析名称之后。在这里，构建了（几乎为空的）AST 节点并建立了一个新的范围：
语义分析器在当前范围中检查名称并返回 AST 节点：
真正的工作是在解析了所有的声明和过程体之后完成的。你只需要检查过程声明末尾的名称是否等于过程的名称，以及用于返回类型的声明是否是类型声明：
一些声明是固有存在的，不能由开发人员定义。这包括 BOOLEAN 和 INTEGER 类型以及 TRUE 和 FALSE 字面量。这些声明存在于全局范围中，必须以编程方式添加。Modula-2 还预定义了一些过程，如 INC 或 DEC，这些也可以添加到全局范围中。鉴于我们的类，初始化全局范围很简单：
有了这个方案，tinylang 可以做所有必要的计算。例如，让我们看看如何计算一个表达式是否产生一个常量值：
我们必须确保字面量或对常量声明的引用是常量 如果表达式的两边都是常量，那么应用运算符也会产生一个常量 这些规则被嵌入到语义分析器中，同时为表达式创建 AST 节点。同样，类型和常量值也可以被计算。
需要注意的是，并非所有种类的计算都可以以这种方式完成。例如，要检测未初始化变量的使用，可以使用称为符号解释的方法。在其一般形式中，该方法需要通过 AST 进行特殊的遍历顺序，这在构造时是不可能的。好消息是，所提出的方法创建了一个完全装饰的 AST，准备进行代码生成。这个 AST 可以用于进一步的分析，只要可以根据需要打开或关闭昂贵的分析。
要使用前端进行实验，你还需要更新驱动程序。由于缺少代码生成，一个正确的 tinylang 程序不会产生任何输出。尽管如此，它可以用来探索错误恢复并引发语义错误：
恭喜！你已经完成了 tinylang 的前端实现！你可以使用在“定义一个真正的编程语言”部分提供的示例程序 Gcd.mod 来运行前端：
当然，这是一个有效的程序，看起来什么都没有发生。确保修改文件并引发一些错误消息。我们将在下一章通过添加代码生成继续乐趣。
总结 在本章中，你学习了真实世界编译器在前端使用的技巧。从项目布局开始，你为词法分析器、解析器和语义分析器创建了单独的库。为了向用户输出消息，你扩展了一个现有的 LLVM 类，允许消息集中存储。词法分析器现在被分成了几个接口。
然后，你学习了如何根据语法描述构建递归下降解析器，了解了要避免的陷阱，并学习了如何使用生成器来完成这项工作。你构建的语义分析器在与解析器和 AST 构造交织的同时，执行了语言所需的所有语义检查。
你编码工作的结果是得到了一个完全装饰的 AST。你将在下一章中使用它来生成 IR 代码，最终生成目标代码。
Python 开源神器 GNE 实现新闻页面智能解析无广告，准确率 99%
在爬虫开发中，页面解析始终是核心难题：Diffbot：付费 API 按次收费（$299 / 月起），且无法私有化部署BeautifulSoup：需手动编写 XPath 规则，面对复杂页面效率低下Scrapy：依赖大量正则表达式，维护成本高GNE 库（GeneralNewsExtractor） 的出现彻底改变了这一局面：零代码解析：4 行 Python 代码实现新闻 / 电商页面核心内容提取智能去噪：自动过滤广告、评论区、版权声明等干扰信息完全免费：本地私有化部署，数据隐私安全无忧输出示例：
技术亮点：文本密度算法：通过计算 HTML 文档中文字、标点符号的分布密度，定位正文区域。例如，正文通常包含连续的高密度文本段落，而广告区则呈现零散的文本分布。启发式规则：内置大量针对新闻网页的特征规则，如：排除固定位置的噪声（如页脚版权声明、侧边栏广告）识别常见正文标签（如div[class*=\\”article\\”]、p[align=\\”justify\\”]）过滤重复内容（如 “本文来源：XXX”）视觉特征分析：模拟人类视觉扫描路径，优先提取页面中间区域的内容，排除左右两侧的干扰信息。GNE 库的三大核心优势：零门槛：无需编写复杂规则，开箱即用高性价比：完全免费，性能媲美付费 API灵活扩展：支持自定义配置，适配各类页面GitHub 地址：https://github.com/GeneralNewsExtractor/GeneralNewsExtractor安装命令：pip install gne
如果你觉得这篇教程对你有帮助，欢迎点赞 + 收藏 + 关注！你的支持是我持续分享技术干货的动力～
GeneralNewsExtractor官方文档
OK，关于tokenmgr—tokenmgr不停的弹出和的内容到此结束了，希望对大家有所帮助。
用户评论
凉笙墨染
每次都在我关键时刻突然蹦出个 tokenmgr 弹窗，真是太要命了！我都没时间看它是什么玩意儿 just close it! 我只想知道我的程序是顺利运行的还是不
有12位网友表示赞同！
红尘烟雨
我觉得这个 TokenMgr 窗口挺烦人的，本来沉浸在操作中，就被它一晃荡进来，注意力全被打乱了。难道没有办法把它隐藏起来吗？比如设置自动关闭或者只在必要时弹出
有12位网友表示赞同！
追忆思域。
我也遇到了同样的问题，每次使用软件的时候都会被 tokenmgr 弹窗打扰。这种频繁弹出的弹窗真的影响效率
有5位网友表示赞同！
红尘滚滚
我觉得这个 TokenMgr 窗口挺重要，它至少可以提醒我token的有效期等等信息，如果它不弹出，我不一定能及时知道这些关键信息呀！
有15位网友表示赞同！
呆檬
TokenMgr 不管怎么样都不能再频繁弹出啦！简直像个定时炸弹一样，每次都让我心惊肉跳。请问有没有解决这个问题的方法？
有17位网友表示赞同！
在哪跌倒こ就在哪躺下
我也是啊，这款 tokenmgr 要是在每个程序启动时或者进行操作的关键环节都弹出就有点过于烦人了
有7位网友表示赞同！
金橙橙。-
我感觉这个 tokenmgr 窗口应该根据用户的操作习惯来调整弹出的频率，比如如果用户频繁操作某个功能模块就能提高弹出的频率，减少用户的麻烦
有14位网友表示赞同！
初阳
我也经常遇到 TokenMgr 不停弹出的问题。有时候想快速处理任务，却被这个突然弹出的窗口打断！感觉非常糟糕
有12位网友表示赞同！
陌上蔷薇
我有一种好奇想法，不知道这个 TokenMgr 是干些什么的？为什么总是弹出？
有13位网友表示赞同！
在哪跌倒こ就在哪躺下
这难道是软件bug吗？tokenmgr 我试着更新了软件版本也没用啊。希望官方能尽快解决这个问题，别再让人受苦了！
有16位网友表示赞同！
限量版女汉子
我觉得这款 tokenmgr 做得还是不错的，至少告诉我我的 token 信息并帮我提醒过期，只是弹窗过于频繁确实有点影响使用体验
有19位网友表示赞同！
↘▂_倥絔
每次看到 tokenmgr 弹窗都会让我想到以前那些不停弹广告的软件…真是让人头疼！希望开发者能改进一下这个设计。
有12位网友表示赞同！
无望的后半生
请问tokenmgr 这玩意儿还可以自定义设置吗？能不能设置成自动隐藏或者定时弹出？这样至少减少点烦躁
有14位网友表示赞同！
信仰
我个人觉得 tokenmgr 窗口设计有点问题，弹窗频率过高，内容又过于单一，缺乏实用性。希望开发者能优化一下这个部分的功能
有15位网友表示赞同！
泪湿青衫
我也遇到了这样的情况，每次打开软件就弹出一个 tokenmgr, 简直无法集中精力工作了!不知道有没有办法屏蔽掉它 ?
有13位网友表示赞同！
别留遗憾
这款tokenmgr确实挺有用，信息提示很及时清晰，但频繁弹出确实会打扰工作。希望开发者能够优化一下弹窗频率和时间设置，例如定时提醒或者根据用户操作自动调节。
有9位网友表示赞同！
慑人的傲气
如果实在想要一个 tokenmgr 的弹窗存在感更弱的话，比如在屏幕最底部默默出现一小块提示，也不会影响用户的正常操作
有17位网友表示赞同！