C语言第三方库Melon开箱即用之词法分析器使用

之前的文章中，笔者介绍了Linux/UNIX C语言库Melon的基本功能及框架使用。

本文将介绍Melon中的词法分析器组件。

Melon的Github仓库为：https://github.com/Water-Melon/Melon
在这里插入图片描述

词法分析器在Melon中并不依赖于自身框架，因此可以在不初始化框架的情况下即可使用。

基础使用

我们先来看一个基本例子：

//lexer.c#include <stdio.h>
#include "mln_lex.h"MLN_DEFINE_TOKEN_TYPE_AND_STRUCT(static, mln_test, TEST);
MLN_DEFINE_TOKEN(mln_test, TEST);int main(int argc, char *argv[])
{if (argc != 2) {fprintf(stderr, "Usage: %s file_path\n", argv[0]);return -1;}mln_string_t path;mln_lex_t *lex = NULL;struct mln_lex_attr lattr;mln_test_struct_t *ts;mln_string_nSet(&path, argv[1], strlen(argv[1]));lattr.pool = mln_alloc_init();if (lattr.pool == NULL) {fprintf(stderr, "init memory pool failed\n");return -1;}lattr.keywords = NULL;lattr.hooks = NULL;lattr.preprocess = 0;lattr.padding = 0;lattr.type = M_INPUT_T_FILE;lattr.data = &path;lattr.env = NULL;mln_lex_initWithHooks(mln_test, lex, &lattr);if (lex == NULL) {fprintf(stderr, "lexer init failed\n");return -1;}while (1) {ts = mln_test_token(lex);if (ts == NULL || ts->type == TEST_TK_EOF)break;write(STDOUT_FILENO, ts->text->data, ts->text->len);printf(" line:%u type:%d\n", ts->line, ts->type);}mln_lex_destroy(lex);mln_alloc_destroy(lattr.pool);return 0;
}

如此，即可完成一个词法解析器程序，它读取程序的参数所指定的文件的内容，然后解析成词素，并将其打印出来。

我们执行：

$ ./lexer lexer.c/ line:1 type:21
/ line:1 type:21
lexer line:1 type:5
. line:1 type:20
c line:1 type:5
# line:3 type:9
include line:3 type:5
< line:3 type:24
stdio line:3 type:5
. line:3 type:20
h line:3 type:5
> line:3 type:26
...

可以看到，这个程序将我们的示例C程序拆解成各种词素，如：/，#，<等等。

进阶使用

上面的例子可以看到，基础的词法解析器解析出的词素过于细碎，有时我们还希望解析器支持我们自定义的关键字、自定义格式的数据，甚至是一些预处理功能，例如引入其他文件的内容解析词素。

那么，我们就将上面的例子进行一番修改：

//lexer.c#include <stdio.h>
#include "mln_lex.h"mln_string_t keywords[] = {mln_string("on"),mln_string("off"),mln_string(NULL)
};MLN_DEFINE_TOKEN_TYPE_AND_STRUCT(static, mln_test, TEST, TEST_TK_ON, TEST_TK_OFF, TEST_TK_STRING);
MLN_DEFINE_TOKEN(mln_test, TEST, {TEST_TK_ON, "TEST_TK_ON"}, {TEST_TK_OFF, "TEST_TK_OFF"}, {TEST_TK_STRING, "TEST_TK_STRING"});static inline int
mln_get_char(mln_lex_t *lex, char c)
{if (c == '\\') {char n;if ((n = mln_lex_getAChar(lex)) == MLN_ERR) return -1;switch ( n ) {case '\"':if (mln_lex_putAChar(lex, n) == MLN_ERR) return -1;break;case '\'':if (mln_lex_putAChar(lex, n) == MLN_ERR) return -1;break;case 'n':if (mln_lex_putAChar(lex, '\n') == MLN_ERR) return -1;break;case 't':if (mln_lex_putAChar(lex, '\t') == MLN_ERR) return -1;break;case 'b':if (mln_lex_putAChar(lex, '\b') == MLN_ERR) return -1;break;case 'a':if (mln_lex_putAChar(lex, '\a') == MLN_ERR) return -1;break;case 'f':if (mln_lex_putAChar(lex, '\f') == MLN_ERR) return -1;break;case 'r':if (mln_lex_putAChar(lex, '\r') == MLN_ERR) return -1;break;case 'v':if (mln_lex_putAChar(lex, '\v') == MLN_ERR) return -1;break;case '\\':if (mln_lex_putAChar(lex, '\\') == MLN_ERR) return -1;break;default:mln_lex_setError(lex, MLN_LEX_EINVCHAR);return -1;}} else {if (mln_lex_putAChar(lex, c) == MLN_ERR) return -1;}return 0;
}static mln_test_struct_t *
mln_test_dblq_handler(mln_lex_t *lex, void *data)
{mln_lex_cleanResult(lex);char c;while ( 1 ) {c = mln_lex_getAChar(lex);if (c == MLN_ERR) return NULL;if (c == MLN_EOF) {mln_lex_setError(lex, MLN_LEX_EINVEOF);return NULL;}if (c == '\"') break;if (mln_get_char(lex, c) < 0) return NULL;}return mln_test_new(lex, TEST_TK_STRING);
}int main(int argc, char *argv[])
{if (argc != 2) {fprintf(stderr, "Usage: %s file_path\n", argv[0]);return -1;}mln_string_t path;mln_lex_t *lex = NULL;struct mln_lex_attr lattr;mln_test_struct_t *ts;mln_lex_hooks_t hooks;memset(&hooks, 0, sizeof(hooks));hooks.dblq_handler = (lex_hook)mln_test_dblq_handler;mln_string_nSet(&path, argv[1], strlen(argv[1]));lattr.pool = mln_alloc_init();if (lattr.pool == NULL) {fprintf(stderr, "init pool failed\n");return -1;}lattr.keywords = keywords;lattr.hooks = &hooks;lattr.preprocess = 1;//支持预处理lattr.padding = 0;lattr.type = M_INPUT_T_FILE;lattr.data = &path;lattr.env = NULL;mln_lex_initWithHooks(mln_test, lex, &lattr);if (lex == NULL) {fprintf(stderr, "lexer init failed\n");return -1;}while (1) {ts = mln_test_token(lex);if (ts == NULL || ts->type == TEST_TK_EOF)break;write(STDOUT_FILENO, ts->text->data, ts->text->len);printf(" line:%u type:%d\n", ts->line, ts->type);}mln_lex_destroy(lex);mln_alloc_destroy(lattr.pool);return 0;
}

这一次，我们增加如下功能：

  • 支持关键字 on和off
  • 支持识别双引号扩住的内容为字符串类型
  • 增加了预处理功能，例如引入其他文件内容

生成可执行程序：

$ cc -o a a.c -I /usr/local/melon/include/ -L /usr/local/melon/lib/ -lmelon -lpthread

创建两个测试文件：

a.ini
#include "b.ini"
test_mode = on
log_level = 'debug'
proc_num = 10
b.ini
conf_name = "b.ini"

运行我们的程序来看看效果：

$ ./lexer a.iniconf_name line:1 type:5
= line:1 type:25
b.ini line:1 type:42
test_mode line:2 type:5
= line:2 type:25
on line:2 type:40
log_level line:3 type:5
= line:3 type:25
' line:3 type:13
debug line:3 type:5
' line:3 type:13
proc_num line:4 type:5
= line:4 type:25
10 line:4 type:2

可以看到，在a.ini中写入include的部分，是b.ini文件内容解析后的词素。并且on和off都被正常解析出来了。且字符串也被正常处理出来了。

Melon的Github仓库为：https://github.com/Water-Melon/Melon

感谢阅读

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/328033.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2.3_7 生产者-消费者问题

2.3_7 生产者-消费者问题

2.3_7 生产者-消费者问题 系统中有一组生产者进程和一组消费者进程,生产者进程每次生产一个产品放入缓冲区,消费者进程每次从缓冲区中取出一个产品并使用。(注:这里的“产品”理解为某种数据) 生产者、消费者共享一个初始为空、大小为n的缓冲区。 只有缓冲区没满时,生产者才…
阅读更多...
PHP在线sqlite转html表格小功能(sqlite2html)

PHP在线sqlite转html表格小功能(sqlite2html)

6KB PHP实现在线sqlite转html表格小功能(支持大文件上传,得到一表一文件) 可自定义&#xff1a;上传限制大小&#xff1b;支持后缀格式!下载格式位压缩包&#xff0c;内含一表一个html文件。 作用&#xff1a;程序员实用工具&#xff0c;上传sqlite数据得到html表格数据供本地…
阅读更多...
嵌入式培训机构四个月实训课程笔记（完整版）-Linux系统编程第四天-Linux管道（物联技术666）

嵌入式培训机构四个月实训课程笔记（完整版）-Linux系统编程第四天-Linux管道（物联技术666）

更多配套资料CSDN地址：点赞+关注，功德无量。更多配套资料，欢迎私信。 物联技术666_嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记-CSDN博客物联技术666擅长嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记,等方面的知识,物联技术666关注机器学习,arm开发,物联网,嵌入式硬件,单片机…
阅读更多...
课堂分享 | IT与OT是什么？

课堂分享 | IT与OT是什么？

长期以来信息技术IT和操作运营技术OT是相互隔离的&#xff0c;随着大数据分析和边缘计算业务的对现场级实时数据的采集需求&#xff0c;IT和OT有了逐渐融合的趋势。IT与OT融合&#xff0c;它赋予工厂的管理者监控运行和过程的能力大为增强&#xff0c;甚至可以预测到可能发生的…
阅读更多...
Leetcode2967. 使数组成为等数数组的最小代价

Leetcode2967. 使数组成为等数数组的最小代价

Every day a Leetcode 题目来源&#xff1a;2967. 使数组成为等数数组的最小代价 解法1&#xff1a;贪心 题目中要求将数组变成等数数组&#xff08;数组中的所有元素都等于一个小于 109 的回文数&#xff09;。因此&#xff0c;我们需要找到一个小于 109 的回文数&#xf…
阅读更多...
Vue新手村（一）

Vue新手村（一）

目录 1、Vue简介——Vue的特点 2、Vue的第一个页面 3.Vue的简单使用介绍 3.1、{{ }}的使用 3.2、v-text和v-html 3.2.1、v-text和{{ }}的区别 3.2.2、v-html和v-text的区别 3.3、v-on【事件绑定】 3.3.1、绑定事件的语法 3.3.2、语法简化 3.3.3、传参 3.4、v-show和…
阅读更多...
Java中请求生成唯一追溯TraceId

Java中请求生成唯一追溯TraceId

Java中请求生成唯一追溯TraceId 一&#xff1a;背景 因为是微服务架构,平常日志太多,看日志不太好查,所以想要从一整个链路当中获取一个唯一标识,比较好定位问题&#xff0c; 原理就是从gateway网关将标识传递到下游,下游服务拿到这个标识,响应结束后将traceId反向写入响应体…
阅读更多...
Qt——TCP UDP网络编程

Qt——TCP UDP网络编程

目录 前言正文一、TCP二、UDP1、基本流程2、必备知识 三、代码层级1、UDP服务端 END、总结的知识与问题1、如何获取QByteArray中某一字节的数据&#xff0c;并将其转为十进制&#xff1f;2、如何以本年本月本日为基础&#xff0c;获取时间戳&#xff0c;而不以1970为基础&#…
阅读更多...
数字图像处理 Harris 角点和边缘检测器

数字图像处理 Harris 角点和边缘检测器

一、简述 Harris角点和边缘检测器是一项古老的技术，说它古老是因为该技术从1988年被发明。下面是论文地址，技术出现的时间虽然很久，但是并不代表没有用处了，很多神经网络无法发挥作用的场景下，类似的技术还是会大行其道。 https://web.stanford.edu/class/cs231m/referen…
阅读更多...
【SpringBoot】公共字段自动填充功能实现（枚举、自定义注解、AOP、反射）

【SpringBoot】公共字段自动填充功能实现（枚举、自定义注解、AOP、反射）

1. 自定义注解 使用interface语法来定义注解&#xff08;Annotation&#xff09;。 注解的参数类似无参数方法&#xff0c;可以用default设定一个默认值&#xff0c;比如String value() default "";。 元注解&#xff1a;有一些注解可以修饰其他注解&#xff0c;这…
阅读更多...
c语言-整型在内存的存储

c语言-整型在内存的存储

文章目录 前言一、整型数值在内存中的存储1.1 整型数值的表示形式1.2 二进制的表示形式1.3 整数在内存中存储 二、大端字节序存储和小端字节序存储2.1 大端字节序存储2.2 小端字节序存储2.3 练习 总结 前言 本篇文章叙述c语言中整型数据在内存中的存储方式。 一、整型数值在内…
阅读更多...
自动驾驶预测-决策-规划-控制学习（4）：预测分析文献阅读

自动驾驶预测-决策-规划-控制学习（4）：预测分析文献阅读

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、摘要分析1.Transformer模型是什么&#xff1f;什么是自注意力机制&#xff1f; 2.数据集是什么&#xff1f;3.预测车辆行驶轨迹和车辆换道意图4. LSTM 网络…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023