Tap虚拟网卡-编程知识

1 概述

Tap设备通常用于虚拟化场景下，其驱动代码位于drivers/net/tun.c，tap与tun复用大部分代码，

注：drivers/net/tap.c并不是tap设备的代码，而是macvtap和ipvtap；

下文中，我们统一称tap；参考下图tap设备架构：

图中标注了关键函数，以及数据流向。 tap设备分为两部分：

网卡功能，向上对接着内核协议栈，对应驱动中的数据结构tun_struct；
数据接口，向下对接虚拟网卡后端，对应驱动中的数据结构tun_file，它有两种接口：
- file，给用户态使用，在内核的处理函数是tun_chr_read/write_iter()；
- socket，给内核态使用，主要是vhost，如上图中；

在上面的图中，哪部分是虚拟网卡？

virtio-net + (qemu-vhost) + tap
- virtio-net是Guest上虚拟网卡的前端，
- qemu是控制平面，vhost是数据平面
- tap设备是需要网卡的后端；
tap + (qemu-vhost) + virtio-net
- tap是Host上虚拟网卡的前端；
- qemu是控制平面，vhost是数据平面；
- virti-net是虚拟网卡的后端；

tap设备本身作为虚拟网卡，同时也是Guest虚拟网卡的后端，

作为Host虚拟网卡的前端 (为自己带盐)；
作为virtio-net + (qemu-vhost)的后端 (给别人善后)；

2 tun_file

2.1 创建

在我们open /dev/net/tun时，参考代码：

tun_chr_open()
---tfile = (struct tun_file *)sk_alloc(net, AF_UNSPEC, GFP_KERNEL,&tun_proto, 0);...if (ptr_ring_init(&tfile->tx_ring, 0, GFP_KERNEL)) {sk_free(&tfile->sk);return -ENOMEM;}...tfile->socket.file = file;tfile->socket.ops = &tun_socket_ops;sock_init_data(&tfile->socket, &tfile->sk);...file->private_data = tfile;...
---

我们获得了一个fd，它对应着一个tun_file，这个tun_file中还有一个socket；但是，我们并不能对这个fd直接执行sendmsg/recvmsg，因为它代表的是一个char设备；要想获得tun_file中的socket，需要从内核态调用特殊接口：

get_socket()-> get_tap_socket()-> tun_get_socket()---if (file->f_op != &tun_fops)return ERR_PTR(-EINVAL);tfile = file->private_data;if (!tfile)return ERR_PTR(-EBADFD);return &tfile->socket;---

2.2 功能

对于tap虚拟网卡来说，每个tun_file就是它的一个通道，或者说队列；

在tun_net_xmit()，可以明显的看到其根据queue_mapping选择tun_file的流程：

tun_net_xmit()
---int txq = skb->queue_mapping;...tfile = rcu_dereference(tun->tfiles[txq]);...if (ptr_ring_produce(&tfile->tx_ring, skb))goto drop;...
---

tun_file在创建之后，第一次通过ioctl TUNSETIFF，会创建一个tap设备；同时，也可以attach到一个已经存在的tap设备中，

TUNSETIFF 1st time,
create a net_device and attach current tun_file on it
------------------------------------------------------------------
tun_set_iff()
---dev = alloc_netdev_mqs(sizeof(struct tun_struct), name,NET_NAME_UNKNOWN, tun_setup, queues,queues);...err = tun_attach(tun, file, false, ifr->ifr_flags & IFF_NAPI,ifr->ifr_flags & IFF_NAPI_FRAGS, false);...err = register_netdevice(tun->dev);...strcpy(ifr->ifr_name, tun->dev->name);...// This name will be copied to userland
---TUNSETIFF 2nd time,
attach another tun_file on this tun net_device
-------------------------------------------------------------------
tun_set_iff()
---dev = __dev_get_by_name(net, ifr->ifr_name);if (dev) {...err = tun_attach(tun, file, ifr->ifr_flags & IFF_NOFILTER,ifr->ifr_flags & IFF_NAPI,ifr->ifr_flags & IFF_NAPI_FRAGS, true);...}
---

tun_file一端对接Host Networking Stack，另一端则通过file或者socket对接着Tap虚拟网卡的后端，作为skb通道，它主要包含两部分功能，缓存和事件通知；

当skb从Host协议栈发送进Tap设备时，

tun_net_xmit()
---if (ptr_ring_produce(&tfile->tx_ring, skb))goto drop;/* NETIF_F_LLTX requires to do our own update of trans_start */queue = netdev_get_tx_queue(dev, txq);queue->trans_start = jiffies;/* Notify and wake up reader process */if (tfile->flags & TUN_FASYNC)kill_fasync(&tfile->fasync, SIGIO, POLL_IN);tfile->socket.sk->sk_data_ready(tfile->socket.sk);
---
//sock_def_readable() sock_init_data()=====================SYNC==========================
tun_recvmsg() / tun_chr_read_iter()-> tun_do_read()-> tun_ring_recv()---ptr = ptr_ring_consume(&tfile->tx_ring);if (ptr)goto out;if (noblock) {error = -EAGAIN;goto out;}add_wait_queue(&tfile->socket.wq.wait, &wait);while (1) {set_current_state(TASK_INTERRUPTIBLE);ptr = ptr_ring_consume(&tfile->tx_ring);if (ptr)break;...schedule();}__set_current_state(TASK_RUNNING);remove_wait_queue(&tfile->socket.wq.wait, &wait);---=====================ASYNC==========================
vhost_net_enable_vq()
---sock = vhost_vq_get_backend(vq);if (!sock)return 0;return vhost_poll_start(poll, sock->file);
---tun_chr_poll()
---sk = tfile->socket.sk;poll_wait(file, sk_sleep(sk), wait);...
---vhost_poll_init()
---init_waitqueue_func_entry(&poll->wait, vhost_poll_wakeup);
---
sk_sleep()就是sk->sk_wq，在sk_def_readable()会对其执行唤醒操作，进而调用vhost_poll_wakeup()，后者会提交一个vhost work，执行handle_rx操作。

tun_file中的ptr ring会缓存skb，并通过skb的sk_data_ready()发出通知；等待事件有两种，同步或者异步，参考以上代码片段。

当skb从Tap设备发往Host协议栈时，代码较为简单：

tun_sendmsg() / tun_chr_write_iter()-> tun_get_user()-> tun_rx_batched()-> netif_receive_skb()