一、ipoib_send_rss函数定义

int ipoib_send_rss(struct net_device *dev, struct sk_buff *skb,struct ib_ah *address, u32 dqpn)
{struct ipoib_dev_priv *priv = ipoib_priv(dev);struct ipoib_tx_buf *tx_req;struct ipoib_send_ring *send_ring;u16 queue_index;int hlen, rc;void *phead;int req_index;unsigned usable_sge = priv->max_send_sge - !!skb_headlen(skb);/* Find the correct QP to submit the IO to */queue_index = skb_get_queue_mapping(skb);send_ring = priv->send_ring + queue_index;if (skb_is_gso(skb)) {hlen = skb_transport_offset(skb) + tcp_hdrlen(skb);phead = skb->data;if (unlikely(!skb_pull(skb, hlen))) {ipoib_warn(priv, "linear data too small\n");++send_ring->stats.tx_dropped;++send_ring->stats.tx_errors;dev_kfree_skb_any(skb);return -1;}} else {if (unlikely(skb->len > priv->mcast_mtu + IPOIB_ENCAP_LEN)) {ipoib_warn(priv, "packet len %d (> %d) too long to send, dropping\n",skb->len, priv->mcast_mtu + IPOIB_ENCAP_LEN);++send_ring->stats.tx_dropped;++send_ring->stats.tx_errors;ipoib_cm_skb_too_long(dev, skb, priv->mcast_mtu);return -1;}phead = NULL;hlen  = 0;}if (skb_shinfo(skb)->nr_frags > usable_sge) {if (skb_linearize(skb) < 0) {ipoib_warn(priv, "skb could not be linearized\n");++send_ring->stats.tx_dropped;++send_ring->stats.tx_errors;dev_kfree_skb_any(skb);return -1;}/* Does skb_linearize return ok without reducing nr_frags? */if (skb_shinfo(skb)->nr_frags > usable_sge) {ipoib_warn(priv, "too many frags after skb linearize\n");++send_ring->stats.tx_dropped;++send_ring->stats.tx_errors;dev_kfree_skb_any(skb);return -1;}}ipoib_dbg_data(priv, "sending packet, length=%d address=%p qpn=0x%06x\n",skb->len, address, dqpn);/** We put the skb into the tx_ring _before_ we call post_send_rss()* because it's entirely possible that the completion handler will* run before we execute anything after the post_send_rss().  That* means we have to make sure everything is properly recorded and* our state is consistent before we call post_send_rss().*/req_index = send_ring->tx_head & (priv->sendq_size - 1);tx_req = &send_ring->tx_ring[req_index];tx_req->skb = skb;if (skb->len < ipoib_inline_thold &&!skb_shinfo(skb)->nr_frags) {tx_req->is_inline = 1;send_ring->tx_wr.wr.send_flags |= IB_SEND_INLINE;} else {if (unlikely(ipoib_dma_map_tx(priv->ca, tx_req))) {++send_ring->stats.tx_errors;dev_kfree_skb_any(skb);return -1;}tx_req->is_inline = 0;send_ring->tx_wr.wr.send_flags &= ~IB_SEND_INLINE;}if (skb->ip_summed == CHECKSUM_PARTIAL)send_ring->tx_wr.wr.send_flags |= IB_SEND_IP_CSUM;elsesend_ring->tx_wr.wr.send_flags &= ~IB_SEND_IP_CSUM;/* increase the tx_head after send success, but use it for queue state */if (atomic_read(&send_ring->tx_outstanding) == priv->sendq_size - 1) {ipoib_dbg(priv, "TX ring full, stopping kernel net queue\n");netif_stop_subqueue(dev, queue_index);}skb_orphan(skb);skb_dst_drop(skb);if (__netif_subqueue_stopped(dev, queue_index))if (ib_req_notify_cq(send_ring->send_cq, IB_CQ_NEXT_COMP |IB_CQ_REPORT_MISSED_EVENTS))ipoib_warn(priv, "request notify on send CQ failed\n");rc = post_send_rss(send_ring, req_index,address, dqpn, tx_req, phead, hlen);if (unlikely(rc)) {ipoib_warn(priv, "post_send_rss failed, error %d\n", rc);++send_ring->stats.tx_errors;if (!tx_req->is_inline)ipoib_dma_unmap_tx(priv, tx_req);dev_kfree_skb_any(skb);if (__netif_subqueue_stopped(dev, queue_index))netif_wake_subqueue(dev, queue_index);rc = 0;} else {netdev_get_tx_queue(dev, queue_index)->trans_start = jiffies;rc = send_ring->tx_head;++send_ring->tx_head;atomic_inc(&send_ring->tx_outstanding);}return rc;
}

二、函数解读

函数`ipoib_send_rss` 是一个用于IPoIB（IP over InfiniBand）的Linux内核网络模块中针对发送数据包的函数。该函数使用Receive-Side Scaling（RSS）技术来支持多核处理，意味着它可以将数据包的发送操作分配给不同的CPU核心。以下是对该函数的逐行解读：
1. 函数接收四个参数：
   - *dev：指向`net_device`结构的指针，表示关联的InfiniBand网络设备。
   - *skb：指向`sk_buff`结构的指针，表示要发送的数据包。
   - *address：指向`ib_ah`结构的指针，表示Address Handle，用于标识目的地的地址信息。
   - dqpn：一个无符号32位整数，表示目的地的队列对编号(Destination Queue Pair Number)。
2. 函数首先通过`ipoib_priv(dev)`获取到设备的私有结构体指针`ipoib_dev_priv`。
3. 接着定义了一些本地变量，包括发送缓冲区请求指针`tx_req`、发送环指针 send_ring、队列索引`queue_index`和其他与发送操作相关的辅助变量。
4. 函数中首先计算出要使用的发送环的索引，通过调用`skb_get_queue_mapping(skb)`获取`skb`数据包的队列映射并存储于`queue_index`中。然后使用该索引从设备的私有结构体中获得对应的发送环 send_ring。
5. 对于分段的传输(skb_is_gso)，函数将执行必要的操作来调整skb的头部指向传输数据，并更新数据包头长度。如果skb的头部数据太小无法进行这个操作，打印警告信息，丢弃skb，并返回错误代码。
6. 如果数据包长度超过了多播的最大传输单元加上IPoIB的封装长度，也会打印警告信息，递增丢包统计，并调用`ipoib_cm_skb_too_long`处理过长的数据包，然后返回错误代码。
7. 如果数据包包含的片段数(nr_frags)超出了最大支持的Scatter/Gather条目数量(usable_sge)，函数尝试通过调用`skb_linearize`将数据包线性化。如果线性化失败或者仍然有太多片段，打印警告信息，丢弃skb，并返回错误代码。
8. 准备发送的数据包。如果skb的长度少于内联阈值并且没有片段，将数据包标记为内联发送；否则，将数据通过DMA映射到设备，并根据校验和需求设置IB的发送标志。
9. 在尝试发送数据包前，需要确保如果发送完成处理程序先于`post_send_rss`调用完成执行，所有的状态记录都已更新。
10. 如果发送队列满了，会停止网络队列来防止更多的发送操作。数据包被孤立（断开与套接字的联系），并且其路由缓存项被删除。
11. 如果子网络队列被停止了，请求发送完成队列的通知。如果请求通知失败，打印警告信息。
12. 通过调用`post_send_rss`函数发送数据包。如果发送失败，打印警告信息，解除DMA映射(如果使用的是DMA)，释放skb，并唤醒网络子队列（如果它被停止了）。如果发送成功，更新发送环的状态记录，递增发送缓冲区标头索引，增加未完成的发送操作的计数，并返回成功。
综上所述，这个函数的作用是对于使用RSS的IPoIB进行数据包的准备和发送工作，涉及到网络队列的管理、数据包的内存管理和DMA，还包括对InfiniBand传输和其完成事件的处理。