(五)、深度学习框架源码编译

1、源码构建与预构建:

源码构建:
源码构建是通过获取软件的源代码,然后在本地编译生成可执行程序或库文件的过程。这种方法允许根据特定需求进行配置和优化,但可能需要较长的时间和较大的资源来编译源代码。
预构建:
预构建是通过从开发者或官方网站下载预先编译好的可执行程序或库文件,然后在本地使用它们的过程。这种方法省去了编译的时间和工作,通常更方便。然而,预构建版本可能没有完全针对特定需求进行优化。
源码构建的优缺点:
优点:
1.可以根据特定需求进行配置、优化和修改。

2.可以确保编译的二进制与系统和需求完全匹配。

3.可以进行调试和错误跟踪,有助于自定义和定制。

缺点:
1.需要较长的编译时间和系统资源。
2.对于不熟悉编译过程的用户来说可能较为复杂。
3.编译过程可能会受到依赖项的影响,需要处理依赖项问题。

2、Tensorflow源代码编译安装

TensorFlowi源码构建基本流程:
1、安装依赖:安装构建TensorFlow所需的各种依赖项,包括Python、Bazel构建工具、CUDA、cuDNN、TensorRT等。这些依赖项可能因系统和配置而有所不同。
2、配置编译:在TensorFlowi源码目录中,运行配置脚本以配置编译选项。
3、构建:用Bazelt构建TensorFlow。
4、生成Wheel包:如果希望将TensorFlow打包成Pythonf的Wheelt格式,以便于分发和安装。
5、运行测试(可选):可以运行TensorFlow的单元测试和集成测试,以确保构建的版本没有问题。

TensorFlow-安装依赖、编译环境:

确保环境中,已经安装python、pip等工具
        pip install -U --user pip numpy wheel
        pip install -U--user keras_preprocessing --no-deps

numpy是一个开源的数值计算库,提供了丰富的多维数组和矩阵操作功能,以及数学、逻辑、傅里叶变换等数值计算工具。
wheel是Python的一个二进制包格式,旨在加速包的安装。是一种预构建的软件包格式,可以包含Python模块的代码、依赖项和元数据,以便于分发和安装。
keras_preprocessing是TensorFlow的一个重要子模块,提供了许多用于数据预处理和增强的工具,特别适用于在深度学习任务中准备数据集。


TensorFlow-编译工具bazel
Bazel是一个由Google开发的开源构建工具,旨在支持大型项目的高效构建、测试和部署。它特别适用于构建复杂的软件系统,具有高度的可扩展性和性能优势。Bazel支持多种编程语言,并在TensorFlow等许多大型项目中得到广泛应用。
■构建速度和缓存:使用了增量构建和缓存机制,只编译已更改的部分,从而显著加快构建过程。Bazel还可以共享构建缓存,以避免重复编译相同的依赖项。
■多语言支持:包括但不限于Java、C++、Python、Go、Rust等。这使得可以在一个项目中混合使用不同的语言,而无需为每种语言使用不同的构建工具。
■高度模块化:将项目拆分为小的、可重用的模块,以提高代码的可维护性和可测试性。每个模块都可以拥有自己的构建规侧和依赖项。
■声明式构建:使用BUILD文件来声明构建规则和依赖关系。这种声明式的构建方法使构建过程更加清晰和可管理。
■平台无关性:可以在不同的操作系统上运行,包括Linux、macOS和Windows。

详细使用方法可以参考:https:/blog.gmem.cc/bazel-study-note

 

3、pytorch 源代码编译安装

1、环境准备:

安装 Python:确保的系统中安装了 Python,建议使用支持的版本(通常是 Python 3.7+)。

安装依赖项:如 CMake、NumPy、Ninja 等。可以根据官方文档安装这些依赖项。

2、更新子模块:源代码中可能包含子模块(submodules),往往需要使用以下命令更新子模块才能正常编译:

        git submodule update --init --recursive

3、配置编译选项:(可使用 cmake -DCMAKE_INSTALL_PREFIX=<install_dir> 来指定安装目录)。

                mkdir build

                cd build

                cmake ..

4、使用make命令进行编译,make install命令进行安装。

5、运行测试:

在 test 目录下,可以使用以下命令来运行测试:

        python run_test.py

这将运行所有的测试套件,包括单元测试、集成测试等。如果需要指定特定的测试模块或测试用例,可以使用命令行参数来过滤测试,

例如:

        python run_test.py test_torch.py

将只运行与 test_torch.py 相关的测试。

在测试运行完成后,成功的测试将显示为 "OK",而失败的测试将显示详细的错误信息。

4、caffe源代码编译安装

1、环境准备(这些基本都可以从conda里面安装):

        sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev 

        libhdf5-serial-dev protobuf-compiler 

        sudo apt-get install --no-install-recommends libboost-all-dev

        sudo apt-get install python-dev

        sudo apt-get install libatlas-base-dev

        sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

        sudo apt-get install python-opencv

2、修改caffe下文件Makefile.config

        CPU 和 GPU 支持: 可以通过设置是否启用 CPU 或 GPU 支持来决定构建 Caffe 时是否使用CPU 或 GPU 运算。这通常涉及 USE_CUDNN、USE_NCCL、CPU_ONLY 等选项。

        CUDA 和 cuDNN 路径: 如果启用了 GPU 支持,需要指定 CUDA 和 cuDNN 的路径。

        BLAS 库: 可以选择使用不同的 BLAS 库,如 OpenBLAS、MKL 或 ATLAS。 

        Python 路径: 需要指定与 Caffe 集成的 Python 版本和路径。

3、修改caffe下文件Makefile

        1.opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs

        后面加入 opencv_imgcodecs

        2. 找到LIBRARIES +=glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5

        更改最后两项为:

        LIBRARIES +=glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl 

        hdf5_serial

4、编译与测试

        make all

        Make test

        make runtest

5、深度学习框架常用模型仓库

TensorFlow: https://github.com/tensorflow/models

TensorFlow Model Garden 是 TensorFlow 团队维护的一个开源项目,旨在为机器学习社区提供一系列预训练模型、工具、示例和最佳实践,以加速模型开发和研究。这个项目汇集了各种不同类型的模型,涵盖了计算机视觉、自然语言处理、语音识别等多个领域,帮助开发者快速构建和训练自己的模型。

预训练模型: Model Garden 包含了多个预训练模型,包括 TensorFlow 官方发布的模型,以及社区贡献的模型。这些模型可以用作迁移学习的起点,或者可以在特定任务上微调。

模型库: Model Garden 提供了一个模型库,用于查看各种模型的代码、配置文件和文档。这些模型可以帮助开发者了解模型的结构和使用方法。

最佳实践: TensorFlow 团队会分享一些模型开发和训练的最佳实践,帮助开发者避免常见的陷阱和问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/73797.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

sCrypt编程马拉松于8月13日在复旦大学成功举办

继6月在英国Exeter大学成功举办了为期一周的区块链编程马拉松后&#xff0c;美国sCrypt公司创始人兼CEO刘晓晖博士带领核心团队成员王一强、郑宏锋、周全&#xff0c;于8月13日在复旦大学再次成功举办了一场全新的sCrypt编程马拉松。 本次活动由上海可一澈科技有限公司与复旦大…

Docker、Linux网络代理设置

网络代理 linux机器通过windows主机代理访问外网 windows机器借用 CCProxy 软件&#xff0c;官网下载免费版(http://www.ccproxy.com/) CCProxy 默认使用808端口&#xff0c;如果端口冲突可以在设置处修改 在帐号处添加允许的linux机器ip&#xff0c;也可以直接允许所有ip,其…

Gateway网关路由以及predicates用法(项目中使用场景)

1.Gatewaynacos整合微服务 服务注册在nacos上&#xff0c;通过Gateway路由网关配置统一路由访问 这里主要通过yml方式说明&#xff1a; route: config: #type:database nacos yml data-type: yml group: DEFAULT_GROUP data-id: jeecg-gateway-router 配置路由&#xff1a;…

LeetCode 热题 100(四):48. 旋转图像、240. 搜索二维矩阵 II、234. 回文链表

一.48. 旋转图像 题目要求&#xff1a;就是一个顺时针的旋转过程。 思路&#xff1a;观察矩阵&#xff0c;得出翻转前第i行的第J个元素 等于 翻转后倒数第i列的第J个元素&#xff0c;举例说明&#xff0c;第1行第2个元素为“2”&#xff0c;翻转后到了 倒数第1列的第2个元素…

使用 Visual Studio GoogleTest编写 C/C++ 单元测试——入门篇

入门教程 Visual Studio 新建 GoogleTest项目&#xff0c;一路选默认参数 pch.h #pragma once#include "gtest/gtest.h"int add(int a, int b);pch.cpp #include "pch.h"int add(int a, int b) {return a b; }test.cpp #include "pch.h"TES…

C++函数模板和类模板

C另一种编程思想称为泛型编程&#xff0c;主要利用的技术是模板 C提供两种模板机制&#xff1a;函数模板和类模板 C提供了模板(template)编程的概念。所谓模板&#xff0c;实际上是建立一个通用函数或类&#xff0c; 其类内部的类型和函数的形参类型不具体指定&#xff0c; 用…

Dubbo 融合 Nacos 成为注册中心

快速上手 Dubbo 融合 Nacos 成为注册中心的操作步骤非常简单&#xff0c;大致步骤可分为“增加 Maven 依赖”以及“配置注册中心“。 增加 Maven 依赖 只需要依赖Dubbo客户端即可&#xff0c;关于推荐的使用版本&#xff0c;请参考Dubbo官方文档或者咨询Dubbo开发人员&#…

table 根据窗口缩放,自适应

element-plus中&#xff0c;直接应用在页面样式上&#xff0c; ::v-deep .el-table{width: 100%; } ::v-deep .el-table__header-wrapper table,::v-deep .el-table__body-wrapper table{width: 100% !important; } ::v-deep .el-table__body,::v-deep .el-table__footer,::v-d…

make系列之入门

一.欢迎来到我的酒馆 在本章节介绍make工具。 目录 一.欢迎来到我的酒馆二.什么是make三.make与Makefile四.如何写Makefile 二.什么是make 你可能会遇到一些名词&#xff1a;GNU&#xff0c;Linux&#xff0c;make。它们是什么&#xff0c;又有什么样的联系&#xff1f; …

【100天精通python】Day41:python网络爬虫开发_爬虫基础入门

目录 专栏导读 1网络爬虫概述 1.1 工作原理 1.2 应用场景 1.3 爬虫策略 1.4 爬虫的挑战 2 网络爬虫开发 2.1 通用的网络爬虫基本流程 2.2 网络爬虫的常用技术 2.3 网络爬虫常用的第三方库 3 简单爬虫示例 专栏导读 专栏订阅地址&#xff1a;https://blog.csdn.net/…

【实战】十一、看板页面及任务组页面开发(二) —— React17+React Hook+TS4 最佳实践,仿 Jira 企业级项目(二十四)

文章目录 一、项目起航&#xff1a;项目初始化与配置二、React 与 Hook 应用&#xff1a;实现项目列表三、TS 应用&#xff1a;JS神助攻 - 强类型四、JWT、用户认证与异步请求五、CSS 其实很简单 - 用 CSS-in-JS 添加样式六、用户体验优化 - 加载中和错误状态处理七、Hook&…

SAP ME2L/ME2M/ME3M报表增强添加字段(包含:LMEREPI02、SE18:ES_BADI_ME_REPORTING)

ME2L、ME2M、ME3M这三个报表的字段增强&#xff0c;核心点都在同一个结构里 SE11:MEREP_OUTTAB_PURCHDOC 在这里加字段&#xff0c;如果要加的字段是EKKO、EKPO里的数据&#xff0c;直接加进去&#xff0c;啥都不用做&#xff0c;就完成了 如果要加的字段不在EKKO和EKPO这两个…