服务器和Linux ,安装R rstudio ,常用软件

  1. 服务器的基本概念:

    1. 如服务器的基本结构,节点,端口的概念等。

  2. 服务器的基本设置和管理:

    1. 如何配置新服务器,

    2. 如何管理服务器,如何分配账户并确保他们互不访问,

    3. 如何全局安装软件让所有人都可以使用,

    4. 以及服务器管理员的常用操作等。

  3. 软件的安装和使用:安装和版本管理

    1. 如何在服务器上安装和使用各种软件,如R, Rstudio, Jupyter notebook等,

    2. 如何在服务器上使用不同版本的R和Python等。

  4. 数据管理:

    1. 如何下载和安装各种数据,

    2. 如何在Linux下进行相关分析,

    3. 如何在Linux下挂载后台运行及查看进度,

    4. 如何管理大量数据集等。

  5. 工作环境的搭建:

    1. 如何搭建生信分析或者对接课程的工作环境,

    2. 如何搭建单细胞下游分析工作环境,

    3. 如何创建网页版Rstudio和Python notebook以供外人访问等。

  6. 文件传输和存储:

    1. 如何用FileZilla或其他工具上传文件到服务器,

    2. 上传的文件在Python中如何找到

    3. 数据文件如何存储和管理等。

实际上关键点就两个,一个是怎么管理好多个用户,一个是怎么安装好软件。因此昨晚的直播课也就是侧重这两点。

第一部分:服务器和Linux的了解

在这一部分,我主要给大家简答科普了目前的服务器的类型,以及与我们当前用到的笔记本、台式机的区别。

需要知道的几点

  1. 服务器性能不一定比台式机强

  2. 服务器一般来说都是为了完成某个特定目标,比如说网页服务器,而我们用的电脑则是常用来执行多种不同的任务

  3. 服务器有物理服务器和虚拟服务器两类,虚拟服务器一般指的是将一个物理服务器的资源虚拟化,有效利用资源的一种。

  4. 大厂的云服务器比较贵。不建议购买云服务器做计算任务。

  5. Linux是服务器上最常用的一种操作系统

  6. Linux有两种主要发行版本,一种是CentOS,一种是ubuntu。

  7. 从后续的直播结果来看,请大家在装服务器系统的时候,尽量装最新的Ubuntu。云服务器的CentOS可能还是7,因此除非你对自己的管理能力很自信,否则慎选。

第二部分:服务器的交互

服务器访问三要素是

  1. 用户名

  2. IP地址,或者域名

  3. 端口号

即便很多时候你没有写端口,那也是有一个默认端口22的。

我觉得经过我很多次强调,上过我Linux课的人,都知道这三要素了。

与服务器交互的两种最常见方式是:SSH登录和SFTP数据传输。

在Windows上,我认为的最佳组合就是XSHELL和XFTP

Image

而在MacOS和Linux上,我自己偏好自带终端和FileZilla。由于FileZilla是跨平台的软件,所以实际上我在Windows上也会用。

Image

当然,还有其他一些东西可选,例如FinalShell。

第三部分:权限管理

这部分知识,在我们Linux实战课虽然提到过,但实际上大家都没有什么特别的感悟,因此这里,我给了一个非常复杂的例子

需求:

  • 创建三个用户,xzg1, xzg2,xzg3, 位于/home/xzg下, 属于xzg组

  • 创建三个用户,gsp1, gsp2, gsp3,位于/home/gsp下,属于gsp组

  • 创建1个用户,visitor,位于/home/visitor下,属于visitor组

  • 创建一个组,叫做gzdlab, xzg1, xzg2,xzg3, gsp1,gsp2,gsp3都属于gzdlab

  • xzg组之间可以相互访问,gsp组之间可以相互访问,xzg和gsp之间不能相互访问

  • 创建一个私人目录,/data/private_data,  gzdlab组的人可以访问,并编辑里面的内容,其他用户可以访问,但是不能编辑内容

  • 创建一个公共目录,/data/public_data, 所有人都可以访问,都可以编辑内容

这个例子在直播课有了非常好的演示。只不过在操作同时,还演示了一些内容外的东西,这要是我就觉得直播课相对于我写文字教程,有趣的地方。

我在用xzg1使用sudo时候,遇到了权限的问题,于是我带了大家学习用户让一个普通用户能够使用sudo。在Ubuntu和CentOS中,添加sudo用户是不太一样的操作。Ubuntu用的是usermod把用户加到sudo组中,而CentOS则是用visudo在配置文件中加上用户。

遇到之前的需求,我们解决方法如下

第一步,创建用户和用户组:

sudo groupadd xzg
sudo groupadd gspsudo mkdir /home/xzg
sudo mkdir /home/gspsudo useradd -m -d /home/xzg/xzg1 -g xzg xzg1
passwd xzg1sudo useradd -m -d /home/xzg/xzg2 -g xzg xzg2
sudo useradd -m -d /home/xzg/xzg3 -g xzg xzg3sudo useradd -m -d /home/gsp/gsp1 -g gsp gsp1
sudo useradd -m -d /home/gsp/gsp2 -g gsp gsp2
sudo useradd -m -d /home/gsp/gsp3 -g gsp gsp3

创建合作组,gzdlab,用于加上xzg和gsp的成员。

# 创建组
sudo  groupadd gzdlab# 将用户添加到组
for user in xzg1 xzg2 xzg3 gsp1 gsp2 gsp3; dosudo  usermod -a -G gzdlab ${user}
done

之后,设置xzg和gsp用户组的访问权限:

# 更改所有者
# 前面的冒号表示只更改所属组,而不更改所有者。
sudo chown -R :xzg /home/xzg
sudo chown -R :gsp /home/gspsudo chmod -R 770 /home/xzg
sudo chmod -R 770 /home/gsp

为了方便数据的管理,我们创建了两个文件夹:

sudo mkdir -p /data/private_data
sudo mkdir -p /data/public_data

设置文件夹权限:

sudo chown -R :gzdlab /data/private_data
sudo chmod -R 770 /data/private_data
sudo chmod -R 777 /data/public_data

当然上述一般来说,可能都是管理非常复杂的情况,更多的是帮助我们理解什么叫做用户权限。但是在真实世界中,我们可能就只会做两步,

第一步,创建用户,给他分配一些资源。

useradd -m -d /home/用户名 用户名
passwd 用户名

第二步,创建一个公共的目录,放数据,让他去复制

mkdir /data/public_data
chmod -R 777 /data/public_data

简单的说,就是把数据分成自己的和公共的两类。

这一部分交给大家的作业就是,回顾整理下用户管理、用户组管理和权限管理的几个Linux命令。

第四部分:软件安装

我们先强调了环境变量,PATH的重要性,可执行文件都是通过这个PATH来找到执行路径的。

但是PATH是如何加载的呢?我们介绍了配置文件的加载过程,特别的,我们强调了 为什么有些时候,你已经把PATH添加到~/.bashrc  中,但是依旧不起作用的原因。

这里我找到了一张更好的图(来源:https://youngstone89.medium.com/unix-introduction-bash-startup-files-loading-order-562543ac12e9),来说明这个加载过程。

Image

通常来说,如果我们用的是终端登录,我们就是以 /ect/profile~/.bash_profile 来启动配置文件,而~/.bashrc通常是由~/.bash_profile调用。

接着,为了介绍如何全局安装软件,我们讲了两个例子

  • CellRanger

  • seqkit

大家可以自己回去练习下

当然,软件安装的重头戏还是R语言和RStudio的配置。

在R语言的安装上,我推荐的是用编译的方式安装,这样子,你可以保证,你自己安装多个版本的R,并保持他们共存。

直播课中,我介绍4.1.3和4.3.1的编译安装

# 4.3.1
wget https://mirrors.tuna.tsinghua.edu.cn/CRAN/src/base/R-4/R-4.3.1.tar.gz
tar xf R-4.3.1.tar.gz
./configure --prefix=/opt/R-4.3.1 --enable-R-shlib --with-blas --with-lapack
make -j
sudo make install#4.1.3
wget https://mirrors.tuna.tsinghua.edu.cn/CRAN/src/base/R-4/R-4.1.3.tar.gz
tar xf R-4.1.3.tar.gz
./configure --prefix=/opt/R-4.1.3 --enable-R-shlib --with-blas --with-lapack 
make -j 
sudo make install

不过在安装过程中,我们出现了几个意外(放心,都在我的掌控之中)

首先,依赖环境不全,因此在configure的过程中,反复报错,我这里总结了CentOS和Ubuntu的一些必装的内容 CentOS

yum group install "Development tools"
yum install libX11-devel 
yum install libXt-devel 
yum install readline-devel
yum install xz xz-devel 
yum install pcre pcre-devel
yum install libcurl-devel
yum install texlive
yum install java-1.8.0-openjdk
yum install *gfortran*
yum install zlib*
yum install bzip2-*

Ubuntu

sudo apt-get update
sudo apt-get install build-essential
sudo apt-get install zlib1g-dev libreadline-dev libcurl4-openssl-dev \libpcre2-dev libbz2-dev liblzma-dev \libxml2-dev libcairo2-dev
sudo apt-get install xorg-dev
sudo apt-get install texlive-base texlive-latex-extra texlive-fonts-recommended# java支持, 可以不用
sudo apt-get install default-jdk

还有一个意外的就是,centOS7因为太老了,安装4.3.1的时候,还得加上 --with-pcre1参数,不能用最新的pcre2

./configure --prefix=/opt/R-4.3.1 --enable-R-shlib --with-blas --with-lapack  --with-pcre1
make -j
sudo make install 

另外要强调的一点事,因为后续要RStudio调用R,所以--enable-R-shlib参数必须有。

之后我们用CentOS演示了RStudio安装

wget https://download2.rstudio.org/server/centos7/x86_64/rstudio-server-rhel-2023.06.1-524-x86_64.rpm
sudo yum install rstudio-server-rhel-2023.06.1-524-x86_64.rpm

实际上Ubuntu也类似,到https://posit.co/download/rstudio-server/ 选择合适版本就好

需要注意的是,此时安装的Rstudio是不会成功启动的,因为我们没有安装在它默认搜索的位置,因此我们需要没指定R的位置

我们需要编辑 /etc/rstudio/rserver.conf ,添加如下的内容

rsession-which-r=/opt/R-4.3.1/bin/R

然后用sudo rstudio-server restart重启,使用rstudio-server status确认运行状态。

默认端口是8787,你需要通过 IP地址:端口来访问。

但是,如果你用的云服务器,或者你服务器有防火墙的设置,你还需要允许这个端口的放行。这部分内容参考直播课的演示。

接下来,我们介绍了R包的编译,需要强调的是,R默认是单线程编译。我们需要先运行这两个配置,让R执行编译时能够快一点。

options(Ncpus=20L)
Sys.setenv(MAKEFLAGS="-j 20")

在R包的安装过程中,充满了意外,例如,学员让我们演示CytoTRACE_0.3.3的安装,经过不断的排查,发现可能需要gcc7才能编译,而我的centos7只有gcc4.8。虽然我能给大家展现一下,如何在旧系统上编译新的GCC,但是考虑直播时长,我们还是冷静下,暂时在这里结束了,不然我们真的要决战到天明了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/239494.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【深度优先】LeetCode1932:合并多棵二叉搜索树

作者推荐 动态规划LeetCode2552:优化了6版的1324模式 题目 给你 n 个 二叉搜索树的根节点 ,存储在数组 trees 中(下标从 0 开始),对应 n 棵不同的二叉搜索树。trees 中的每棵二叉搜索树 最多有 3 个节点 &#xff0…

树莓派搭建开发环境

背景 自从上次心血来潮给树莓派装完系统,一直没想好怎么具体使用它的场景,它就这样默默地躺在抽屉吃灰了一年 再次想起它,是一个周日的下午:收到之前在腾讯云买的云服务器快过期的提醒,一个4核8G内存的ubuntu&#x…

C/C++11 语法/概念易错总结(1)

文章目录 缺省参数函数重载引用引用和指针内联宏的优缺点auto范围forNULL和nullptr 缺省参数 半缺省参数必须从右往左依次来给出&#xff0c;不能间隔着给 void Func(int a, int b 10, int c 20){cout<<"a "<<a<<endl;cout<<"b &…

数据算法之层次聚类——(待完善)

1.数据挖掘入门笔记——层次聚类 ( 浮光掠影) 2.聚类算法&#xff1a;Hierarchical Clustering层次聚类 3.一文读懂层次聚类&#xff08;Python代码&#xff09; 4.层次聚类 5.聚类分析&#xff08;三&#xff09; 层次聚类及matlab程序 5.聚类算法之层次聚类&#xff08…

【题目】链表相关算法题

文章目录 一. 合并两个有序链表题目解析算法原理代码编写 二. 相交链表问题题目解析算法原理代码编写 三. 环形链表问题1. 判断是否有环2. 计算环的长度3. 找到环的入口点 四. 反转链表方法一&#xff1a;边迭代、边逆置方法二&#xff1a;头插 五. 判断链表是否回文题目解析算…

20231201将RK3399的挖掘机开发板在Andorid12系统下的强制横屏

20231201将RK3399的挖掘机开发板在Andorid12系统下的强制横屏 2023/12/1 22:54 【不完美的地方&#xff1a;修改之后不满屏】 百度&#xff1a;rk3399 android12 横屏 不满屏 Android 显示不满屏 build.prop https://blog.csdn.net/weixin_39966398/article/details/105595184?…

深入了解c语言中的结构体

介绍&#xff1a; 在C语言中&#xff0c;结构体是一种用户自定义的数据类型&#xff0c;它允许我们将不同类型的数据组合在一起&#xff0c;形成一个更为复杂的数据结构。结构体可以用来表示现实世界中的实体&#xff0c;如人员、学生、图书等。本篇博客将介绍结构体的基本概念…

LLM:《第 3 部分》从数学角度评估封闭式LLM的泛化能力

一、说明 在 OpenAI 或 Anthropic 等封闭式大型语言模型 (LLM) 领域&#xff0c;对智能和多功能性的真正考验在于它们处理高特异性查询并在响应中表现出独特性的能力。在这篇博客中&#xff0c;我的目标是提供测试这些模型泛化能力的机制。 封闭式LLM意味着您不知道训练语料库的…

electerm下载和安装

electerm下载和安装 一、概述 electerm 是一款免费开源、基于electron/ssh2/node-pty/xterm/antd/ subx等libs的终端/ssh/sftp客户端(linux, mac, win)。 而且个人觉得electerm界面更好看一些&#xff0c;操作都是类似的。 二、下载安装 下载地址&#xff1a;https://elec…

HarmonyOs 4 (二) HelloWord

目录 一 开发工具下载安装1.1 下载安装包1.2 下载相关依赖 二 开发者注册与个人实名认证三 第一个程序2.1 创建第一个程序2.2 认识开发者界面2.3 目录结构认识2.3.1 父目录认识2.3.2 AppScope 目录2.3.3 entry目录2.3.3.1 ets 目录2.3.3.2 resources目录 2.3.4 认识配置文件2.3…

【高效开发工具系列】驼峰下划线互转

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

java基于springboot框架的中小企业人力资源管理系统的设计及实现+jsp

&#xff08;1&#xff09;员工信息管理&#xff1a;员工的基本信息&#xff0c;人员编制&#xff0c;岗位管理&#xff0c;人员流动管理&#xff08;老员工转出&#xff0c;辞职&#xff0c;退休等&#xff09;&#xff0c;职工业绩考核归公管理&#xff0c;工人工种管理。 &…