自建AWS S3存储服务

unsetunset前言unsetunset

AWS S3（Amazon S3，全名为亚马逊简易存储服务），是亚马逊公司利用其亚马逊网络服务系统所提供的网络在线存储服务。我常用的很多SaaS服务中提供的文件存储功能，底层也都是AWS S3，比如：

  • Cloudflare中的R2基于AWS S3构建的

  • Supabase页可以兼容AWS S3（自建时，默认直接文件存储到服务器本地）

本文，简单自建一个与AWS S3完全对齐的存储服务，后面我们自建Supabase时，就可以将文件提交到这里了。

unsetunset基础环境unsetunset

我在腾讯云上购买了韩国首尔的ubuntu 22.04 LTS 2核2G，注意要购买海外的，不然要花比较多精力处理网络问题。

首先，安装一下docker。在 Ubuntu 22.04 LTS 上安装 Docker 非常简单，你可以按照以下步骤进行：

  1. 更新包索引：在终端中执行以下命令来确保本地的包索引是最新的：

sudo apt update

  1. 安装依赖包：

sudo apt install apt-transport-https ca-certificates curl software-properties-common

  1. 添加 Docker 的官方 GPG 密钥：

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

  1. 添加 Docker APT 仓库：

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

  1. 更新包索引（再次）：为了确保新添加的 Docker APT 仓库生效，再次执行更新包索引的命令：

sudo apt update

  1. 安装 Docker CE：最后，执行以下命令安装 Docker 社区版（Docker CE）：

sudo apt install docker-ce

  1. 启动 Docker 服务：安装完成后，Docker 服务会自动启动。你可以使用以下命令来检查 Docker 服务的状态：

sudo systemctl status docker

如果 Docker 正在运行，你会看到类似于 "Active: active (running)" 的信息。

现在，Docker 已经成功安装在你的 Ubuntu 22.04 LTS 上了。你可以尝试运行 docker --version 来验证 Docker 是否安装成功。

unsetunset基于minio构建S3unsetunset

minio官网：https://min.io/，它是一个完全兼容S3的开源存储方案，你可以基于他们的docker镜像自建minio，从而实现自己的存储服务，也可以使用他们提供的（Minio自己号称是世界上最快的对象存储服务），这里我们选择自建。

创建 docker-compose.yml 文件，写入如下内容：

version: '3.8'
services:minio:image: quay.io/minio/miniocontainer_name: miniovolumes:- ./minio-data:/dataenvironment:MINIO_ROOT_USER: your_root_userMINIO_ROOT_PASSWORD: your_root_passwordMINIO_SERVER_URL: https://storage.yourdomain.comcommand: server /data --console-address ":9090"nginx:image: 'jc21/nginx-proxy-manager:latest'restart: unless-stoppedports:- '80:80'- '81:81'- '443:443'volumes:- ./nginx-data:/data- ./nginx-letsencrypt:/etc/letsencrypt

你需要修改MINIO_ROOT_USER、MINIO_ROOT_PASSWORD和MINIO_SERVER_URL，用户名和密码在你构建好minio时，用于登录minio服务，而MINIO_SERVER_URL是我们上传文件后，我们需要访问这个文件时，所需要使用的url，比如，我将MINIO_SERVER_URL设置成https://s3.xxxx.run，那么当我们访问minio中的文件，就会使用https://s3.xxxx.run，如下图：

47efde0bfa7126a2d5a7ba4da7be0ce3.png

除了minio镜像外，我们还构建了nginx-proxy-manager服务，这个服务其实就是将nginx的各种功能通过一个webui提供出来，方便我们使用，然后还集成了一些其他服务，比如Let's Encrypt服务，这样我们就可以通过nginx-proxy-manager快速将域名从http转成https了。

docker-compose.yml内容解释完了，我们在docker-compose.yml同目录下，运行docker compose up -d，然后等待2个镜像安装并启动相应的容器，等容器启动完后，我们访问：http://your-server-ip:81就可以进入nginx-proxy-manager的页面，此时我们使用默认账号密码登录（username：admin@example.com，password：changeme），第一次登录需要修改邮箱和密码。

bf2d3966058e942928cfb6a5f1c2ad3a.png

unsetunsetnpm配置unsetunset

这里的npm是nginx-proxy-manager的简称，不是npmjs。

我们一开始使用ip:81去访问npm，但这是不太安全的，因为是http，容易被中间人攻击（虽然我感觉早期没人会攻击你，哈哈），所以我们还是用https+域名的方式访问npm比较好。

进入npm，点击Hosts -> Proxy Hosts -> Add New Proxy Host。

4214c86b2bc013c845b4d3af03c959a6.png

我在name.com购买了域名，注意，在name.com购买域名时，会默认将域名的SSL证书、whois信息保护给购买，我们需要取消这个，因为我们会使用Let's Encrypt来创建证书，我一开始直接在name.com购买了域名+SSL证书服务，导致npm操作时报错，然后我又购买了一个新域名，此时没有去购买SSL证书，操作成功。

这里有一些细节，不同的CA（证书颁发机构）是否是冲突的，比如name.com自己的CA去颁发SSL证书后，是否会导致Let's Encrypt无法成功，我没有理清这里所有技术细节（就是没花时间去实验，单纯找GPT4聊了一下，感觉GPT4的回答不太符合我的技术直觉，就不贴出来了），如果你想一口气成功，就听我的，不要在name.com上购买SSL证书服务先。

假设，我购买了xxx.run的域名（没在name.com上购买SSL证书服务），此时按下图操作，将：

  • xxx.run

  • www.xxx.run

  • proxy.xxx.run

  • s3.xxx.run

  • s3-dash.xxx.run

都添加成A Type，然后映射到服务器公网IP上。

c1c77bdf20d901448d49003ff54cf6bc.png

回到npm，首先，我们先将proxy.xxx.run设成成npm的url，并开启https。

点击New Proxy Host时，先配置Domain Names。（图是Edit Proxy Host，是因为我创建成功了，为了截图，我打开了Edit，截图给大家看，跟New Proxy Host没有区别）

c2e17629ee9d168ac49064510c427b8b.png

我们将proxy.xxx.run添加到Domain Names里，然后在Scheme中使用http（是的，不是https），然后Forward Hostname/IP处，填入127.0.0.1，然后Forward Port为81，这样用户访问proxy.xxx.run时，就会命中这条proxy host规则，然后被nginx转发到127.0.0.1:81的服务上。

然后去到SSL配置，为域名设置https。

a073cdd533ac8ccb80d3accacacbe1d6.png

此时点击Save，就成功了。ac200d5ae33cdffedb62672c0df2a065.png

可以看见STATUS为Online。

当然我一开始也踩了坑，STATUS是Unknown，此时，就需要看一下日志。

通过 sudo docker logs -f npm容器id 的方式，实时查看npm的日志，然后重复去点击一次Save，看看是否有报错，然后再基于报错信息去查询，不要通过f12，通过chrome的Console中的报错去Google，因为这里的报错不准确，你难以定位具体的原因。

设置成功后，就可以通过proxy.xxx.run访问npm了，此时就是https的。

fe232a5d01411650bdbc48e72c3c3eed.png

接着，我们需要配置一下minio的路由。

我们先创建s3.xxx.run的Proxy Host配置，这里需要跟docker-compose.yml中minio配置的MINIO_SERVER_URL一致，如下图：

5a8e7aa17cdae0cf065bf9073cc4ea5c.png

注意，Forward Hostname/IP 处，我们写minio，Port使用的是9000，这是docker-compose.yml中minio的名称，即docker内部网络可以通过http://minio:9000去访问minio服务，这样用户访问s3.xxx.com，nginx会将流量转发到http://minio:9000服务上。

怎么判断Port是9000的？我们可以通过sudo docker ps查看到。

ade86517b96fa7a641729de8f2976ac1.png

然后，SSL设置，也是一样的，通过Let's Encrypt服务为s3.xxx.run生成SSL证书，开启https。

ade8e22d5ab7ae6f468fc4c26735a140.png

因为s3.xxx.run是给上传文件使用的，比如我们上传了图片到minio构建的存储服务，此时想访问这个图片时，就需要使用s3.xxx.run，因为资源名称、资源大小、资源类型不可控，为了避免资源无法被访问，我们还需要配置一下nginx，实现如下效果：

  • 允许url中存在特殊字符

  • 允许访问任意大小的资源

  • 停用缓存

71fb299d32871e2f44b940361b377f73.png上图的内容如下：

# Allow special characters in headers
ignore_invalid_headers off;
# Allow any size file to be uploaded.
# Set to a value such as 1000m; to restrict file size to a specific value
client_max_body_size 0;
# Disable buffering
proxy_buffering off;
proxy_request_buffering off;

至此，s3.xxx.run就配置完了，我们还需配置一个url，才能访问minio的web ui服务，通过web ui服务，我们才能创建api key，有了api key，我们才能使用代码上传文件。

c82bdcfa55c63fe8cf651a97415c3814.png

Port使用了9090，这是因为docker-compose.yml中minio的配置，command使用了9090，所以我们需要转发到9090。

然后SSL是一样的设置。

74104f549566f6d225c5f69d8a1e59a1.png

此时，访问s3-dash.xxx.com，就可以访问到minio服务了，使用docker-compose.yml中你设置的username和password。

c959f581ca5310f62c9e7e0c5cadd4c4.png

进来后，我们点击【Object Browser】 -> 【Create a Bucket】，创建好，用于存储资源的桶。1b0f7ec2196974c9b5702cddf34cc9b4.png

cc0c431dfd374ec0cc6ab189aed49ff8.png

然后，我们上传一张图片：

799318d4ef5c2b5feec3afaae8417e39.png

查看图片信息：

39c8af8523d0ccb56c56d9965fae308e.png

此时，点击share，就会获得图片的url，其他用户就可以通过这个url访问这张图片资源了。

为了让代码可以使用，我们可以创建Access Keys。

f9e33677d63cce1fe1b0090b13f0de08.png

创建好后，可以直接修改一下将文件上传到aws s3的代码，换一下access key等内容，代码如下：

import boto3
from botocore.client import Configaccess_key = 'xxx'
secret_key = 'xxx'
# 桶名称
bucket_name = 'test'# S3 兼容的终端节点
endpoint_url = 'https://s3.xxx.run'# 创建 S3 客户端
s3_client = boto3.client('s3', endpoint_url=endpoint_url,aws_access_key_id=access_key,aws_secret_access_key=secret_key,config=Config(signature_version='s3v4'))# 要上传的文件路径
file_path = 'cover.jpg'
file_key = 'cover-1.jpg'  # 存储桶中的文件名# 上传文件
try:s3_client.upload_file(file_path, bucket_name, file_key)print(f'文件成功上传到 {bucket_name}/{file_key}')
except Exception as e:print(f'上传失败: {e}')

运行上面的代码，会成功，然后刷新一下minio，就会看到conver-1.jpg，可以正常访问和下载。

757039ec63e65bd60ff810aa953c8238.pngminio还提供Monitoring等功能，可自行探索。

3310982f77a6361d7b337c0c4f505abe.png

unsetunset结尾unsetunset

至此，自建aws s3就完成了。

我是二两，下篇文章见，后面几篇文章，我会开始分析supabase源码。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/479224.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

typescript 交叉类型

typescript 交叉类型

交叉类型简介 TypeScript中的交叉类型是指将多个类型合并为一个类型。这使得我们可以将现有的多种类型叠加到一起成为一种类型，它包含了所需的所有类型的特性。 写这篇文章先问大家一个问题,如何让一个对象既有a类型约束,又有b类型约束? 如果你看了我这篇文章types…
阅读更多...
Linux环境变量配置文件--《一图胜千言》

Linux环境变量配置文件--《一图胜千言》

这张图是一个关于Linux系统中shell启动时配置文件加载顺序的流程图。图中分为登录shell和非登录shell两种情况，来描述不同配置文件的读取过程。 登录shell： 当用户登录时，会首先检查是否存在/etc/profile文件，如果存在&#xff0c…
阅读更多...
震惊！多本IEEE、Springer旗下期刊被剔除？2024年SCI/SSCI期刊目录再次更新！

震惊！多本IEEE、Springer旗下期刊被剔除？2024年SCI/SSCI期刊目录再次更新！

【SciencePub学术】2024年2月19日，科睿唯安更新了Web of Science核心期刊目录。 继上次SCI期刊目录和SSCI期刊目录更新之后，本次2月更新共有3本期刊发生变动： • SCIE：有1本期刊不再被SCIE期刊目录收录，1本SCIE期刊更…
阅读更多...
c#，dotnet， DataMatrix 类型二维码深度识别，OCR,（基于 Halcon）

c#，dotnet， DataMatrix 类型二维码深度识别，OCR,（基于 Halcon）

代码中部分调用的 c 函数参数，具体说明自行研究~（我也是参考的其他资源，还没研究透彻） 例如：HOperatorSet.GenRectangle2() ， 2000, 2000, 0, 2000, 2000 这些数字应该是选取的图片解析范围、尺寸&#xff…
阅读更多...
计算机网络-广域通信网

计算机网络-广域通信网

1.广域网概念和分类 什么是广域网？ 广域网是指长距离跨地区的各种局域网、计算机、终端互联在一起，组成一个资源共享的通信网络。 广域网分为传统广域网和现代广域网。 传 统 广 域 网公共交换电话网PSTN公共数据网X.25帧中继网FR综合业务数据网ISDN…
阅读更多...
C语言——从头开始——深入理解指针（1）

C语言——从头开始——深入理解指针（1）

一.内存和地址 我们知道计算上CPU（中央处理器）在处理数据的时候，是通过地址总线把需要的数据从内存中读取的，后通过数据总线把处理后的数据放回内存中。如下图所示： 计算机把内存划分为⼀个个的内存单元，每…
阅读更多...
vue3 element-plus 省市区选择器组件封装

vue3 element-plus 省市区选择器组件封装

文章目录 前言一、省市区数据源处理二、AreaSelect省市区选择器组件封装三 、页面使用 前言 vue3封装一个省市区选择器组件，通过element-plus Cascader 级联选择器实现，效果如下： 一、省市区数据源处理 data.js var areaList {province_…
阅读更多...
力扣OJ题——相交链表

力扣OJ题——相交链表

题目：160. 相交链表 给你两个单链表的头节点 headA 和 headB ，请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点，返回 null 思路一（暴力求解）： A链表的每个节点依次跟B链表中节点进行…
阅读更多...
Mysql数据库主从集群从库Slave因为RelayLog过多过大引起服务器硬盘爆满生产事故实战解决

Mysql数据库主从集群从库Slave因为RelayLog过多过大引起服务器硬盘爆满生产事故实战解决

Mysql数据库主从集群从库slave因为RelayLog过多过大引起从库服务器硬盘爆满生产事故实战解决 一、MySQL数据库主从集群概念 MySQL数据库主从集群是一种高可用性和读写分离的数据库架构，它基于MySQL的复制（Replication）技术来同步数据。在主…
阅读更多...
智慧之眼：数据可视化引领智慧交通革新

智慧之眼：数据可视化引领智慧交通革新

在日新月异的科技时代，数据可视化正以惊人的力量助力智慧交通的蓬勃发展。借助数据可视化，我们不仅能够更全面地了解交通状况，还能够在城市交通中实现更加智慧、高效的运行。下面我就以可视化从业者的角度，来简单聊聊这个话题。 首…
阅读更多...
Panalog大数据日志审计系统libres_syn_delete.php存在命令执行漏洞

Panalog大数据日志审计系统libres_syn_delete.php存在命令执行漏洞

文章目录 前言声明一、Panalog大数据日志审计系统简介二、漏洞描述三、影响版本四、漏洞复现五、整改意见 前言 Panalog大数据日志审计系统定位于将大数据产品应用于高校、 公安、 政企、 医疗、 金融、 能源等行业之中，针对网络流量的信息进行日志留存&#xff0c…
阅读更多...
Acunetix23.7安装（含踩坑内容）

Acunetix23.7安装（含踩坑内容）

之前的web漏扫工具Acunetix版本还是停留再15.x版本，目前awvs已经更新值24.x版本了，所谓磨刀不误砍柴工，工具必须更新一波，废话不多说直接干 历史版本可删除 第一步与低版本不同host文件添加如下内容C:\Windows\System32\drivers…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023