学习了Streamlit了之后，可以尝试给自己的命令行小工具加一个简单的界面。
本篇总结了我改造自己的数据采集的工具时的一些经验。
1. 概要
与常规的程序相比，数据采集任务的特点很明显，比如它一般都是I/O密集型程序，涉及大量网络请求或文件读写，耗费的时间比较长；而且往往是按照一定的时间间隔周期性地执行。
这样的程序对交互性要求不高，所以我之前都是用命令行的方式来实现的。
命令行虽然完成采集的任务没有问题，但是采集程序多了之后，管理起来不太方便，
比如，需要查看某个采集程序的配置，或是查看采集程序的状态时，需要登录服务器的命令行页面去查看。
于是，自然就想到使用Streamlit来构造一个简单的界面，本来采集程序也是用Python编写的，
与Streamlit集成非常方便。
下面主要使用Streamlit完成以下功能：
- 启动定时任务
- 停止定时任务
- 查看任务状态
2. 实现示例
数据集采集任务都是耗时比较长的，在命令行中无所谓，把定时任务放在一个无限循环中，
不断的去执行就行了。停止采集只要中断命令行（比如Ctrl+C）就行。
但是，在Streamlit中，不能被采集任务阻塞住页面，所以要用多线程或多进程的方式来启动。
因为不同的采集程序是独立的，所以下面的示例采用多进程的方式。
同时，通过Streamlit的session_state来存储采集程序的状态，从而实现控制采集程序启停的功能。
大致的结构如下：
具体代码如下，其中的采集程序是模拟的，主要是为了展示如何通过Streamlit App来控制其他任务的执行。
import streamlit as st
import pandas as pd
import multiprocessing
import timeif "status01" not in st.session_state:st.session_state.status01 = Falseif "status02" not in st.session_state:st.session_state.status02 = Falsedef spider01():"""模拟数据采集01"""while True:print("数据采集01...")time.sleep(3)def spider02():"""模拟数据采集02"""while True:print("数据采集02...")time.sleep(3)st.title("采集管理")spider_data = pd.DataFrame({"ID": [1, 2],"名称": ["采集01", "采集02"],"状态": [False, False],}
)spiders = st.data_editor(spider_data,width=500,num_rows="dynamic",disabled=["ID", "名称"],
)status01 = spiders.iloc[0, 2]
status02 = spiders.iloc[1, 2]if status01 != st.session_state.status01:if status01: # 启动print("启动采集01")spider01_proc = multiprocessing.Process(target=spider01)spider01_proc.daemon = Truespider01_proc.start()st.session_state.proc01 = spider01_procelse:print("停止采集01")st.session_state.proc01.terminate()st.session_state.proc01.join()st.session_state.status01 = status01if status02 != st.session_state.status02:if status02: # 启动print("启动采集02")spider02_proc = multiprocessing.Process(target=spider02)spider02_proc.daemon = Truespider02_proc.start()st.session_state.proc02 = spider02_procelse:print("停止采集02")st.session_state.proc02.terminate()st.session_state.proc02.join()st.session_state.status02 = status02
通过勾选状态列的Checkbox来控制采集程序的启停，运行的日志如下：
$ streamlit run .\app.pyYou can now view your Streamlit app in your browser.Local URL: http://localhost:8501Network URL: http://192.168.0.6:8501启动采集01
数据采集01...
数据采集01...
启动采集02
数据采集01...
数据采集02...
数据采集01...
数据采集02...
数据采集01...
数据采集02...
停止采集02
数据采集01...
停止采集01
3. 总结
通过Streamlit，可以快速的提供一个简单易用的数据采集控制界面。
上面使用sesstion来管理状态其实不太合理（重新打开浏览器session会丢失），使用sqlite之类的持久存储来保存更好。
