minio文件系统了解及对比选型分布式文件系统（Distributed file system，DFS），或是网络文件系统（Network File System），是一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。分布式文件系统解决的最大的问题是资源共享的问题，因此分布式文件系统最大的特点是多个客户端可以访问相同的服务端
#1. 专业名词
缩写
全称
注释
SDS
Software Defined Storag
软件定义存储技术
RAID
Redundant Array of Independent Disk
磁盘阵列技术
DG
Disk Group
硬盘组
VD
Virtual Disk
虚拟磁盘（等效磁盘组）
Mirroring
-
镜像技术，又称为复制技术(Replication)
Striping
-
条带（可提供并行的数据吞吐能力）
Erasure Code
-
纠删码（提供高可用性和高速读写能力）
RADOS
Reliable，Autonomic，Distributed Object Store ...
python 操作redis
12345678import redis# 连接redis# 几个常用默认参数：# host='localhost', port=6379, db=0, decode_responses=False, password=Nonepool = redis.ConnectionPool(host='ip-address', port=6379, decode_responses=True,db=1,password='password')# ---redis
字符串
123456789r = redis.Redis(connection_pool=pool)# 增加数据：set key value（如果key存在，则修改为新的value）print(r.set('str_type', 'str_value')) # 打印True# 追加数据：append key valueprint(r.append('str_type&#x ...
参考搭建文档https://blog.csdn.net/msh6453/article/details/131161845
前言官方文档：https://www.mongodb.com/docs/（可以参考）
一，安装说明1.1环境说明1、首先确定部署的环境，确定下服务器的端口，一般默认是22的端口；2、操作系统Centos7.9；3、 数据库mongodb-linux-x86_64-rhel70-4.4.22。mongodb版本4.4.22
mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 co ...
1.环境配置#在所有节点配置YUM：#清空原来自带配置文件：
123cd /etc/yum.repos.d/mkdir /tmp/bakmv * /tmp/bak/
#配置系统源码，epel源：
12345curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repoyum install wget -ywget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo#YUM优先级别：yum -y install yum-plugin-priorities.noarch
#配置ceph源：
12345678910111213141516171819202122232425cat << EOF | tee /etc/yum.repos.d/ceph.repo[Ceph]name=Ceph packages for $basearchbaseurl=http://mirrors. ...
Download the binary for your system1sudo curl -L --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
Give it permissions to execute1sudo chmod +x /usr/local/bin/gitlab-runner
Create a GitLab CI user1sudo useradd --comment 'GitLab Runner' --create-home gitlab-runner --shell /bin/bash
Install and run as service12sudo gitlab-runner install --user=gitlab-runner --working-directory=/home/gitlab-runnersudo gitlab-r ...
scala-spark-dataframe—groupby基本操作
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101111121131141151161171181191201211221231241251261271281291301311321331341351361371381391401411421431441451461471481491501511521531541551561571581591601611621631641651661671681691701711721731741751761771781791801811821831841851861871881891901911 ...
HDFS概述HDFS产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用
HDFS优缺点优点
高容错性
数据自动保存多个副本。它通过增加副本的形式，提高容错性；
某一个副本丢失以后，它可以自动恢复
适合大数据处理
数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
文件规模：能够处理百万规模以上的文件数量，数量相当之大。
流式数据访问，它能保证数据的一致性。
可构建在廉价机器上，通过多副本机制，提高可靠性。
缺点
不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
无法高效的对大量小文件进行存储。
存储大量小文件的 ...
