12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220 ...
vimvim是一个常用的文本编辑工具，在远程服务器中更改系统配置中经常使用。
基础vim的模式Vim一般分为三种不同的模式，普通模式( normal mode )、编辑模式和命令模式.
普通模式( normal mode )使用vim打开文件则进入普通模式。在普通模式下可通过按键 h、j、k、l来控制光标的移动，通过 x、d(delete) 、 y(yank) 、p(put)等按键可对文本进行操作，在该模式下，键盘按键被视为类似 Word下的快捷键的功能，而不是被视为简单的文本输入。
编辑模式在编辑模式下可对文件内容进行编辑。编辑模式下按键输入均被视为文本输入，而不再具备普通模式下的各种功能。用户可以通过按键ESC从编辑模式返回普通模式。
命令模式在普通模式下，键盘输入 ‘ : ‘、 ‘ / ‘、 ‘ ? ‘则光标移动至界面最下行，并等待进一步输入。之后Vim会根据用户输入执行相应的动作，如保存和退出、查找和替换、执行外部命令等。命令模式下同样通过ESC键返回普通模式。
普通模式下的操作文件。
12345vim filename //打开名为filename的文件 ...
1.创建pyspark与mongodb的连接，首先加载依赖包，其有三种方式：1）直接将其放在在安装spark的jars目录下；2）在spark_submit中，添加依赖包信息；3）在创建spark的对象的时候添加依赖信息，具体案例如下图所示1234567spark = SparkSession \ .builder \ .appName('mongo connection') \ .config("spark.mongodb.input.uri", "mongodb://节点:端口号/dev.myCollection?readPreference=primaryPreferred") \ .config("spark.mongodb.output.uri", "mongodb://节点:端口号/dev.myCollection") \ .config('spark.jars.packages', "org.mongodb.spa ...
在日常使用baidu的过程中，各种垃圾广告玷污眼睛，如何去除让人恶心的广告呢，方法很简单。
#下载chrome浏览器使用google扩展程序需要Google账号，这时你需要google访问助手，登入同步之后，打开扩展程序，点击开发人员选项。加载已解压的扩展程序包，选择解压好的google访问助手
google访问助手下载地址下载完后将后缀改为.rar,使用解压工具解压，可以显示包内容。然后登入Google账号，打开刚刚的扩展程序，有google应用商店，搜索stylish，然后就可以下载各种各种的百度主题了。点击右下角的stye install就可以体验干净的百度了。
我的 百度。换用任何一台电脑，登入google account也可以同步所有安装过的插件，是不是很酷。
.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop
1.版本一定要按它要求的来，jar包去http://mvnrepository.com/下载就可以了，使用Hive只需要三个：mongo-hadoop-core-1.5.1.jarmongo-hadoop-hive-1.5.1.jarmongo-java-driver-3.2.1.jar2.将jar包拷到 <{HADOOP_HOME}/lib与{HIVE_HOME}/lib下，然后启动Hive，加入jar包
12345$ hiveLogging initialized using configuration in jar:file:/home/hadoop/opt/apache-hive-1.2.1-bin/lib/hive-common-1.2. ...
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758import smtplibimport timefrom email.mime.multipart import MIMEMultipartfrom email.mime.text import MIMETextfrom loguru import loggermail_host = 'smtp.163.com'# 163用户名mail_user = 'username'# 密码(部分邮箱为授权码)mail_pass = '--------------'# 邮件发送方邮箱地址sender = 'sender@163.com'# ff# 邮件接受方邮箱地址，注意需要[]包裹，这意味着你可以写多个邮件地址群发receivers = ["xxx@email.com"]def sen ...
ubuntu supervisor进程管理Supervisor 是一个用 Python 写的进程管理工具，可以很方便的对进程进行启动、停止、重启等操作。
安装命令：
1sudo apt install supervisor
安装成功后，会在/etc/supervisor目录下，生成supervisord.conf配置文件。
你也可以使用echo_supervisord_conf > supervisord.conf命令，生成默认的配置文件（不建议，内容比较多）。
123456789101112131415161718192021[unix_http_server]file=/var/supervisor/supervisor.sock ;UNIX socket 文件，supervisorctl 会使用;chmod=0700 ;socket文件的mode，默认是0700;chown=nobody:nogroup ;socket文件的owner，格式：uid:gid;[inet_http_server] ...
1. Hive导出到.csv文件由于Hive中导出的文件不是以逗号，而是以Tab（或者说’\t’）为分隔符的，因此，下面的命令自己试过可以转换为逗号分隔的文件，也就是真正的csv文件。
当然，有时候可能还需要跟转码的工具进行组合，转换编码格式。
12345sed -i ‘s/\t/,/g’ xxx.csv``````当然，第一步是```bashhive -e “SQL语句” > xxx.csv
所以完整的流程代码是
12hive -e "SQL query" > xxx.csvsed -i 's/\t/,/g' xxx.csv
2. Hive导入.csv文件建表注意：
为了配合csv文件，建表的时候，最后一行的row format delimited fields terminated by ‘,’;必须要有，否则列会出问题
（这牵涉到csv和tsv等问题）
所以，在Hive下完整的删表建表导数据的流程如下：
123456789101112131415161718192021drop table if exists table_nam ...
需要同步的elastic表123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148add jar hdfs:///elasticsearch-jars/elasticsearch-hadoop-hive-8.1.1.jar;-- create database ods_beike;CREATE EXTERNAL TABLE ods_beike.ershoufang_detail_f ...
