School

网站相似度计算：裸机 & Kubernetes 部署实战 背景与目标 任务：基于 Flink Table API，用 SQL 计算网站间的相似度（Jaccard Coefficient）。 数据：referrer-referree 格式的 CSV，数千到数万条记录。 目标： 跑通 Flink Job，并且能够在外部访问 flink web ui 在K8S集群中部署flink，能够使用多台机器共同计算较大的数据集 一些常用命令备忘： ## 将文本文件转换为csv # 1. 添加表头 echo "referrer,referree" > medium_relation.csv # 2. 替换空格为逗号并追加到新文件 sed 's/ /,/g' medium_relation >> medium_relation.csv ## 压缩和解压缩 tar -czvf xxx tar -xzvf xxx.tar.gz -C ~/ # -c 创建一个新的 tar 文件 # -x 解压文件 # -z 使用gzip压缩 后缀为.tar.gz # -j 使用bzip2压缩 后缀为.tar.bz2 # -v 显示详细的压缩过程 # -f 指定 tar 文件的名称 # -C 指定解压缩包的目录 ## 下载文件 curl -L -o helm-v3....

生成ssh密钥并实现免密登录 docker 安装完成docker后进行检验： 安装k8s 验证kubeadm版本为1.18 在腾讯云中制作为镜像 更改主机名字hostname和hosts 重启之后关闭内存交换 初始化主结点 sudo kubeadm init --apiserver-advertise-address=172.19.16.2 --image-repository=registry.aliyuncs.com/google_containers --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config slave加入 sudo kubeadm join 172.19.16.2:6443 --token rthfcd.xkdz1bma0zr0pcf0 \ --discovery-token-ca-cert-hash sha256:7a255bd0f1a8a7d87bbc9f443bb901426e17f94057fe1a5a7ce4a246ddb2c749 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl get pods --all-namespaces kubectl get nodes 创建部署 查看状态 访问前端网站 放开端口30940之后就可以访问前端页面了 可以通过两个公网IP都能访问得到该网站。 尝试删除其中一个pod kubectl delete pod frontend-769fbdbdcc-5bkvz 在尝试删除一个front pod之后，可以看到kubernetes系统自动为我们新建了一个frontend的pod pod扩容 kubectl scale deployment frontend --replicas=5

生成密钥并实现自我登录 sudo apt-get install vim sudo apt-get install openssh-server cd .ssh ssh-keygen -t rsa -C "sirius1y@outlook.com" cat id_rsa.pub > authorized_keys 安装java sudo apt-get install openjdk-8-jre openjdk-8-jdk 检查java是否安装完成 java -version 下载hadoop 网站：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.0/ wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz # 解压 sudo tar -zxf hadoop-2.7.0.tar.gz -C /usr/local 修改所有权： cd /usr/local sudo mv hadoop-2.7.0/ hadoop sudo chown -R ubuntu ./hadoop 设置JAVA_HOME环境变量 sudo vim ~/.bashrc # 把下面内容添加到末尾 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 删除~/.ssh/kown_hosts 创建镜像之后新建示例 发现能够存在hadoop —————–创建两台镜像 取机器的昵称 sudo vim /etc/hostname添加自己的名字 sudo vim /etc/hosts，这里都是使用的内网IP地址...

实验要求 1．在云服务器上启动两个实例(server和client)，并实现在两个实例之间进行SSH免密登录。 2．在两个实例上安装MySQL，在server上创建数据库和用户，并在Client上远程连接Server的数据库。 实验步骤 购买两个2核4GB的实例，操作系统为ubuntu20.04 软件更新和安装 sudo apt-get update sudo apt-get install vim sudo apt-get install ssh sudo spt-get install mysql-server SSH免密登录 在clinet端生成密钥，再把公钥添加到本地已认证的密钥中就可以实现本机对自己的免密登录。再把client上面的私钥公钥和已认证的密钥发送到server上，这样就能实现他们的相互免密登录。 ssh-keygen -t rsa -C yuanhao cd ~/.ssh cat id_rsa.pub > authorized_keys scp id_rsa ubuntu@43.132.187.176:~/.ssh/id_rsa scp id_rsa.pub ubuntu@43.132.187.176:~/.ssh/id_rsa.pub scp authorized_keys ubuntu@43.132.187.176:~/.ssh/authorized_keys 之后可以使用cat对authorized_keys进行检查。 client连接远程数据库 在server上安装mysql之后对mysql的配置文件进行修改，把绑定的端口从127.0.0.1改为0.0.0.0,以便于来自client的用户进行访问。 之后在server的mysql中创建用户并赋予权限。 在server上创建一个数据库db1,然后在client上实现对server的mysql登录，这需要在服务器的安全组里放开3306端口。然后检查是否登陆成功，并且能够看到之前创建的db1.

第一次全栈开发记录 简介 这是数据库原理1的课程项目，做的是一个教务网站，功能主要包括： 学生功能： (1) 选课功能； (2) 退课功能； (3) 成绩查询功能； (4) 课表查询功能。 教师功能： (1) 查看开课详情； (2) 录入学生成绩。 下面是主要用的技术桟，我在团队中主要负责的时技术选型、前端界面设计、前后端接口设计、数据库部分的设计、团队的代码管理。 项目设计团队协作部分记录 git团队使用问题（分支管理、常用命令、git commit信息，git stash 本地仓库初始化，连接远程仓库 # 仓库初始化 git init # 设置远程仓库 git remote add origin https://github.com/sirius2alpha/CourseSystem.git # 检查是否设置成功 git remote -v # 输出 # origin https://github.com/sirius2alpha/CourseSystem.git (fetch) # origin https://github.com/sirius2alpha/CourseSystem.git (push) # 获取远程仓库的信息 git fetch origin # 设置远程上游分支 git branch --set-upstream-to=origin/main main # 或者可以采用 git branch -u <remote>/<branch> # 如果出现main分支不存在的情况，则用checkout命令切换到main分支上再继续 git checkout main # 检查上游分支设置 git branch -vv 工作区代码推送到远程仓库上 git add ....