hadoop部署

生成密钥并实现自我登录 sudo apt-get install vim sudo apt-get install openssh-server cd .ssh ssh-keygen -t rsa -C "sirius1y@outlook.com" cat id_rsa.pub > authorized_keys 安装java sudo apt-get install openjdk-8-jre openjdk-8-jdk 检查java是否安装完成 java -version 下载hadoop 网站:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.0/ wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz # 解压 sudo tar -zxf hadoop-2.7.0.tar.gz -C /usr/local 修改所有权: cd /usr/local sudo mv hadoop-2.7.0/ hadoop sudo chown -R ubuntu ./hadoop 设置JAVA_HOME环境变量 sudo vim ~/.bashrc # 把下面内容添加到末尾 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 删除~/.ssh/kown_hosts 创建镜像之后新建示例 发现能够存在hadoop —————–创建两台镜像 取机器的昵称 sudo vim /etc/hostname添加自己的名字 sudo vim /etc/hosts,这里都是使用的内网IP地址...

December 14, 2023 · 2 min · 307 words · sirius1y

在云服务器上部署mysql

实验要求 1.在云服务器上启动两个实例(server和client),并实现在两个实例之间进行SSH免密登录。 2.在两个实例上安装MySQL,在server上创建数据库和用户,并在Client上远程连接Server的数据库。 实验步骤 购买两个2核4GB的实例,操作系统为ubuntu20.04 软件更新和安装 sudo apt-get update sudo apt-get install vim sudo apt-get install ssh sudo spt-get install mysql-server SSH免密登录 在clinet端生成密钥,再把公钥添加到本地已认证的密钥中就可以实现本机对自己的免密登录。再把client上面的私钥公钥和已认证的密钥发送到server上,这样就能实现他们的相互免密登录。 ssh-keygen -t rsa -C yuanhao cd ~/.ssh cat id_rsa.pub > authorized_keys scp id_rsa ubuntu@43.132.187.176:~/.ssh/id_rsa scp id_rsa.pub ubuntu@43.132.187.176:~/.ssh/id_rsa.pub scp authorized_keys ubuntu@43.132.187.176:~/.ssh/authorized_keys 之后可以使用cat对authorized_keys进行检查。 client连接远程数据库 在server上安装mysql之后对mysql的配置文件进行修改,把绑定的端口从127.0.0.1改为0.0.0.0,以便于来自client的用户进行访问。 之后在server的mysql中创建用户并赋予权限。 在server上创建一个数据库db1,然后在client上实现对server的mysql登录,这需要在服务器的安全组里放开3306端口。然后检查是否登陆成功,并且能够看到之前创建的db1.

November 30, 2023 · 1 min · 48 words · sirius1y

第一次全栈开发记录

第一次全栈开发记录 简介 这是数据库原理1的课程项目,做的是一个教务网站,功能主要包括: 学生功能: (1) 选课功能; (2) 退课功能; (3) 成绩查询功能; (4) 课表查询功能。 教师功能: (1) 查看开课详情; (2) 录入学生成绩。 下面是主要用的技术桟,我在团队中主要负责的时技术选型、前端界面设计、前后端接口设计、数据库部分的设计、团队的代码管理。 项目设计团队协作部分记录 git团队使用问题(分支管理、常用命令、git commit信息,git stash 本地仓库初始化,连接远程仓库 # 仓库初始化 git init # 设置远程仓库 git remote add origin https://github.com/sirius2alpha/CourseSystem.git # 检查是否设置成功 git remote -v # 输出 # origin https://github.com/sirius2alpha/CourseSystem.git (fetch) # origin https://github.com/sirius2alpha/CourseSystem.git (push) # 获取远程仓库的信息 git fetch origin # 设置远程上游分支 git branch --set-upstream-to=origin/main main # 或者可以采用 git branch -u <remote>/<branch> # 如果出现main分支不存在的情况,则用checkout命令切换到main分支上再继续 git checkout main # 检查上游分支设置 git branch -vv 工作区代码推送到远程仓库上 git add ....

November 14, 2023 · 5 min · 914 words · sirius1y

人工智能期末复习

基本概念 语义角色 指有关语言成分在语句所表达的事件中所扮演的参与者角色 在自然语言处理中对自然语言进行划分处理称为各个语义角色,其中每个语义角色相互依赖,相互关联 常见的语义角色类型有:施事、受事、与事、工具、方式、时间、处所、结果、目的、原因等 例如对于语句:小明昨天晚上在公园遇到了小红 就可以分为Agent、Time、Location、Predicate、Patient等角色 语义角色从一开始的6个扩充到了现在的13个,依据是美国语言学家查理斯·费尔莫尔提出的“格语法” 机器学习 让计算机能够像人一样自动获取新知识,并且在实践中不断完善自我和增强能力 启发函数&估值函数 启发函数:对当前结点到大目标结点未来可能需要付出的代价的估计 对于同一个问题,可能有不同的启发函数,不同的启发函数带来的效果良莠不齐,而各个节点的代价函数是统一确定的,因此选择和优化启发函数是至关重要的 估值函数:为了防止在单独利用启发函数的时候误入歧途,会将启发函数和代价函数结合生成估值函数;即初始结点到达结点x处已经付出的代价与结点x到达目标结点的接近程度估计值的总和 语义标注 在NLP领域中对于自然语言进行分割,并且对每个部分都判断是什么类型的语义角色 语义角色标注是一种浅层的语义分析技术,它只标注谓词(谓语动词、名词、形容词)的语义角色 例如: 昨天张三在家吃苹果。 谓语动词“吃”的语义角色有:施事-张三,受事-苹果,时间-昨天,处所-家 博弈树 将双人完备的信息博弈过程用图表示出来,能得到一颗与或树,称为博弈树 在博弈树中,下一步该MAX走步的结点称为MAX结点;下一步该MIN走步的结点称为MIN结点 博弈树特点: 初始状态为初始结点 博弈树中的或结点和与结点是逐层交替出现的 整个博弈过程都是站在某一方的立场上,所有能使自己获胜的都是本源问题,相应的结点都是可解结点;所有会使对方获胜的结点都是不可解结点 博弈树采用变对子结点进行估值函数计算,再扩展结点的方法,使用的是极大极小化分析,因此引申出了阿尔法-贝塔剪枝 阿尔法-贝塔剪枝: 阿尔法剪枝: 对于一个MIN结点,如果能够推导出其上确界b,并且b不大于MIN结点的父节点下确界a(即a >= b),则不必再扩展MIN结点的其他子结点了,剪枝即可 贝塔剪枝: 对于一个MAX结点,如果能够推导出其下确界a,并且a不小于MAX结点的父节点上确界b(即a >= b),则不必再扩展MAX结点的其他子结点了,剪枝即可 专家系统 专家系统的概念: 专家系统是一种智能的计算机程序,它运用知识和推理来解决只有专家才能解决的复杂问题 专家系统的组成: 专家—-知识库—-推理机—-系统用户 专家系统的特点: 有专家水平的专业知识、能进行有效的推理、启发性、灵活性、透明性、交互性 知识库与推理机分离、具有解释功能 专家系统的类型: 按照解决类型划分:解释、诊断、预测、设计、规划、控制…… 按照应用类型划分:化学、电子学、地质学…… 按照系统体系结构划分:集中式、分布式、云计算 按照知识表示形式划分:基于规则、基于一阶谓词、基于框架、基于语义网 按照采用技术划分:符号推断、神经网络 专家系统实例: 医学专家系统——MYCIN 系统使用INTER LISP语言编写 推理策略:反向推理、深度优先的搜索 地质勘探专家系统——PROSPECTOR 推理方式:似然推理、逻辑推理、上下文推理 希望树 在启发式搜索与或树的过程中,有希望成为最优解树的部分结点所组成的树 定义如下: 初始结点S0一定在希望树中 如果结点x在希望树中,则一定有: 如果x是具有子结点的或结点,则其具有最小代价的子结点一定在希望树中 如果x是具有子结点的与结点,则其全部子结点都在希望树中 与或树的有序搜索过程本质上是寻找希望树的过程,因此随着搜索深度的增加,希望树也会随之变化 Agent Agent的概念: 一种能够在一定环境中自主运行和自主交互,以满足其设计目标的计算实体 按照属性区分Agent:...

November 9, 2023 · 2 min · 286 words · sirius1y

操作系统学习笔记

操作系统 第一章 计算机系统概述 1.1 操作系统 1.1.1 操作系统的概念和功能 概念 操作系统(Operating System, OS)是指控制和管理整个计算机系统的硬件和软件资源,并合理地组织调度计算机的工作和资源的分配;以提供给用户和其他软件方便的接口和环境;它是计算机系统中最基本的系统软件。 功能和目标 ①操作系统是系统资源的管理者 ②向上层提供方便易用的服务 封装思想:操作系统把一些丑陋的硬件功能封装成简单易用的服务,使用户能更方便地使用计算机,用户无需关心底层硬件的原理,只需要对操作系统发出命令即可。 GUI:图形化用户接口(Graphical User Interface) 用户可以使用形象的图形界面进行操作,而不再需要记忆复杂的命令、参数。 例子:在Windows 操作系统中,删除一个文件只需要把文件“拖拽”到回收站即可。 联机命令接口=交互式命令接口:用户说一句,系统跟着做一句 脱机命令接口=批处理命令接口:用户说一堆,系统跟着做一堆 程序接口:可以在程序中进行系统调用来使用程序接口。普通用户不能直接使用程序接口,只能通过程序代码间接使用。 如:写C语言“Hello world”程序时,在printf 函数的底层就使用到了操作系统提供的显式相关的“系统调用” ③是最接近硬件的一层软件 需要实现对硬件机器的拓展 没有任何软件支持的计算机称为裸机。在裸机上安装的操作系统, 可以提供资源管理功能和方便用户的服务功能,将裸机改造成功能 更强、使用更方便的机器 通常把覆盖了软件的机器成为扩充机器,又称之为虚拟机 1.1.2 操作系统的特征 基本特征 并发、共享、虚拟、异步 并发 两个或者多个事件在同一时间间隔内发生 使得系统具有处理和调度多个程序同时执行的能力 操作系统的并发是通过分时实现的 注意:并发是指在一个时间段并行是指在同一个时刻并行是指系统具有同时执行或操作(硬件支持:多流水线或者多处理机) 重要考点 单核CPU同一时刻只能执行一个程序,各个程序只能并发地执行 多核CPU同一时刻可以同时执行多个程序,多个程序可以并行地执行 共享 互斥共享方式 例如打印机、磁带,同一时刻只能供一个进程对资源进行访问 这种资源称作:临界资源或者独占资源 同时访问方式 一段时间内允许多个进程对资源进行访问 典型代表:磁盘设备重入码编写的文件 虚拟 一个物理上的实体变为若干逻辑上的对应物,这种技术也被称为虚拟技术 虚拟处理器:采用多道程序并发的方式,让每个终端用户感觉到有多个处理器 时分复用技术 虚拟存储器:将物理存储变为虚拟存储器,逻辑上扩充存储器用 空分复用技术 也可以将一台IO设备虚拟为多台逻辑上的IO设备,并允许每个用户占用一台逻辑上的IO设备 异步 在多道程序环境下,允许多个程序并发执行,但由于资源有限,进程的执行不是一贯到底的, 多道程序走走停停,进程以不可预知的速度向前进 并发和共享的关系 并发性指计算机系统中同时存在着多个运行着的程序。 共享性是指系统中的资源可供内存中多个并发执行的进程共同使用。 互为存在条件 并发和虚拟的关系 如果失去了并发性,则一个时间段内系统中只需运行一道程序,那么就失去了实现虚拟性的意义了。因此,没有并发性,就谈不上虚拟性 并发和异步的关系 只有系统拥有并发性,才有可能导致异步性。...

November 9, 2023 · 7 min · 1371 words · sirius1y