Python 3基础五

基础东西我作为了解，没有细细的去看，只为能写自动化测试的代码就ok了。

Python3 File(文件) 方法

open() 方法
Python open() 方法用于打开一个文件，并返回文件对象。
在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。
注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。
open() 函数常用形式是接收两个参数：文件名(file)和模式(mode)。

open(file, mode='r')
# 完整的语法：
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

参数说明:

file: 必需，文件路径（相对或者绝对路径）。
mode: 可选，文件打开模式
buffering: 设置缓冲
encoding: 一般使用utf8
errors: 报错级别
newline: 区分换行符
closefd: 传入的file参数类型
opener: 设置自定义开启器，开启器的返回值必须是一个打开的文件描述符。

mode 参数有：

t： 文本模式 (默认)。
x： 写模式，新建一个文件，如果该文件已存在则会报错。
b： 二进制模式。
+： 打开一个文件进行更新(可读可写)。
r： 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb： 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。一般用于非文本文件如图片等。
r+： 打开一个文件用于读写。文件指针将会放在文件的开头。
rb+： 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。一般用于非文本文件如图片等。
w： 打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。
wb： 以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。一般用于非文本文件如图片等。
w+： 打开一个文件用于读写。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。
wb+： 以二进制格式打开一个文件用于读写。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。一般用于非文本文件如图片等。
默认为文本模式，如果要以二进制模式打开，加上 b 。

file 对象

file 对象使用 open 函数来创建，下表列出了 file 对象常用的函数：
1、file.close()
关闭文件。关闭后文件不能再进行读写操作。
2 、file.flush()
刷新文件内部缓冲，直接把内部缓冲区的数据立刻写入文件, 而不是被动的等待输出缓冲区写入。
3、file.fileno()
返回一个整型的文件描述符(file descriptor FD 整型), 可以用在如os模块的read方法等一些底层操作上。
4、file.isatty()
如果文件连接到一个终端设备返回 True，否则返回 False。
5、file.next()
Python 3 中的 File 对象不支持 next() 方法。
返回文件下一行。
6、file.read([size])
从文件读取指定的字节数，如果未给定或为负则读取所有。
7、file.readline([size])
读取整行，包括 "\n" 字符。
8、file.readlines([sizeint])
读取所有行并返回列表，若给定sizeint>0，返回总和大约为sizeint字节的行, 实际读取值可能比 sizeint 较大, 因为需要填充缓冲区。
9、file.seek(offset[, whence])
移动文件读取指针到指定位置
10、file.tell()
返回文件当前位置。
11、file.truncate([size])
从文件的首行首字符开始截断，截断文件为 size 个字符，无 size 表示从当前位置截断；截断之后后面的所有字符被删除，其中 windows 系统下的换行代表2个字符大小。
12 、file.write(str)
将字符串写入文件，返回的是写入的字符长度。
13、file.writelines(sequence)
向文件写入一个序列字符串列表，如果需要换行则要自己加入每行的换行符。

read方法

read（）直接读取字节到字符串中，包括了换行符

file = open('C:/Users/mi/Desktop/linux命令.txt',mode='r',encoding='utf-8')
try:
    text = file.read() # 结果为str类型
    print(type(text)) # 打印text类型
    print(text)
finally:
    file.close() # 关闭文件

<class 'str'>
// 挂载命令
mount /dev/cdrom /mnt

// centos6.9 SSH免密钥登录
// 生成公钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

// 拷贝id到node02
ssh-copy-id node02 

// 安装jdk
rpm -i /soft*/file/linux*/jdk*

// 配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

// 重新加载配置文件生效
. /etc/profile


// 创建文件目录
mkdir -p /opt/sxt/es

// 分发文件夹到另一台主机下的当前目录 pwd不好用
scp -r elasticsearch-2.2.1/ sxt@node07:/opt/sxt/es
scp -r elasticsearch-2.2.1/ sxt@node07:'pwd'

// 赋予权限
chown sxt:sxt -R /opt/sxt/es

// 解压安装包到指定目录
unzip elasticsearch-2.2.1.zip -d /opt/sxt/es

// 创建普通用户
useradd xxx

// 设置密码
passwd xxx

// 赋予root用户所有权限
grant all on *.* to root@'%' identified by 'hadoop' ;

// 刷新系统权限表
flush privileges;

// 解压到指定目录，不带v可以减少安装明细输出
tar xf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz   -C /opt/cloudera-manager/

// 移动mysql-connector-java-5.1.26-bin.jar到当前目录
mv /root/install/mysql-connector-java-5.1.26-bin.jar ./

// 重命名文件
mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar

// mysql登录命令 -u用户 -p密码
mysql -uroot -phadoop

// 赋予temp用户权限
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

// 格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm

// CM服务没有启动成功，是因为没有安装httpd
1. httpd安装
yum install httpd

2. 启动httpd服务
service httpd start
chkconfig httpd on
操作完成重启CM服务，启动成功

// 启动CM服务
/opt/cloudera-manager/cm-5.4.3/etc/init.d/./cloudera-scm-server start

// 停止CM服务
/opt/cloudera-manager/cm-5.4.3/etc/init.d/./cloudera-scm-server stop

// 启动agent服务
/opt/cloudera-manager/cm-5.4.3/etc/init.d/./cloudera-scm-agent start

// 停止agent服务
/opt/cloudera-manager/cm-5.4.3/etc/init.d/./cloudera-scm-agent stop

// 查找es进程
ps -ef | grep elastic
// 杀掉ES进程
kill -9 3250


echo 0 > /proc/sys/vm/swappiness


Process finished with exit code 0

readline方法

特点：readline()方法每次读取一行；返回的是一个字符串对象，保持当前行的内存
缺点：比readlines慢的多

# readline()
try:
    text_line = file.readline() # 结果为str类型
    if text_line:
        print(type(text_line),text_line)
    else:
        print("exit")
finally:
    file.close() # 关闭文件

<class 'str'>
// 挂载命令
mount /dev/cdrom /mnt

// centos6.9 SSH免密钥登录
// 生成公钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

// 拷贝id到node02
ssh-copy-id node02 

// 安装jdk
rpm -i /soft*/file/linux*/jdk*

// 配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

Process finished with exit code 1

readline()读取整行，包括行结束符，并作为字符串返回

readlines方法

特点：一次性读取整个文件；自动将文件内容分析成一个行的列表

file = open('C:/Users/mi/Desktop/test.txt',mode='r',encoding='utf-8')
try:
    text_lines = file.readlines()
    print(type(text_lines))
    for line in text_lines:
        print(type(line),line)
finally:
    file.close()

<class 'list'>
// 挂载命令
mount /dev/cdrom /mnt

// centos6.9 SSH免密钥登录
// 生成公钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

// 拷贝id到node02
ssh-copy-id node02 

// 安装jdk
rpm -i /soft*/file/linux*/jdk*

// 配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

Process finished with exit code 1

readlines()读取所有行，然后把它们作为一个字符串列表返回。

Python3 错误和异常

Python 有两种错误很容易辨认：语法错误和异常。
Python assert（断言）用于判断一个表达式，在表达式条件为 false 的时候触发异常。

image.png

语法错误

Python 的语法错误或者称之为解析错，是初学者经常碰到的，如下实例

>>> while True print('Hello world')
  File "<stdin>", line 1, in ?
    while True print('Hello world')
                   ^
SyntaxError: invalid syntax

这个例子中，函数 print() 被检查到有错误，是它前面缺少了一个冒号 : 。
语法分析器指出了出错的一行，并且在最先找到的错误的位置标记了一个小小的箭头。

异常

即便 Python 程序的语法是正确的，在运行它的时候，也有可能发生错误。运行期检测到的错误被称为异常。
大多数的异常都不会被程序处理，都以错误信息的形式展现在这里:

>>> 10 * (1/0)             # 0 不能作为除数，触发异常
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
ZeroDivisionError: division by zero
>>> 4 + spam*3             # spam 未定义，触发异常
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
NameError: name 'spam' is not defined
>>> '2' + 2               # int 不能与 str 相加，触发异常
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: can only concatenate str (not "int") to str

异常以不同的类型出现，这些类型都作为信息的一部分打印出来: 例子中的类型有 ZeroDivisionError，NameError 和 TypeError。
错误信息的前面部分显示了异常发生的上下文，并以调用栈的形式显示具体信息。

异常处理

try/except
异常捕捉可以使用 try/except 语句。

image.png

以下例子中，让用户输入一个合法的整数，但是允许用户中断这个程序（使用 Control-C 或者操作系统提供的方法）。用户中断的信息会引发一个 KeyboardInterrupt 异常。

while True:
    try:
        x = int(input("请输入一个数字: "))
        break
    except ValueError:
        print("您输入的不是数字，请再次尝试输入！")

try 语句按照如下方式工作；
首先，执行 try 子句（在关键字 try 和关键字 except 之间的语句）。
如果没有异常发生，忽略 except 子句，try 子句执行后结束。
如果在执行 try 子句的过程中发生了异常，那么 try 子句余下的部分将被忽略。如果异常的类型和 except 之后的名称相符，那么对应的 except 子句将被执行。
如果一个异常没有与任何的 except 匹配，那么这个异常将会传递给上层的 try 中。
一个 try 语句可能包含多个except子句，分别来处理不同的特定的异常。最多只有一个分支会被执行。
处理程序将只针对对应的 try 子句中的异常进行处理，而不是其他的 try 的处理程序中的异常。
一个except子句可以同时处理多个异常，这些异常将被放在一个括号里成为一个元组，例如:

except (RuntimeError, TypeError, NameError):
    pass

最后一个except子句可以忽略异常的名称，它将被当作通配符使用。你可以使用这种方法打印一个错误信息，然后再次把异常抛出。

import sys

try:
    f = open('myfile.txt')
    s = f.readline()
    i = int(s.strip())
except OSError as err:
    print("OS error: {0}".format(err))
except ValueError:
    print("Could not convert data to an integer.")
except:
    print("Unexpected error:", sys.exc_info()[0])
    raise

try/except...else

try/except 语句还有一个可选的 else 子句，如果使用这个子句，那么必须放在所有的 except 子句之后。
else 子句将在 try 子句没有发生任何异常的时候执行。

image.png

以下实例在 try 语句中判断文件是否可以打开，如果打开文件时正常的没有发生异常则执行 else 部分的语句，读取文件内容：

for arg in sys.argv[1:]:
    try:
        f = open(arg, 'r')
    except IOError:
        print('cannot open', arg)
    else:
        print(arg, 'has', len(f.readlines()), 'lines')
        f.close()

使用 else 子句比把所有的语句都放在 try 子句里面要好，这样可以避免一些意想不到，而 except 又无法捕获的异常。
异常处理并不仅仅处理那些直接发生在 try 子句中的异常，而且还能处理子句中调用的函数（甚至间接调用的函数）里抛出的异常。例如:

>>> def this_fails():
        x = 1/0
   
>>> try:
        this_fails()
    except ZeroDivisionError as err:
        print('Handling run-time error:', err)
   
Handling run-time error: int division or modulo by zero

try-finally 语句

try-finally 语句无论是否发生异常都将执行最后的代码。

image.png

以下实例中 finally 语句无论异常是否发生都会执行：

try:
    runoob()
except AssertionError as error:
    print(error)
else:
    try:
        with open('file.log') as file:
            read_data = file.read()
    except FileNotFoundError as fnf_error:
        print(fnf_error)
finally:
    print('这句话，无论异常是否发生都会执行。')

抛出异常

Python 使用 raise 语句抛出一个指定的异常。
raise语法格式如下：

raise [Exception [, args [, traceback]]]

image.png

以下实例如果 x 大于 5 就触发异常:

x = 10
if x > 5:
    raise Exception('x 不能大于 5。x 的值为: {}'.format(x))

执行以上代码会触发异常：

Traceback (most recent call last):
  File "test.py", line 3, in <module>
    raise Exception('x 不能大于 5。x 的值为: {}'.format(x))
Exception: x 不能大于 5。x 的值为: 10

raise 唯一的一个参数指定了要被抛出的异常。它必须是一个异常的实例或者是异常的类（也就是 Exception 的子类）。
如果你只想知道这是否抛出了一个异常，并不想去处理它，那么一个简单的 raise 语句就可以再次把它抛出。

>>> try:
        raise NameError('HiThere')  # 模拟一个异常。
    except NameError:
        print('An exception flew by!')
        raise
   
An exception flew by!
Traceback (most recent call last):
  File "<stdin>", line 2, in ?
NameError: HiThere

用户自定义异常

你可以通过创建一个新的异常类来拥有自己的异常。异常类继承自 Exception 类，可以直接继承，或者间接继承，例如:

>>> class MyError(Exception):
        def __init__(self, value):
            self.value = value
        def __str__(self):
            return repr(self.value)
   
>>> try:
        raise MyError(2*2)
    except MyError as e:
        print('My exception occurred, value:', e.value)
   
My exception occurred, value: 4
>>> raise MyError('oops!')
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
__main__.MyError: 'oops!'

在这个例子中，类 Exception 默认的 init() 被覆盖。
当创建一个模块有可能抛出多种不同的异常时，一种通常的做法是为这个包建立一个基础异常类，然后基于这个基础类为不同的错误情况创建不同的子类:

class Error(Exception):
    """Base class for exceptions in this module."""
    pass

class InputError(Error):
    """Exception raised for errors in the input.

    Attributes:
        expression -- input expression in which the error occurred
        message -- explanation of the error
    """

    def __init__(self, expression, message):
        self.expression = expression
        self.message = message

class TransitionError(Error):
    """Raised when an operation attempts a state transition that's not
    allowed.

    Attributes:
        previous -- state at beginning of transition
        next -- attempted new state
        message -- explanation of why the specific transition is not allowed
    """

    def __init__(self, previous, next, message):
        self.previous = previous
        self.next = next
        self.message = message

大多数的异常的名字都以"Error"结尾，就跟标准的异常命名一样。

定义清理行为

try 语句还有另外一个可选的子句，它定义了无论在任何情况下都会执行的清理行为。 例如:

>>> try:
...     raise KeyboardInterrupt
... finally:
...     print('Goodbye, world!')
...
Goodbye, world!
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
KeyboardInterrupt

以上例子不管 try 子句里面有没有发生异常，finally 子句都会执行。
如果一个异常在 try 子句里（或者在 except 和 else 子句里）被抛出，而又没有任何的 except 把它截住，那么这个异常会在 finally 子句执行后被抛出。
下面是一个更加复杂的例子（在同一个 try 语句里包含 except 和 finally 子句）:

>>> def divide(x, y):
        try:
            result = x / y
        except ZeroDivisionError:
            print("division by zero!")
        else:
            print("result is", result)
        finally:
            print("executing finally clause")
   
>>> divide(2, 1)
result is 2.0
executing finally clause
>>> divide(2, 0)
division by zero!
executing finally clause
>>> divide("2", "1")
executing finally clause
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "<stdin>", line 3, in divide
TypeError: unsupported operand type(s) for /: 'str' and 'str'

预定义的清理行为

一些对象定义了标准的清理行为，无论系统是否成功的使用了它，一旦不需要它了，那么这个标准的清理行为就会执行。
下面这个例子展示了尝试打开一个文件，然后把内容打印到屏幕上:

for line in open("myfile.txt"):
    print(line, end="")

以上这段代码的问题是，当执行完毕后，文件会保持打开状态，并没有被关闭。
关键词 with 语句就可以保证诸如文件之类的对象在使用完之后一定会正确的执行他的清理方法:

with open("myfile.txt") as f:
    for line in f:
        print(line, end="")