Python常用代码块&编程规范

Posted on by

常用代码块

#!/usr/bin/env python
# -*- coding: utf-8 -*-
def main():
print('hello world')
if __name__ == '__main__':
main()
#!/usr/bin/env python # -*- coding: utf-8 -*- def main(): print('hello world') if __name__ == '__main__': main()
#!/usr/bin/env python
# -*- coding: utf-8 -*-

def main():
    print('hello world')

if __name__ == '__main__':

    main()

tkinter经典面向对象写法

from tkinter import *
from tkinter import messagebox
class Application(Frame):
def __init__(self,master=None):
super().__init__(master)
self.master = master
self.pack()
self.createWidget()
def createWidget(self):
self.btn01 = Button(self)
self.btn01["text"] = "点我"
self.btn01.pack()
self.btn01["command"] = self.btnCmd
def btnCmd(self):
messagebox.showinfo('标题','显示内容')
if __name__ == '__main__':
root = Tk()
root.geometry("400x100+200+300")
root.title("www.code8cn.com")
app = Application(master=root)
root.mainloop()
from tkinter import * from tkinter import messagebox class Application(Frame): def __init__(self,master=None): super().__init__(master) self.master = master self.pack() self.createWidget() def createWidget(self): self.btn01 = Button(self) self.btn01["text"] = "点我" self.btn01.pack() self.btn01["command"] = self.btnCmd def btnCmd(self): messagebox.showinfo('标题','显示内容') if __name__ == '__main__': root = Tk() root.geometry("400x100+200+300") root.title("www.code8cn.com") app = Application(master=root) root.mainloop()
from tkinter import *
from tkinter import messagebox
class Application(Frame):
    def __init__(self,master=None):
        super().__init__(master)
        self.master = master
        self.pack()
        self.createWidget()
    def createWidget(self):
        self.btn01 = Button(self)
        self.btn01["text"] = "点我"
        self.btn01.pack()
        self.btn01["command"] = self.btnCmd
    def btnCmd(self):
        messagebox.showinfo('标题','显示内容')
if __name__ == '__main__':
    root = Tk()
    root.geometry("400x100+200+300")
    root.title("www.code8cn.com")
    app = Application(master=root)
    root.mainloop()

一、请求接口（短链接）

1、requests

requests库的七个主要方法

方法解释
requests.request()构造一个请求，支持以下各种方法
requests.get()获取html的主要方法
requests.head()获取html头部信息的主要方法
requests.post()向html网页提交post请求的方法
requests.put()向html网页提交put请求的方法
requests.patch()向html提交局部修改的请求
requests.delete()向html提交删除请求

详解： https://blog.csdn.net/pittpakk/article/details/81218566

最常用的就是 get \post，传递json参数

import requests #导入requests库
r=requests.get(url,params,**kwargs) #get请求目标url
r = requests.post(url, data) # post推送目标url
#获取xx接口数据
def get_data():
#确认请求链接
url ="http://test"
#构建参数
params={
"参数名a": "参数值a",
"参数名b": "参数值b"
}
response=[requests.post(url = url, data=params).json #一般接口返回需要json化，方便解析数据
print(response.status_code) #输出http请求的返回状态，若为200则表示请求成功
print(response)#输出结果，查看返回数据结构
import requests #导入requests库 r=requests.get(url,params,**kwargs) #get请求目标url r = requests.post(url, data) # post推送目标url #获取xx接口数据 def get_data(): #确认请求链接 url ="http://test" #构建参数 params={ "参数名a": "参数值a", "参数名b": "参数值b" } response=[requests.post(url = url, data=params).json #一般接口返回需要json化，方便解析数据 print(response.status_code) #输出http请求的返回状态，若为200则表示请求成功 print(response)#输出结果，查看返回数据结构
import requests  #导入requests库
r=requests.get(url,params,**kwargs) #get请求目标url
r = requests.post(url, data)  # post推送目标url

#获取xx接口数据
def get_data():
  #确认请求链接
  url ="http://test"
  #构建参数
  params={
    "参数名a": "参数值a",
    "参数名b": "参数值b"
  }
  response=[requests.post(url = url, data=params).json #一般接口返回需要json化，方便解析数据
  print(response.status_code) #输出http请求的返回状态，若为200则表示请求成功
  print(response)#输出结果，查看返回数据结构

二、链接数据库

1、pymysql

常用的mysql数据库，可以直接使用pymysql组件，链接数据库进行简单的增删改查操作。

#导入第三方资源包
import pymysql
#进行数据库操作
def Con_Data(sql):
# 进行数据库连接
try:
db = pymysql.connect(host='test.mysql.com',
port='端口号',
user='账号',
passwd='密码',
charset='utf8',
db='数据库名',
connect_timeout=6)
except Exception as e:
print('连接数据库错误，错误是%s' % e)
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# 使用 execute() 方法执行 SQL 查询
try:
cursor.execute(sql)
#简单判断，是进行什么操作
if 'SELECT' in sql:
pass
key = 'update,UPDATE,delete,DELETE,insert,INSERT'
#如果是增删改操作
if any(k in sql and k for k in key.split(',')):
#进行提交
db.commit()
except Exception as e:
db.rollback()# 发生错误时回滚
print('执行sql语句失败，错误是%s' % e)
#根据需要选择
data1 = cursor.fetchone()# 使用 fetchone() 方法获取一条数据.
data2 = cursor.fetchmany(2) # 使用 fetchmany(x) 方法获取 x 条数据.
data3 = cursor.fetchall() # 使用fetchall() 方法获取所有的数据
# 关闭游标
cursor.close()
# 关闭数据库连接
db.close()
return data
#导入第三方资源包 import pymysql #进行数据库操作 def Con_Data(sql): # 进行数据库连接 try: db = pymysql.connect(host='test.mysql.com', port='端口号', user='账号', passwd='密码', charset='utf8', db='数据库名', connect_timeout=6) except Exception as e: print('连接数据库错误，错误是%s' % e) # 使用 cursor() 方法创建一个游标对象 cursor cursor = db.cursor() # 使用 execute() 方法执行 SQL 查询 try: cursor.execute(sql) #简单判断，是进行什么操作 if 'SELECT' in sql: pass key = 'update,UPDATE,delete,DELETE,insert,INSERT' #如果是增删改操作 if any(k in sql and k for k in key.split(',')): #进行提交 db.commit() except Exception as e: db.rollback()# 发生错误时回滚 print('执行sql语句失败，错误是%s' % e) #根据需要选择 data1 = cursor.fetchone()# 使用 fetchone() 方法获取一条数据. data2 = cursor.fetchmany(2) # 使用 fetchmany(x) 方法获取 x 条数据. data3 = cursor.fetchall() # 使用fetchall() 方法获取所有的数据 # 关闭游标 cursor.close() # 关闭数据库连接 db.close() return data
#导入第三方资源包
import pymysql
#进行数据库操作
def Con_Data(sql):
    # 进行数据库连接
    try:
        db = pymysql.connect(host='test.mysql.com',
                             port='端口号',
                             user='账号',
                             passwd='密码',
                             charset='utf8',
                             db='数据库名',
                             connect_timeout=6)
    except Exception as e:
        print('连接数据库错误，错误是%s' % e)
    # 使用 cursor() 方法创建一个游标对象 cursor
    cursor = db.cursor()
    # 使用 execute()  方法执行 SQL 查询
    try:
        cursor.execute(sql)
        #简单判断，是进行什么操作
        if 'SELECT' in sql:
            pass
        key = 'update,UPDATE,delete,DELETE,insert,INSERT'
        #如果是增删改操作
        if any(k in sql and k for k in key.split(',')):
            #进行提交
            db.commit()
    except Exception as e:
        db.rollback()# 发生错误时回滚
        print('执行sql语句失败，错误是%s' % e)
    #根据需要选择
    data1 = cursor.fetchone()# 使用 fetchone() 方法获取一条数据.
    data2 = cursor.fetchmany(2) # 使用 fetchmany(x) 方法获取 x 条数据.
    data3 = cursor.fetchall() # 使用fetchall() 方法获取所有的数据
    # 关闭游标
    cursor.close()
    # 关闭数据库连接
    db.close()
    return data

三、线程 threading

创建、撤消与切换进程，存在较大的时空开销，所以引入线程
一个程序至少一个进程，一个进程至少一个线程
Python中使用线程有两种方式：函数或者用类来包装线程对象。
进程是资源分配的最小单位，线程是程序的最小执行单位
多线程类似于同时执行多个不同程序，多线程运行有如下优点：

  • 程序进程速度可能加快（多线程不一定更快，参考链接：https://blog.csdn.net/weixin_42176112/article/details/117790945）；
  • 可以大量创建线程
  • 线程与线程之间是独立的，并发执行。有好处，在收发数据时；坏处，在赋值时，容易发生错位赋值。
  • 线程主要针对于具有大量输入、输出以及网络收发数据等限制程序的速度时
#线程
'''
num:int #启用线程数，参考电脑cpu
'''
def ThreadRun(num):
thread_list = []
# 创建线程
for i in range(num):
thread = threading.Thread(target= '''方法名''' , args=[ '''方法参数''' ])
thread_list.append(thread)
# 启用线程
for Start_th in thread_list:
Start_th.start()
time.sleep(0.01)
# 停用线程
for Stop_th in thread_list:
Stop_th.join()
#线程 ''' num:int #启用线程数，参考电脑cpu ''' def ThreadRun(num): thread_list = [] # 创建线程 for i in range(num): thread = threading.Thread(target= '''方法名''' , args=[ '''方法参数''' ]) thread_list.append(thread) # 启用线程 for Start_th in thread_list: Start_th.start() time.sleep(0.01) # 停用线程 for Stop_th in thread_list: Stop_th.join()
#线程
'''
num:int #启用线程数，参考电脑cpu
'''
def ThreadRun(num):
    thread_list = []
    # 创建线程
    for i in range(num):
        thread = threading.Thread(target= '''方法名''' , args=[ '''方法参数''' ])
        thread_list.append(thread)
    # 启用线程
    for Start_th in thread_list:
        Start_th.start()
        time.sleep(0.01)
    # 停用线程
    for Stop_th in thread_list:
        Stop_th.join()

为避免多线程同时修改同一数值，此时可以采取加锁的方式

threadLock = threading.Lock() #锁对象实例化
threadLock.acquire() #获得锁
'''
此处进行相关数据操作
同一时间只有一个线程再此处执行
'''
threadingLock.release #释放锁
threadLock = threading.Lock() #锁对象实例化 threadLock.acquire() #获得锁 ''' 此处进行相关数据操作 同一时间只有一个线程再此处执行 ''' threadingLock.release #释放锁
threadLock = threading.Lock() #锁对象实例化 
threadLock.acquire() #获得锁
'''
此处进行相关数据操作
同一时间只有一个线程再此处执行
'''
threadingLock.release #释放锁

四、协程gevent

gevent是python的一个并发框架，以微线程greenlet为核心，使用了epoll事件监听机制以及诸多其他优化而变得高效。
而且其中有个monkey类，将现有基于Python线程直接转化为greenlet(类似于打patch)。

在运行时的具体流程大概就是：

  • 当一个greenlet遇到IO操作时，比如访问网络/睡眠等待，就自动切换到其他的greenlet，
  • 等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。同时也因为只有一个线程在执行，会极大的减少上下文切换的成本

#gevent monkey
from gevent import monkey;monkey.patch_all()# 给所有的耗时操作打上补丁 , 在脚本开头导入时声明
import gevent
import time
def shui(n):
time.sleep(n)
def task_1(name,nn):
for i in range(10):
print(name,nn, i,time.time())
shui(5) # 协程遇到耗时操作后会自动切换其他协程运行
def task_2(name):
for i in range(10):
print(name,'>>>>>>', i,time.time())
shui(3)
l = task_1 #创建 <class 'function'> 的变量
if __name__ == "__main__":
gevent.joinall([ # 等到协程运行完毕
gevent.spawn(l, "task_1","-----"), # 创建协程,带参数
gevent.spawn(task_2, "task_2")# 创建协程,不带参数
])
#gevent monkey from gevent import monkey;monkey.patch_all()# 给所有的耗时操作打上补丁 , 在脚本开头导入时声明 import gevent import time def shui(n): time.sleep(n) def task_1(name,nn): for i in range(10): print(name,nn, i,time.time()) shui(5) # 协程遇到耗时操作后会自动切换其他协程运行 def task_2(name): for i in range(10): print(name,'>>>>>>', i,time.time()) shui(3) l = task_1 #创建 <class 'function'> 的变量 if __name__ == "__main__": gevent.joinall([ # 等到协程运行完毕 gevent.spawn(l, "task_1","-----"), # 创建协程,带参数 gevent.spawn(task_2, "task_2")# 创建协程,不带参数 ])
#gevent monkey
from gevent import monkey;monkey.patch_all()# 给所有的耗时操作打上补丁 , 在脚本开头导入时声明
import gevent
import time

def shui(n):
    time.sleep(n)

def task_1(name,nn):
    for i in range(10):
        print(name,nn, i,time.time())
        shui(5)  # 协程遇到耗时操作后会自动切换其他协程运行

def task_2(name):
    for i in range(10):
        print(name,'>>>>>>', i,time.time())
        shui(3)
l = task_1 #创建 <class 'function'> 的变量
if __name__ == "__main__":
        gevent.joinall([  # 等到协程运行完毕
          gevent.spawn(l, "task_1","-----"),  # 创建协程,带参数
          gevent.spawn(task_2, "task_2")# 创建协程,不带参数
        ])

上面可见，gevent.joinall()方法，以字典的形式去进行切换，
如果需要执行的方法较多，或者想要多次执行同一方法，就不太方便。
我们可以直接将创建协程存入字典，就方便重复调用一个方法（并发、压测）
得到以下代码

if __name__ == "__main__":
threads = []
for i in range(100):#添加协程数
threads.append( gevent.spawn(l, "name", i))
gevent.joinall(threads)
print("the main thread!")
])
if __name__ == "__main__": threads = [] for i in range(100):#添加协程数 threads.append( gevent.spawn(l, "name", i)) gevent.joinall(threads) print("the main thread!") ])
if __name__ == "__main__":
    threads = []
    for i in range(100):#添加协程数
        threads.append( gevent.spawn(l, "name", i))
    gevent.joinall(threads)
    print("the main thread!")
])

Python常用的基本编程规范

1、在文件开头声明文件编码，以下两种均可

# -*- coding: utf-8 -*-
# coding = utf-8
# -*- coding: utf-8 -*- # coding = utf-8
# -*- coding: utf-8 -*-   
# coding = utf-8

2、缩进规则
统一使用 4 个空格进行缩进，不要用tab, 更不要tab和空格混用

3、注释部分，# 号后面要空一格

# 注释部分
# 注释部分 
# 注释部分

4、空行
双空行：编码格式声明、模块导入、常量和全局变量声明、顶级定义（类的定义）和执行代码之间空两行
单空行：方法定义之间空一行，方法内分隔某些功能的位置也可以空一行

5、模块导入部分
导入应该放在文件顶部，位于模块注释和文档字符串之后，模块全局变量和常量之前。
导入应该照从最通用到最不通用的顺序分组，分组之间空一行，依次为：标准库导入-》第三方库导入-》应用程序指定导入
每个 import 语句只导入一个模块，尽量避免一次导入多个模块

6、Python命名建议遵循的一般性原则：
模块尽量使用小写命名，首字母保持小写，尽量不要用下划线
类名使用驼峰(CamelCase)命名风格，首字母大写，私有类可用一个下划线开头
函数名、变量名一律小写，如有多个单词，用下划线隔开，私有函数用一个下划线开头
常量采用全大写，如有多个单词，使用下划线隔开

7、引号
输出语句中使用单双引号都是可以正确的，此外 正则表达式推荐使用双引号、文档字符串 (docstring) 推荐使用三个双引号

1.用户代理 User Agent
在浏览器地址栏输入：about:version

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36

2.文件读写

if not os.path.exists(path):
os.makedirs(path)
with open(file_path, "w", encoding='utf8') as f:
f.write("")
with open(r'c:/path/to/file', 'r') as f:
print(f.read())
if not os.path.exists(path): os.makedirs(path) with open(file_path, "w", encoding='utf8') as f: f.write("") with open(r'c:/path/to/file', 'r') as f: print(f.read())
if not os.path.exists(path):
    os.makedirs(path)

with open(file_path, "w", encoding='utf8') as f:
    f.write("")

with open(r'c:/path/to/file', 'r') as f:
    print(f.read())

3.基本爬虫正则

res = requests.get(url)
res.encoding = 'utf8'
body = re.compile(r'<body.*</body>', re.S).findall(r.text)[0]
ret = re.sub(r'[0-9]', "*", s)
res = requests.get(url) res.encoding = 'utf8' body = re.compile(r'<body.*</body>', re.S).findall(r.text)[0] ret = re.sub(r'[0-9]', "*", s)
res = requests.get(url)
res.encoding = 'utf8'

body = re.compile(r'<body.*</body>', re.S).findall(r.text)[0]
ret = re.sub(r'[0-9]', "*", s)

4.python打开文件w和wb，r和rb的区别

w表示正常写入 wb表示二进制写入

r表示正常读取 rb表示二进制读取

5.python常用函数

# 通过指定分隔符对字符串进行切片
string = "www.code8cn.com"
print(string.split('.')[-1]) # -1代表倒数第1个
print(string.split('.')[1:]) # 1:代表从第二个往后
# 得到6位随机数
def v_code(n=6):
"""
Returns:
ret:random six num and letter
"""
ret = ""
for i in range(n):
num = random.randint(0, 9)
# num = chr(random.randint(48,57))#ASCII表示数字
letter = chr(random.randint(97, 122)) # 取小写字母
Letter = chr(random.randint(65, 90)) # 取大写字母
s = str(random.choice([num, letter, Letter]))
ret += s
return ret
pic_name = hashlib.md5(b'123').hexdigest()
# 通过指定分隔符对字符串进行切片 string = "www.code8cn.com" print(string.split('.')[-1]) # -1代表倒数第1个 print(string.split('.')[1:]) # 1:代表从第二个往后 # 得到6位随机数 def v_code(n=6): """ Returns: ret:random six num and letter """ ret = "" for i in range(n): num = random.randint(0, 9) # num = chr(random.randint(48,57))#ASCII表示数字 letter = chr(random.randint(97, 122)) # 取小写字母 Letter = chr(random.randint(65, 90)) # 取大写字母 s = str(random.choice([num, letter, Letter])) ret += s return ret pic_name = hashlib.md5(b'123').hexdigest()
# 通过指定分隔符对字符串进行切片
string = "www.code8cn.com"
print(string.split('.')[-1]) # -1代表倒数第1个
print(string.split('.')[1:]) # 1:代表从第二个往后

# 得到6位随机数
def v_code(n=6):
        """
            Returns:
                ret:random six num and letter
        """
        ret = ""
        for i in range(n):
            num = random.randint(0, 9)
            # num = chr(random.randint(48,57))#ASCII表示数字
            letter = chr(random.randint(97, 122))  # 取小写字母
            Letter = chr(random.randint(65, 90))  # 取大写字母
            s = str(random.choice([num, letter, Letter]))
            ret += s
        return ret

pic_name = hashlib.md5(b'123').hexdigest()

6.爬虫常用代码

# request.get封装
def getHtmlStr(url):
params = {
'query':'site:code8cn.com' # getHtmlStr('https://sogou.com/web')
}
headers ={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
}
#res = requests.get(url=url,params=params,headers=headers)
res = requests.get(url=url,headers=headers)
res.encoding = 'utf8'
return res.text
# request.get封装 def getHtmlStr(url): params = { 'query':'site:code8cn.com' # getHtmlStr('https://sogou.com/web') } headers ={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36" } #res = requests.get(url=url,params=params,headers=headers) res = requests.get(url=url,headers=headers) res.encoding = 'utf8' return res.text
# request.get封装
def getHtmlStr(url):

    params = {
        'query':'site:code8cn.com' # getHtmlStr('https://sogou.com/web')
    }

    headers ={
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
    }

    #res = requests.get(url=url,params=params,headers=headers)
    res = requests.get(url=url,headers=headers)
    res.encoding = 'utf8'

    return res.text

推荐阅读：