这里k8s官方给我们提供了两种比较主流的连接k8s API cluster的语言, 一种是GO, 另外一种就是我们DevOps比较主流的Python.

今天这里我将给大家介绍如何使用python client扩展包去编写脚本并远程连接k8s API cluster.

这样我们平时除了可以远程使用ssh+kubectl去与kubernetes进行命令行数据交互外, 同样可以在远程不依赖命令行直接连接k8s cluster API cluster, 与k8s进行python API交互, 方便我们后期利用python去对k8s进行自动化集成与二次开发.

这里我们不多说, 直接进入我们的runbook配置环节:

一.部署python client环境连接我们的k8s API cluster.

1.安装python3.6.5源及依赖包

# yum install epel-release -y

# yum groupinstall "Development tools" -y

# yum install zlib-devel bzip2-devel openssl-devel ncurses-devel zx-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel -y

2.编译安装python3.6.5以及pip package manager

# wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tar.xz --no-check-certificate

# tar xf Python-3.6.5.tar.xz

# cd Python-3.6.5

# ./configure --prefix=/usr/local --with-ensurepip=install --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"

# make && make altinstall

3.安装virtualenv

# pip3.6 install --upgrade pip

# pip3.6 install virtualenv

4.配置加载virtualenv环境

# virtualenv -p /usr/local/bin/python3 .py3env

# source .py3env/bin/activate

5.安装kubernetes python client扩展包

# pip install kubernetes

二.在k8s master获取API cluster URL与token

我们需要在创建python脚本前, 在k8s主机上创建一个admin权限的service account, 并获取其token 用来作为我们的脚本凭证.

1.抓取Cluster URL地址

# APISERVER=$(kubectl config view --minify | grep server | cut -f 2- -d ":" | tr -d " ")

# echo $APISERVER

2.创建k8s admin-user

# mkdir -p /kube/role

# cd /kube/role

在kube-system下创建admin-user

# vi CreateServiceAccount.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kube-system

给admin-user赋予admin权限

# vi CreateServiceAccount.yaml

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kube-system

# kubectl create -f CreateServiceAccount.yaml
# kubectl create -f RoleBinding.yaml

3.获取admin-user token

# Token=$(kubectl describe secret $(kubectl get secret -n kube-system | grep ^admin-user | awk '{print $1}') -n kube-system | grep -E '^token'| awk '{print $2}')

# echo $Token

最后将token与APISERVER地址返回内容复制到python client主机上, 供脚本使用.

三. 在python client主机上编写脚本

1. 创建目录结构

# mkdir -p /kube/auth

# cd /kube/auth

# touch token.txt

2. 创建token.txt文件并将k8s主机上获取的Token字符串复制到该文件

这里我们获取的token会引入到我们的脚本下, 作为bearer authorization的api key与远程k8s API建立认证连接.

3. 编写python client脚本

# vi k8s_auth.py

#!/usr/bin/env python


from kubernetes import client, config


def main():
    # Define the barer token we are going to use to authenticate.
    # See here to create the token:
    # https://kubernetes.io/docs/tasks/access-application-cluster/access-cluster/

    with open('token.txt', 'r') as file:
        Token = file.read().strip('\n')

    APISERVER = 'https://10.110.16.14:6443'

    # Create a configuration object
    configuration = client.Configuration()

    # Specify the endpoint of your Kube cluster
    configuration.host = APISERVER

    # Security part.
    # In this simple example we are not going to verify the SSL certificate of
    # the remote cluster (for simplicity reason)
    configuration.verify_ssl = False

    # Nevertheless if you want to do it you can with these 2 parameters
    # configuration.verify_ssl=True
    # ssl_ca_cert is the filepath to the file that contains the certificate.
    # configuration.ssl_ca_cert="certificate"
    configuration.api_key = {"authorization": "Bearer " + Token}

    # configuration.api_key["authorization"] = "bearer " + Token
    # configuration.api_key_prefix['authorization'] = 'Bearer'
    # configuration.ssl_ca_cert = 'ca.crt'
    # Create a ApiClient with our config
    client.Configuration.set_default(configuration)

    # Do calls
    v1 = client.CoreV1Api()
    print("Listing pods with their IPs:")
    ret = v1.list_pod_for_all_namespaces(watch=False)
    for i in ret.items:
        print("%s\t%s\t%s" %
              (i.status.pod_ip, i.metadata.namespace, i.metadata.name))


if __name__ == '__main__':
    main()

这个脚本通过抓取同目录的k8s token字符串, 以及我们之前获取到的api server地址,利用python kubernetes扩展模块连接我们的远程API, 最终实现打印我们k8s所有namespace下的所有pods.

实际效果与kubectl get pods --all-namespaces类似.

4. 修改权限并执行

# chmod 755 k8s_auth.py

# ./k8s_auth.py

Listing pods with their IPs:
...
10.244.1.3	default	db
10.244.1.2	default	kubernetes-downwardapi-volume-example
10.244.1.245	default	nginx1-7-deployment-667547b6d8-c5nsr
10.244.1.239	default	nginx1-7-deployment-667547b6d8-mjxq4
10.244.1.247	default	nginx1-8-deployment-d46768cf9-888v8
10.244.1.242	default	nginx1-8-deployment-d46768cf9-fglq2
10.110.16.14	kube-system	etcd-kube-master
10.110.16.14	kube-system	kube-apiserver-kube-master
10.110.16.14	kube-system	kube-controller-manager-kube-master
10.244.1.241	kube-system	kube-dns-6f4fd4bdf-qsxrj
10.110.16.14	kube-system	kube-flannel-ds-5sdlg
10.110.16.15	kube-system	kube-flannel-ds-qctv4
10.110.16.14	kube-system	kube-proxy-5nscq
10.110.16.15	kube-system	kube-proxy-6g7jc
10.110.16.14	kube-system	kube-scheduler-kube-master
10.244.1.246	kube-system	kubernetes-dashboard-58f5cb49c-6dxgn
10.244.1.240	kube-system	tiller-deploy-cbb85d8dc-f6rsv
10.110.16.15	kube-system	traefik-ingress-lb-765c44656f-fkzxb
10.244.1.243	spinnaker	kubelive-create-bucket-wxlv4
10.244.1.244	spinnaker	kubelive-delete-jobs-zhn75

这样我们就成功的编写完成python client脚本连接k8s API cluster, 将所有namespace下的pod的基本信息打印出来.

Finished...

QQ邮箱 POP3端口: 995 SMTP端口: 587

密码使用QQ邮箱独立密码

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import smtplib  
import email.encoders
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
import getpass

# Build a new attach instance
msg = MIMEMultipart()

# Mail configuration
Mail_subject = 'Python test mail'
Mail_content = 'Send with pic attachment'
Recipient_list = ['XXX@126.com', 'XXX@qq.com']
SMTP_server = "smtp.qq.com"  
SMTP_port = "587"
Username = raw_input('Please input your Username:')  
Password = getpass.getpass("Please input your Password: ")   
mail_postfix = "qq.com"  

# Mail attachment
def attach(file_path, file_name, type, postfix):
    with open(file_path + "/" + file_name, 'rb') as f:
        # 设置附件的MIME和文件名，这里是png类型:
        mime = MIMEBase(type, postfix, filename = file_name)
        # 加上必要的头信息:
        mime.add_header('Content-Disposition', 'attachment', filename = file_name)
        mime.add_header('Content-ID', '<0>')
        mime.add_header('X-Attachment-Id', '0')
        # 把附件的内容读进来:
        mime.set_payload(f.read())
        # 用Base64编码:
        email.encoders.encode_base64(mime)
        # 添加到MIMEMultipart:
        msg.attach(mime)

  
def send_mail(recipient, title, content): 
    # Mail info
    author = "%s<%s@%s>" %(Username, Username, mail_postfix)
    msg['Subject'] = title  
    msg['From'] = author  
    msg['To'] = ";".join(recipient)

    # Send attachment
    msg.attach(MIMEText(content, 'plain', 'utf-8'))
    attach('/Users/XXX/Pictures/com.tencent.ScreenCapture','QQ20150827-1.png', 'image', 'png')
    attach('/Users/XXX/Work/Python','test01.py', 'txt', 'py')
    attach('/Users/XXX/Work/Python','test.zip', 'zip', 'zip')

    try:  
        server = smtplib.SMTP(SMTP_server, SMTP_port)
        server.starttls()
        server.set_debuglevel(1)   
        server.login(Username, Password)  
        server.sendmail(author, recipient, msg.as_string())  
        server.quit()  
        return True  
    except Exception, e:
        print str(e)
        return False


if __name__ == '__main__': 
    if send_mail(Recipient_list, Mail_subject, Mail_content): 
        print "Sent Successfully"  
    else: 
        print "Sent Failure" 

QQ邮箱利用的是加密STMP, 需要加密版本的童鞋请关注随后的更新.

TIPS: 我的本地环境是MAC系统, Windows环境需要修改相应的字符编码.

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import smtplib  
import email.encoders
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
import getpass

# Build a new attach instance
msg = MIMEMultipart()

# Mail configuration
Mail_subject = 'Python test mail'
Mail_content = 'Send with attachments'
Recipient_list = ['XXX@126.com', 'XXX@qq.com']
SMTP_server = "smtp.126.com"  
Username = raw_input('Please input your Username:')  
Password = getpass.getpass("Please input your Password: ")   
mail_postfix = "126.com"  

# Mail attachment
def attach(file_path, file_name, type, postfix):
    with open(file_path + "/" + file_name, 'rb') as f:
        # 设置附件的MIME和文件名，这里是png类型:
        mime = MIMEBase(type, postfix, filename = file_name)
        # 加上必要的头信息:
        mime.add_header('Content-Disposition', 'attachment', filename = file_name)
        mime.add_header('Content-ID', '<0>')
        mime.add_header('X-Attachment-Id', '0')
        # 把附件的内容读进来:
        mime.set_payload(f.read())
        # 用Base64编码:
        email.encoders.encode_base64(mime)
        # 添加到MIMEMultipart:
        msg.attach(mime)

  
def send_mail(recipient, title, content): 
    # Mail info
    author = "%s<%s@%s>" %(Username, Username, mail_postfix)
    msg['Subject'] = title  
    msg['From'] = author  
    msg['To'] = ";".join(recipient)

    # send attachment
    msg.attach(MIMEText(content, 'plain', 'utf-8'))
    attach('/Users/XXX/Pictures/com.tencent.ScreenCapture','QQ20150827-1.png', 'image', 'png')
    attach('/Users/XXX/Work/Python','test01.py', 'txt', 'py')
    attach('/Users/XXX/Work/Python','test.zip', 'zip', 'zip')

    try:  
        server = smtplib.SMTP()
        server.set_debuglevel(1) 
        server.connect(SMTP_server)  
        server.login(Username, Password)  
        server.sendmail(author, recipient, msg.as_string())  
        server.quit()  
        return True  
    except Exception, e:
        print str(e)
        return False


if __name__ == '__main__': 
    if send_mail(Recipient_list, Mail_subject, Mail_content): 
        print "Sent Successfully"  
    else: 
        print "Sent Failure" 

  正则表达式使用反斜杠" \ "来代表特殊形式或用作转义字符，这里跟Python的语法冲突，因此，Python用" \\\\ "表示正则表达式中的" \ "，因为正则表达式中如果要匹配" \ "，需要用\来转义，变成" \\ "，而Python语法中又需要对字符串中每一个\进行转义，所以就变成了" \\\\ "。
上面的写法是不是觉得很麻烦，为了使正则表达式具有更好的可读性，Python特别设计了原始字符串(raw string)，需要提醒你的是，在写文件路径的时候就不要使用raw string了，这里存在陷阱。raw string就是用'r'作为字符串的前缀，如 r"\n"：表示两个字符"\"和"n"，而不是换行符了。Python中写正则表达式时推荐使用这种形式。

二、正则表达式元字符说明：

.    匹配除换行符以外的任意字符

^    匹配字符串的开始

$    匹配字符串的结束

[]   用来匹配一个指定的字符类别

？   匹配前一个字符字符0次到1次

*    匹配前一个字符0次到无穷次

+    匹配前一个字符1次到无穷次

{}   对于前一个字符重复m次

{m，n} 对前一个字符重复为m到n次

\d   匹配数字，相当于[0-9]

\D   匹配任何非数字字符，相当于[^0-9]

\s   匹配任意的空白符，相当于[ fv]

\S   匹配任何非空白字符，相当于[^ fv]

\w   匹配任何字母数字字符，相当于[a-zA-Z0-9_]

\W   匹配任何非字母数字字符，相当于[^a-zA-Z0-9_]

\b   匹配单词的开始或结束

三、导入正则表达式模块

3.1、导入正则表达式模块

>>> import  re

3.2、查看正则表达式模块方法

>>> dir(re)

['DEBUG', 'DOTALL', 'I', 'IGNORECASE', 'L', 'LOCALE', 'M', 'MULTILINE', 'S', 'Scanner', 'T', 'TEMPLATE', 'U', 'UNICODE', 'VERBOSE', 'X', '_MAXCACHE', '__all__', '__builtins__', '__doc__', '__file__', '__name__', '__package__', '__version__', '_alphanum', '_cache', '_cache_repl', '_compile', '_compile_repl', '_expand', '_pattern_type', '_pickle', '_subx', 'compile', 'copy_reg', 'error', 'escape', 'findall', 'finditer', 'match', 'purge', 'search', 'split', 'sre_compile', 'sre_parse', 'sub', 'subn', 'sys', 'template']
>>>

四、常用的正则表达式处理函数

4.1、re.search

     re.search 函数会在字符串内查找模式匹配，只到找到第一个匹配然后返回，如果字符串没有匹配，则返回None。

    提示：当我们不会用模块方法的时候用help

>>> help(re.search)

search(pattern, string, flags=0)

    第一个参数：规则

    第二个参数：表示要匹配的字符串

    第三个参数：标致位，用于控制正则表达式的匹配方式

    实例：下面的例子kuangl 

>>> name="Hello,My name is kuangl,nice to meet you..."

>>> k=re.search(r'k(uan)gl',name)

>>> if k:

...     print k.group(0),k.group(1)

... else:

...     print "Sorry,not search!"

...

kuangl uan

4.2、re.match

    re.match 尝试从字符串的开始匹配一个模式，也等于说是匹配第一个单词

>>> help(re.match)

match(pattern, string, flags=0)

    第一个参数：规则

    第二个参数：表示要匹配的字符串

    第三个参数：标致位，用于控制正则表达式的匹配方式

    实例：下面的例子匹配Hello单词

>>> name="Hello,My name is kuangl,nice to meet you..."

>>> k=re.match(r"(\H....)",name)

>>> if k:

...      print k.group(0),'\n',k.group(1)

... else:

...     print "Sorry,not match!"

...

Hello

Hello

>>>

     re.match与re.search的区别：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字串，直到找到一个匹配。

4.3、re.findall

    re.findall 在目标字符串查找符合规则的字符串

>>> help(re.findall)

findall(pattern, string, flags=0)

   第一个参数：规则

   第二个参数：目标字符串

   但三个参数：后面还可以跟一个规则选择项

   返回的结果是一个列表，建中存放的是符合规则的字符串，如果没有符合规则的字符串呗找到，就会返回一个空值。

   实例：查找邮件账号

>>> mail='<user01@mail.com> <user02@mail.com> user04@mail.com' #第3个故意没有尖括号

>>> re.findall(r'(\w+@m....[a-z]{3})',mail)

['user01@mail.com', 'user02@mail.com', 'user04@mail.com']

4.4、re.sub

   re.sub 用于替换字符串的匹配项

>>> help(re.sub)

sub(pattern, repl, string, count=0)

   第一个参数：规则

   第二个参数：替换后的字符串

   第三个参数：字符串

   第四个参数：替换个数。默认为0，表示每个匹配项都替换

   实例：将空白处替换成-

>>> test="Hi, nice to meet you where are you from?"

>>> re.sub(r'\s','-',test)

'Hi,-nice-to-meet-you-where-are-you-from?'

>>> re.sub(r'\s','-',test,5)                      #替换至第5个

'Hi,-nice-to-meet-you-where are you from?'

>>>

4.5、re.split

   re.split 用于来分割字符串

>>> help(re.split)

split(pattern, string, maxsplit=0)

   第一个参数：规则

   第二个参数：字符串

   第三个参数：最大分割字符串，默认为0，表示每个匹配项都分割

   实例：分割所有的字符串

>>> test="Hi, nice to meet you where are you from?"

>>> re.split(r"\s+",test)

['Hi,', 'nice', 'to', 'meet', 'you', 'where', 'are', 'you', 'from?']

>>> re.split(r"\s+",test,3)                  #分割前三个

['Hi,', 'nice', 'to', 'meet you where are you from?']

>>>

4.6、re.compile

   re.compile 可以把正则表达式编译成一个正则对象

>>> help(re.compile)

compile(pattern, flags=0)

   第一个参数：规则

   第二个参数：标志位 

   实例：

>>> test="Hi, nice to meet you where are you from?"

>>> k=re.compile(r'\w*o\w*') #匹配带o的字符串

>>> dir(k)

['__copy__', '__deepcopy__', 'findall', 'finditer', 'match', 'scanner', 'search', 'split', 'sub', 'subn']

>>> print k.findall(test)     #显示所有包涵o的字符串

['to', 'you', 'you', 'from']

>>> print k.sub(lambda m: '[' + m.group(0) + ']',test)  # 将字符串中含有o的单词用[]括起来

Hi, nice [to] meet [you] where are [you] [from]?

>>>

五、用urllib2、re、os 模块下载文件的脚本

#!/usr/bin/env python

import urllib2
import re
import os
URL='http://image.baidu.com/channel/wallpaper'
read=urllib2.urlopen(URL).read()
pat =  re.compile(r'src="http://.+?.js">')
urls=re.findall(pat,read)
for i in urls:
    url= i.replace('src="','').replace('">','')
try:
    iread=urllib2.urlopen(url).read()
    name=os.path.basename(url)
    with open(name,'wb') as jsname:
    jsname.write(iread)
except:
    print url,"url error"

在与array的比较中，值得注意的是，列表会使用更多的存储空间相对于array。

通过import array导入python的数组类型，就可以使用array类型了。

例如：

from array import array  

node=array('H')  

node.append(12)  

python的array和C的数组很类似，它只能存储同样地数据类型的数据。它所占的存储空间的大小就是数据的大小。如果你相对一致类型的数据进行数学运算，那么，array将是一个很好的选择。并且它可以用于和C的代码做接口。或者可以说array就是披上了python外衣的C的数组。
下面介绍一下常见操作：

创建列表

sample_list = ['a',1,('a','b')]

Python 列表操作

sample_list = ['a','b',0,1,3]

得到列表中的某一个值

value_start = sample_list[0]

end_value = sample_list[-1]

删除列表的第一个值

del sample_list[0]

在列表中插入一个值

sample_list[0:0] = ['sample value']

得到列表的长度

list_length = len(sample_list)

列表遍历

for element in sample_list:

print(element)

Python 列表高级操作/技巧

产生一个数值递增列表

num_inc_list = range(30)

#will return a list [0,1,2,...,29]

用某个固定值初始化列表

initial_value = 0

list_length = 5

sample_list = [ initial_value for i in range(10)]

sample_list = [initial_value]*list_length

# sample_list ==[0,0,0,0,0]

附：python内置类型

1、list：列表（即动态数组，C++标准库的vector，但可含不同类型的元素于一个list中）

a = ["I","you","he","she"] ＃元素可为任何类型。

下标：按下标读写，就当作数组处理

以0开始，有负下标的使用

0第一个元素，-1最后一个元素，

-len第一个元 素，len-1最后一个元素

取list的元素数量

len(list) #list的长度。实际该方法是调用了此对象的__len__(self)方法。

创建连续的list

L = range(1,5) #即 L=[1,2,3,4],不含最后一个元素

L = range(1, 10, 2) #即 L=[1, 3, 5, 7, 9]

list的方法

L.append(var) #追加元素

L.insert(index,var)

L.pop(var) #返回最后一个元素，并从list中删除之

L.remove(var) #删除第一次出现的该元素

L.count(var) #该元素在列表中出现的个数

L.index(var) #该元素的位置,无则抛异常

L.extend(list) #追加list，即合并list到L上

L.sort() #排序

L.reverse() #倒序

list 操作符:,+,*，关键字del

a[1:] #片段操作符，用于子list的提取

[1,2]+[3,4] #为[1,2,3,4]。同extend()

[2]*4 #为[2,2,2,2]

del L[1] #删除指定下标的元素

del L[1:3] #删除指定下标范围的元素

list的复制

L1 = L #L1为L的别名，用C来说就是指针地址相同，对L1操作即对L操作。函数参数就是这样传递的

L1 = L[:] #L1为L的克隆，即另一个拷贝。

list comprehension

[ <expr1> for k in L if <expr2> ]

2、dictionary： 字典（即C++标准库的map）

dict = {‘ob1′:’computer’, ‘ob2′:’mouse’, ‘ob3′:’printer’}

每一个元素是pair，包含key、value两部分。key是Integer或string类型，value 是任意类型。

键是唯一的，字典只认最后一个赋的键值。

dictionary的方法

D.get(key, 0) #同dict[key]，多了个没有则返回缺省值，0。[]没有则抛异常

D.has_key(key) #有该键返回TRUE，否则FALSE

D.keys() #返回字典键的列表

D.values()

D.items()

D.update(dict2) #增加合并字典

D.popitem() #得到一个pair，并从字典中删除它。已空则抛异常

D.clear() #清空字典，同del dict

D.copy() #拷贝字典

D.cmp(dict1,dict2) #比较字典，(优先级为元素个数、键大小、键值大小)

#第一个大返回1，小返回-1，一样返回0

dictionary的复制

dict1 = dict #别名

dict2=dict.copy() #克隆，即另一个拷贝。

3、tuple：元组（即常量数组）

tuple = (‘a’, ‘b’, ‘c’, ‘d’, ‘e’)

可以用list的 [],:操作符提取元素。就是不能直接修改元素。

4、string： 字符串（即不能修改的字符list）

str = “Hello My friend”

字符串是一个整 体。如果你想直接修改字符串的某一部分，是不可能的。但我们能够读出字符串的某一部分。

子字符串的提取

str[:6]

字符串包含 判断操作符：in，not in

“He” in str

“she” not in str

string模块，还提供了很多方法，如

S.find(substring, [start [,end]]) #可指范围查找子串，返回索引值，否则返回-1

S.rfind(substring,[start [,end]]) #反向查找

S.index(substring,[start [,end]]) #同find，只是找不到产生ValueError异常

S.rindex(substring,[start [,end]])#同上反向查找

S.count(substring,[start [,end]]) #返回找到子串的个数

S.lowercase()

S.capitalize() #首字母大写

S.lower() #转小写

S.upper() #转大写

S.swapcase() #大小写互换

S.split(str, ‘ ‘) #将string转list，以空格切分

S.join(list, ‘ ‘) #将list转string，以空格连接

处理字符串的内置函数

len(str) #串长度

cmp(“my friend”, str) #字符串比较。第一个大，返回1

max(‘abcxyz’) #寻找字符串中最大的字符

min(‘abcxyz’) #寻找字符串中最小的字符

string的转换

oat(str) #变成浮点数，float(“1e-1″) 结果为0.1

int(str) #变成整型， int(“12″) 结果为12

int(str,base) #变成base进制整型数，int(“11″,2) 结果为2

long(str) #变成长整型，

long(str,base) #变成base进制长整型，

字符串的格式化（注意其转义字符，大多如C语言的，略）

str_format % (参数列表)

Target:

column A 是DB内存储的若干Project name,需要通过查询数据库,获取这些project name在DB对应的Project key的具体值,并插入column A后保存.

#!/usr/bin/env python
# encoding: utf-8

import MySQLdb
import csv
import sys

# Define csv list
Csv_content = []
Csv_content_edited = []

# Define project list
Project_names = []

# Define db list
Db_content = []

# Define the file that needs to be handled.
try:
	file_name = sys.argv[1]
	new_file_name = file_name.split('.')[0] + '_new.' + file_name.split('.')[1]
except IndexError:
	pass

def selectDB():
	# Open db connection
	db = MySQLdb.connect("test.com", "testuser", "testuser", "testdb")

	# Use cursor() fuction to get current db cursor
	cursor = db.cursor()

	Csv_content_edited = readContent(file_name)

	for c in range(1,len(Csv_content_edited)):
		Project_names.append(Csv_content_edited[c][0])

	Project_name_string = ",".join(['"' + p + '"' for p in Project_names])

	# SQL "SELECT" statement
	sql = 'select pname,pkey from project where pname in (%s)' %Project_name_string
	
	try:
		# Execute SQL
		cursor.execute(sql)
		# Obtain all the record list
		results = cursor.fetchall()

		for row in results:
			#lower_user_name = row[3]
			Db_content.append(row)

		return Db_content
	except:
		print "Error: unable to fecth data"

	# Close connection
	db.close()


def readContent(file_name):
	# Read the csv file,then put it into list.
	with open(file_name, 'r') as csvfile:
		csv_reader = csv.reader(csvfile, delimiter=',')
		for row in csv_reader:			 
			if row[0]:
				Csv_content.append(row)
	return Csv_content


def insert_col():
	Csv_content_edited = readContent(file_name)
	# Insert null value to each components of "Csv_content_edited" afterward.
	for i in range(0,len(Csv_content_edited)):
		Csv_content_edited[i].insert(1,'')

	# Define the second inserted column title.
	Csv_content_edited[0][1] = "Pkey"
	# Grab the users data from db.
	Db_content = selectDB()
	# print Db_content
	
	for d in range(0,len(Db_content)):
		Pkey = Db_content[d][1]
		Pname = Db_content[d][0]
		for c in range(0,len(Csv_content_edited)):  
			if Csv_content_edited[c][0] == Pname:
				Csv_content_edited[c][1] = Pkey
	# print Csv_content_edited

	pname_list = []
	Csv_content_edited_new = []
	
	for c in range(0,len(Csv_content_edited)):
		if not Csv_content_edited[c][0] in pname_list:
			pname_list.append(Csv_content_edited[c][0])
			Csv_content_edited_new.append(Csv_content_edited[c])
	# print Csv_content_edited_new
	
	return Csv_content_edited_new



# Write the csv file. 
def writeContent():
	with open(new_file_name,'wb') as csvfile:
		csv_writer = csv.writer(csvfile)
		csv_writer.writerows(insert_col())


# Execute the finnal function.	
if __name__ == '__main__':
	try:
		writeContent()
	except (IOError,NameError,IndexError):
		print "Please type the correct file name. e.g: '" + sys.argv[0] + " testfile.csv'"
	else:
		print 'The result file is: %s' %new_file_name

Result:

Before the change:

after the change:

#!/usr/bin/env python

import csv
import sys

# Define the duality list
Csv_content_edited = []

# Define the file that needs to be handled.
try:
	file_name = sys.argv[1]
	new_file_name = file_name.split('.')[0] + '_new.' + file_name.split('.')[1]
except IndexError:
	pass

# Define the collumns that need to be dealt with.
Field = ['Affects Version/s','Fix Version/s','Component/s']

"""
 Search the index numbers of each components of "Field" list in the first row of csv file,
 return the dic["field value":"the index of first_row"] 
"""
def search_field_index(field, first_row):
	fields_dic = {}
	for x in first_row:
		if x in field:
			fields_dic[x] = first_row.index(x)
	return fields_dic

'''
  Find the maximum value number of each "Field" components in "Csv_content_edited" list,
  then insert the actual number of the columns after each "Field" columns.
'''
def insert_max_col(field_index,Field_val):
	# Define the list stored maximum number of the value of the field
	index_len = []
	# Define the list stored the value of the field
	index_val = []
	# Recursive the row from 2 ~ max of the csv field
	for r in range(1,len(Csv_content_edited)):
		# Deal with special string
		c = repr(Csv_content_edited[r][field_index]).split("\\r")
		index_len.append(len(c))
		index_val.append(c)
	# The maximum component of the "index_len" list
	max_index_len = max(index_len)

	# Clear " " and "'" string which are in the head or tail of each "index_val" components.
	for iv in range(0,len(index_val)):
		for _iv in range(0,len(index_val[iv])):
			index_val[iv][_iv] = index_val[iv][_iv].strip(' \'')

	# insert null value collumn after the field from "Field" list to the "Csv_content_edited" list
	for i in range(0,len(Csv_content_edited)):
		for m in range(0,max_index_len - 1):
			Csv_content_edited[i].insert(field_index + m + 1,'')

	# Update the first row of "Csv_content_edited" list to the field components from "Field" list
	for i1 in range(field_index,field_index + max_index_len):
		Csv_content_edited[0][i1] = Field_val

	# Update the rest rows of "Csv_content_edited" list to the field components from "index_val" list
	for i in range(1,len(Csv_content_edited)):
		for i2 in range(field_index,field_index + max_index_len):
			try:
				Csv_content_edited[i][i2] = index_val[i-1][i2 - field_index]
			except IndexError as s:
				pass

	# return Csv_content_edited[3],index_val,max_index_len
	# return len(Csv_content_edited),len(index_val)
	# print max_index_len
	# print index_val[2][0]
	# return len(index_val[2])


# Read and deal with the csv file. 
def readContent(file_name):
	# Read the csv file,then put it into list.
	with open(file_name, 'r') as csvfile:
		csv_reader = csv.reader(csvfile, delimiter=',')
		for row in csv_reader:			 
			if row[0] == 'Key':	
				first_row = []		
				first_row = row
				# insert first row of csv to the list
				Csv_content_edited.append(first_row)
			else:
				# insert rest row of csv to the list
				Csv_content_edited.append(row)
		else:
			# Obtain all current "Field" index in "Csv_content_edited" list
			fields_index = search_field_index(Field,first_row)
			# Obtain the index of "Affects_Version" in in "Csv_content_edited" list
			Affects_Version_index = fields_index[Field[0]]
			# insert the matching value
			insert_max_col(Affects_Version_index,Field[0])

			# Obtain all current "Field" index in "Csv_content_edited" list
			first_row_updated = Csv_content_edited[0]
			fields_index = search_field_index(Field,first_row_updated)		
			# Obtain the index of "Affects_Version" in in "Csv_content_edited" list
			Fix_Version_index = fields_index[Field[1]]
			# insert the matching value
			insert_max_col(Fix_Version_index,Field[1])

			# Obtain all current "Field" index in "Csv_content_edited" list
			first_row_updated = Csv_content_edited[0]
			fields_index = search_field_index(Field,first_row_updated)
			# Obtain the index of "Affects_Version" in in "Csv_content_edited" list
			Fix_Version_index = fields_index[Field[2]]
			# insert the matching value
			insert_max_col(Fix_Version_index,Field[2])
	# Obtain the final edited list.
	return Csv_content_edited

# Write the csv file. 
def writeContent():
	with open(new_file_name,'wb') as csvfile:
		csv_writer = csv.writer(csvfile)
		csv_writer.writerows(readContent(file_name))

# Execute the finnal function.	
if __name__ == '__main__':
	try:
		writeContent()
	except (IOError,NameError,IndexError):
		print "Please type the correct file name. e.g: '" + sys.argv[0] + " testfile.csv'"
	else:
		print 'The result file is: %s' %new_file_name

处理前的效果

处理后的效果

如有雷同,纯属扯淡...

21.1.1 持久存储

21.1.2 基本的数据库操作和SQL语言

底层存储

数据库的底层存储通常使用文件系统,它可以是普通操作系统文件,专用操作系统

文件,甚至有可能是磁盘分区

用户界面

大部分数据库系统会提供一个命令行工具来执行SQL命令和查询,也有一些使用图

形界面

数据库

关系型数据库管理系统通常都支持多个数据库,如果其基于服务器,这些数据库都

在同一台服务器上,本例,MYSQL是一种基于服务器的关系数据库管理系统

组件

你可以将数据库存储想象为一个表格,每行数据都有一个或多个字段对应数据库

的列,每个表每个列及其数据类型的集合构成数据库结构的定义,数据库能够被创

建,也可以被删除

SQL

数据库命令和查询操作需要通过SQL语句来执行

创建数据库和赋予权限

CREATE DATABASE test;

GRANT ALL ON test.* to user(s);

选择要使用的数据库

USE test;

删除数据库

DROP DATABASE test;

创建表

CREATE TABLE users(login VARCHAR(8),uid INT,prid INT);

删除表

DROP TABLE users;

插入行

INSERT INTO users VALUES('leanna',311,1)

更新行

UPDATE users SET prid=4 WHERE prid=2;

UPDATE users SET prid=1 WHERE uid=311;

删除行

DELETE FROM users WHERE prid=%d;

DELETE FROM users;

21.1.3 数据库和Python

21.2 Python数据库应用程序

程序员接口(DB-API)

21.2.1 模块属性

数据属性

属性名描述

apilevelDB-API模块兼容的DB-API版本号

threadsafety线程安全级别

parmstyle该模块支持的SQL语句参数风格

connect()连接函数

MySQLdb.connect(host='dbserv',db='inv',user='smith')

21.2.2 连接对象

要与数据库进行通信,必须先和数据库建立连接,连接对象处理命令如何送往服务

器,以及如何从服务器接收数据等基础功能,连接成功后就能向数据库服务器发送

请求,得到响应

连接对象方法

close()关闭数据库连接

commit()提交当前事务

rollback()取消当前事务

cursor()使用这个连接创建并返回一个游标或类游标的对象

errorhandler(cxn, cur,errcls,errval)

21.2.3 游标对象

当你建立连接之后,就可以与数据库进行交互,一个游标允许用户执行数据库命令

和得到查询结果,一个Python DB-API游标对象总是扮演游标角色,无论数据库是

否真正支持游标,从这一点讲,数据库接口程序必须实现游标对象,只有这样才能

保证无论使用何种后端数据库你的代码都不需要做任何改变

21.2.4 类型对象和构造器

21.2.5 关系数据库

21.2.6 数据库和Python:接口程序

MySQL

# api-get install python-mysql* -y

# python

>>> import MySQLdb                    

>>> cxn = MySQLdb.connect(user='root',passwd='123456')

>>> cxn.query('DROP DATABASE test')  

>>> cxn.query('CREATE DATABASE test')

>>> cxn.query("GRANT ALL ON test.* to 'test'@localhost")

>>> cxn.commit()

>>> cxn.close()

以上代码我们没有使用cursor对象,某些接口程序拥有连接对象,这些连接对象拥

有query()方法,可以执行SQL查询,我们不建议使用这种方法

下面我们使用游标对象(cursors)和他们的execute()方法,下一个交互集演示了

创建表

>>> cxn = MySQLdb.connect(user='root',passwd='123456',db='test')

>>> cur = cxn.cursor()

>>> cur.execute('CREATE TABLE users(login VARCHAR(8), uid INT)')

0L

>>> cur.execute("INSERT INTO users VALUES('john',7000)")

1L

>>> cur.execute("INSERT INTO users VALUES('john',7001)")

1L

>>> cur.execute("INSERT INTO users VALUES('jane',7001)")

1L

>>> cur.execute("INSERT INTO users VALUES('bob',7200)")

1L

>>> cur.execute("SELECT * FROM users WHERE login LIKE 'j%'")

3L

>>> for data in cur.fetchall():

...     print '%s\t%s' % data

...

john    7000

john    7001

jane    7001

最后一个特性是更新表,包括更新或删除数据

>>> cur.execute("UPDATE users SET uid=7100 WHERE uid=7001")

2L

>>> cur.execute("SELECT * FROM users")

4L

>>> for data in cur.fetchall():

...     print '%s\t%s' % data                              

...

john    7000

john    7100

jane    7100

bob     7200

>>> cur.execute("UPDATE users SET uid=7100 WHERE uid= 7000")

1L

>>> cur.execute("SELECT * FROM users")                      

4L

>>> for data in cur.fetchall():                            

...     print '%s\t%s' % data                              

...

john    7100

john    7100

jane    7100

bob     7200

>>> cur.execute('DELETE FROM users WHERE login="bob"')

1L

>>> cur.execute('DROP TABLE users')

0L

>>> cur.close()

>>> cxn.commit()

>>> cxn.close()

21.3 对象-关系管理器(ORMs)

21.3.1 考虑对象,而不是SQL

21.3.2 Python和ORM

21.3.4 总结

21.4 相关模块

20.1.1 Web应用:客户端/服务器计算

20.1.2 因特网

20.2 使用Python进行Web应用:创建一个简单的Web客户端

20.2.1 统一资源定位符

20.2.2 urlparse模块

urlparse(urlstr, defProtSch=None, allowFrag=None)

urlunparse(urltup)

urlparse.urljoin()

urljoin(baseurl, newurl,allowFrag=None)

20.2.3 urllib模块

urllib.urlopen()

urlopen(urlstr, postQueryData=None)

urllib.urlretrieve()

urlretrieve(urlstr, localfile=None, downloadStatusHook=None)

urllib.quote() and urllib,quote_plus()

urllib函数描述

urlopen(urlstr,postQurey-Data=None)

20.2.4 urllib2 模块

我们可以建立一个基础认证处理器(urllib2.HTTPBasicAuthHandler),同时在基

本URL或域上注册一个登陆密码,这就意味着我们在Web站点上定义了个安全区域,

一旦完成这些,你可以安装URL打开器,通过这个处理器打开所有的URL

另一个可选办法就是当浏览器提示的时候,输入用户名和密码,这样就发送了一个

带有适当用户请求的认证头

# vi urlopenAuth.py(问题)

-----------------------------------------

#!/usr/bin/env python

import urllib2

LOGIN = 'wesley'

PASSWD = "you'llNeverGuess"

URL = 'http://localhost'

def handler_version(url):

   from urlparse import urlparse as up

   hdlr = urllib2.HTTPBasicAuthHandler()

   hdlr.add_password('Archives', up(url)[1], LOGIN, PASSWD)

   opener = urllib2.build_opener(hdlr)

   urllib2.install_opener(opener)

   return url

def request_version(url):

   from base64 import encodestring

   req = urllib2.Request(url)

   b64str = encodestring('%s:%s' % (LOGIN, PASSWD))[:-1]

   req.add_header("Authorization", "Basic %s" % b64str)

   return req

for funcType in ('handler', 'request'):

   print '*** Using %s:' % funcType.upper()

   url = eval('%s_version')(URL)

   f = urllib2.urlopen(url)

   print f.readline()

   f.close()

-----------------------------------------

20.3 高级Web客户端

Web浏览器是基本的Web客户端,主要用来在Web上查询或者下载文件

高级Web客户端的一个例子就是网络爬虫,这些程序可以基于不同目的在因特网上

探索和下载页面:

1.为Google和Yahho这类大型搜索引擎建立索引

2.脱机浏览一将文档下载到本地,重新设定超链接,为本地浏览器创建镜像

3.下载并保存历史记录或框架

4.Web页的缓存,节省再次访问Web站点的下载时间

20.4 CGI:帮助Web服务器处理客户端数据

20.4.1 CGI介绍

CGI代表了在一个web服务器和能够处理用户表单,生成并返回动态HTML页的应用

程序间的交互

20.4.2 CGI应用程序

当一个CGI脚本开始执行时,它需要检索用户-支持表单,但这些数据必须要从web

客户端才可以获得,而不是从服务器或者硬盘上获得,所有的交互都将发生在Web

客户端,Web服务器端和CGI应用程序间

20.4.2 cgi模块

20.5 建立CGI应用程序

20.5.1 建立Web服务器

为了可以用Python进行CGI开发,首先需要安装一个Web服务器,将其配置成可以处

理Python CGI请求的模式,然后让你的Web服务器访问CGI脚本

1.可以下载安装apache及其Python CGI插件模块

2.利用Python自带的web服务器

# python -m CGIHTTPServer

---------------------------------

Serving HTTP on 0.0.0.0 port 8000 ...

---------------------------------

20.5.2 建立表单页

20.5.3 生成结果页

1.登陆一个非root账户,在当前目录下建立一个端口号为8000的web服务器

# cd ~

# pwd

---------------------

/home/python

---------------------

# mkdir web

# cd web

# python -m CGIHTTPServer

2.在启动这个服务器的目录下建立一个cgi-bin,并将Python CGI脚本放到该目录

# mkdir cgi-bin

# cd cgi-bin

# vi friends1.py

-------------------------

#!/usr/bin/env python

import cgi

reshtml = '''Content-Type: text/html\n

<HTML><HEAD><TITLE>

Friends CGI Demo (dynamic screen)

</TITLE></HEAD>

<BODY><H3>Friends list for: <I>%s</I></H3>

Your name is: <B>%s</B><P>

You have <B>%s</B> friends.

</BODY></HTML>'''

form = cgi.FieldStorage()

who = form['person'].value

howmany = form['howmany'].value

print reshtml % (who, who, howmany)

-------------------------

3.创建web表单:

这个HTML文件展示给用户一个空文档,含有用户名,和一系列可供用户选择的单选

按钮

# cd ..

# pwd

--------------------

/home/python/web

--------------------

# vi friends.htm

------------------------------------

<HTML>

<HEAD>

<TITLE>CGI Demo(static screen)</TITLE>

</HEAD>

<BODY><H3>Friends list for: <I>NEW USER</I></H3>

<FORM ACTION='cgi-bin/friends1.py'>

<B>Enter your Name:</B>

<INPUT TYPE='text' NAME=person VALUE='NEW USER' SIZE=15>

<P><B>How many friends do you have?</B></P>

<INPUT TYPE='radio' NAME=howmany VALUE='0' CHECKED> 0

<INPUT TYPE='radio' NAME=howmany VALUE='10'> 10

<INPUT TYPE='radio' NAME=howmany VALUE='25'> 25

<INPUT TYPE='radio' NAME=howmany VALUE='50'> 50

<INPUT TYPE='radio' NAME=howmany VALUE='100'> 100

<P><INPUT TYPE=submit></P>

</FORM>

</BODY>

</HTML>

------------------------------------

表单的变量是FieldStorage的实例,包含person和howmany 字段值,我们把值存入

Python的who和howmany变量,变量reshtml包含需要返回的HTML文本正文,还有一

些动态填好的字段,这些数据都是从表单中读入的

4.浏览器访问页面

http://localhost:8000/friends.htm

20.5.4 生成表单和结果页面

将friends.html和friends1.py合并成friends2.py,得到的脚本可以同时显示表

单和动态生成的HTML结果页面,同时可以巧妙的知道应该输出哪个页面

# vi friends2.py

---------------------------------

#!/usr/bin/env python

'''

$Id: friends2.py,v 1.1 2000/12/31 01:32:45 wesc Exp $

CGI demo

'''

import cgi

header = 'Content-Type: text/html\n\n'

formhtml = '''<HTML><HEAD><TITLE>Friends CGI Demo</TITLE></HEAD>

<BODY><H3>Friends list for: <I>NEW USER</I></H3>

<FORM ACTION="/cgi-bin/friends2.py">

<B>Enter your Name:</B>

<INPUT TYPE=hidden NAME=action VALUE=edit>

<INPUT TYPE=text NAME=person VALUE="" SIZE=15>

<P><B>How many friends do you have?</B>

%s

<P><INPUT TYPE=submit></FORM></BODY></HTML>'''

friendradio = '<INPUT TYPE=radio NAME=howmany VALUE="%s" %s> %s\n'

def showForm():

   friends = ''

   for i in [0, 10, 25, 50, 100]:

       checked = ''

       if i == 0:

           checked = 'CHECKED'

       friends = friends + friendradio % (str(i), checked, str(i))

   print header + formhtml % (friends)

reshtml = '''<HTML><HEAD><TITLE>Friends CGI Demo</TITLE></HEAD>

<BODY><H3>Friends list for: <I>%s</I></H3>

Your name is: <B>%s</B><P>

You have <B>%s</B> friends.

</BODY></HTML>'''

def doResults(who, howmany):

   # substitute in real name and number of friends and return

   print header + reshtml % (who, who, howmany)

# process() does all the work

def process():

   # initialize Data class object

   form = cgi.FieldStorage()

   # get user name

   if form.has_key('person'):

       who = form['person'].value

   else:

       who = 'NEW USER'

   # get name and number of friends

   if form.has_key('howmany'):

       howmany = form['howmany'].value

   else:

       howmany = 0

   # if editing, show results

   if form.has_key('action'):

       doResults(who, howmany)

   # otherwise, show form

   else:

       showForm()

# invoke if called directly

if __name__ == '__main__':

   process()

---------------------------------

20.5.5 全面交互的web站点

我们最后一个例子将会完成这个循环

用户在表单页中输入他/她的信息,然后我们处理这些数据,并输出一个结果页面

现在我们将会在结果页面上加个链接允许返回到表单页面,但是我们返回的是含

有用户输入信息的页面而不是一个空白页面,我们页面上加上了一些错误处理程

序,来展示它是如何实现的

例,通过加上返回输入信息的表单页面连接,我们实现了整个循环,并加上一些错

误验证,在用户没有选择任何单选按钮时,通知用户

# vi friends3.py

--------------------------------

#!/usr/bin/env python

'''

$Id: friends3.py,v 1.1 2000/12/31 01:32:45 wesc Exp $

Friends CGI demo

'''

import cgi

from urllib import quote_plus

from string import capwords

#from sys import stderr

#s = stderr.write

header = 'Content-Type: text/html\n\n'

url = 'http://192.168.102.88:8000/cgi-bin/friends3.py'

errhtml = '''<HTML><HEAD><TITLE>Friends CGI Demo</TITLE></HEAD>

<BODY><H3>ERROR</H3>

<B>%s</B><P>

<FORM><INPUT TYPE=button VALUE=Back ONCLICK="window.history.back

()"></FORM>

</BODY></HTML>'''

# showError() --> None

def showError(error_str):

   'showError() -- display error message'

   print header + errhtml % (error_str)

friendradio = '<INPUT TYPE=radio NAME=howmany VALUE="%s" %s> %s\n'

formhtml = '''<HTML><HEAD><TITLE>Friends CGI Demo</TITLE></HEAD>

<BODY><H3>Friends list for: <I>%s</I></H3>

<FORM ACTION="%s">

<B>Your Name:</B>

<INPUT TYPE=hidden NAME=action VALUE=edit>

<INPUT TYPE=text NAME=person VALUE="%s" SIZE=15>

<P><B>How many friends do you have?</B>

%s

<P><INPUT TYPE=submit></FORM></body></html>'''

# showForm() --> None

def showForm(who, howmany):

   'showForm() -- presents blank or data-filled form for new input'

   friends = ''

   for i in [0, 10, 25, 50, 100]:

       checked = ''

       if str(i) == howmany:

           checked = 'CHECKED'

       friends = friends + friendradio % (str(i), checked, str(i))

   print header + formhtml % (who, url, who, friends)

reshtml = '''<HTML><HEAD><TITLE>Friends CGI Demo</TITLE></HEAD>

<BODY><H3>Friends list for: <I>%s</I></H3>

Your name is: <B>%s</B><P>

You have <B>%s</B> friends.

<P>Click <a href="%s">here</a> to edit your data again.

</BODY></HTML>'''

# doResults() --> None

def doResults(who, howmany):

   'doResults() -- displays results with given form data'

   # substitute in real name and number of friends and return

   newurl = url + '?action=reedit&person=%s&howmany=%s' %

(quote_plus(who), howmany)

   print header + reshtml % (who, who, howmany, newurl)

# process() --> None

def process():

   'process() does all the work:  grabs user data and determines

routine to call'

   error = ''

   # initialize Data class object

   form = cgi.FieldStorage()

   #s('name: '+str(form.name)+'\n')

   #s('keys: '+str(form.keys())+'\n')

   #for i in form.keys():

           #s('item: '+str(form[i].name)+' has a value of '+str(form

[i].value)+' and is a ' + form[i].__class__.__name__ + '\n')

   # get user name

   if form.has_key('person'):

       who = capwords(form['person'].value)

   else:

       who = 'NEW USER'

   # get name and number of friends

   if form.has_key('howmany'):

       howmany = form['howmany'].value

   else:

       if form.has_key('action') and form['action'].value == 'edit':

           error = 'Please select the number of friends you have.'

       else:

           howmany = 0

   # no errors, either display form or present results

   if not error:

       # if editing the first time, show results

       if form.has_key('action') and form['action'].value !=

'reedit':

           doResults(who, howmany)

       # otherwise, show form

       else:

           showForm(who, howmany)

   # send error message back if error situation

   else:

       showError(error)

# invoke if called directly

if __name__ == '__main__':

   process()

--------------------------------

20.6 在CGI中使用Unide编码

例,简单Unicode CGI示例(uniCGI.py)

这个脚本输出到你web浏览器端的是Unicode字符串

# vi uniCGI.py

--------------------------------

#!/usr/bin/env python

CODEC = 'UTF-8'

UNICODE_HELLO = u'''

Hello!

\u00A1Hola!

\u4F60\u597D!

\u3053\u3093\u306B\u3061\u306F!

'''

print 'Content-Type: text/html; charset=%s\r' % CODEC

print '\r'

print '<HTML><HEAD><TITLE>Unicode CGI Demo</TITLE></HEAD>'

print '<BODY>'

print UNICODE_HELLO.encode(CODEC)

print '</BODY></HTML>'

--------------------------------

20.7 高级CGI

20.7.1 Mulitipart 表单提交和文件上传

20.7.2 多值字段

20.7.3 cookie

20.7.4 使用高级CGI

例,这个脚本有一个处理所有事情的主函数,AdvCGI,它有方法显示表单,错误或结

果页面,同事也可以从客户端(Web浏览器)读写cookie

# vi advcgi.py(问题)

----------------------------

#!/usr/bin/env python

from cgi import FieldStorage

from os import environ

from cStringIO import StringIO

from urllib import quote, unquote

from string import capwords, strip, split, join

class AdvCGI:

   header = 'Content-Type: text/html\n\n'

   url = '/py/advcgi.py'

   formhtml = '''<HTML><HEAD><TITLE>

Advanced CGI Demo</TITLE></HEAD>

<BODY><H2>Advanced CGI Demo Form</H2>

<FORM METHOD=post ACTION="%s" ENCTYPE="multipart/form-data">

<H3>My Cookie Setting</H3>

<LI> <CODE><B>CPPuser = %s</B></CODE>

<H3>Enter cookie value<BR>

<INPUT NAME=cookie value="%s"> (<I>optional</I>)</H3>

<H3>Enter your name<BR>

<INPUT NAME=person VALUE="%s"> (<I>required</I>)</H3>

<H3>What languages can you program in?

(<I>at least one required</I>)</H3>

%s

<H3>Enter file to upload</H3>

<INPUT TYPE=file NAME=upfile VALUE="%s" SIZE=45>

<P><INPUT TYPE=submit>

</FORM></BODY></HTML>'''

   langSet = ('Python', 'PERL', 'Java', 'C++', 'PHP',

                   'C', 'JavaScript')

   langItem = \

       '<INPUT TYPE=checkbox NAME=lang VALUE="%s"%s> %s\n'

   def getCPPCookies(self):                # reads cookies from

client

       if environ.has_key('HTTP_COOKIE'):

           for eachCookie in map(strip, \

                   split(environ['HTTP_COOKIE'], ';')):

               if len(eachCookie) > 6 and \

                       eachCookie[:3] == 'CPP':

                   tag = eachCookie[3:7]

                   try:

                       self.cookies[tag] = \

                           eval(unquote(eachCookie[8:]))

                   except (NameError, SyntaxError):

                       self.cookies[tag] = \

                           unquote(eachCookie[8:])

       else:

           self.cookies['info'] = self.cookies['user'] = ''

       if self.cookies['info'] != '':

           self.who, langStr, self.fn = \

               split(self.cookies['info'], ':')

           self.langs = split(langStr, ',')

       else:

           self.who = self.fn = ''

           self.langs = ['Python']

   def showForm(self):                        # show fill-out form

       self.getCPPCookies()

       langStr = ''

       for eachLang in AdvCGI.langSet:

           if eachLang in self.langs:

               langStr = langStr + AdvCGI.langItem % \

                   (eachLang, ' CHECKED', eachLang)

           else:

               langStr = langStr + AdvCGI.langItem % \

                   (eachLang, '', eachLang)

       if not self.cookies.has_key('user') or \

               self.cookies['user'] == '':

           cookieStatus = '<I>(cookie has not been set yet)</I>'

           userCook = ''

       else:

           userCook = cookieStatus = self.cookies['user']

       print AdvCGI.header + AdvCGI.formhtml % (AdvCGI.url,

           cookieStatus, userCook, self.who, langStr, self.fn)

   errhtml = '''<HTML><HEAD><TITLE>

Advanced CGI Demo</TITLE></HEAD>

<BODY><H3>ERROR</H3>

<B>%s</B><P>

<FORM><INPUT TYPE=button VALUE=Back

ONCLICK="window.history.back()"></FORM>

</BODY></HTML>'''

   def showError(self):

       print AdvCGI.header + AdvCGI.errhtml % (self.error)

   reshtml = '''<HTML><HEAD><TITLE>

Advanced CGI Demo</TITLE></HEAD>

<BODY><H2>Your Uploaded Data</H2>

<H3>Your cookie value is: <B>%s</B></H3>

<H3>Your name is: <B>%s</B></H3>

<H3>You can program in the following languages:</H3>

<UL>%s</UL>

<H3>Your uploaded file...<BR>

Name: <I>%s</I><BR>

Contents:</H3>

<PRE>%s</PRE>

Click <A HREF="%s"><B>here</B></A> to return to form.

</BODY></HTML>'''

   def setCPPCookies(self):

       for eachCookie in self.cookies.keys():

           print 'Set-Cookie: CPP%s=%s; path=/' % \

               (eachCookie, quote(self.cookies[eachCookie]))

   def doResults(self):

       MAXBYTES = 1024

       langlist = ''

       for eachLang in self.langs:

           langlist = langlist + '<LI>%s<BR>' % eachLang

       filedata = ''

       while len(filedata) < MAXBYTES:        # read file chunks

           data = self.fp.readline()

           if data == '': break

           filedata = filedata + data

       else:                                # truncate if too long

           filedata = filedata + \

               '... <B><I>(file truncated due to size)</I></B>'

       self.fp.close()

       if filedata == '':

           filedata = \

               '<B><I>(file upload error or file not given)</I></B>'

       filename = self.fn

       if not self.cookies.has_key('user') or \

               self.cookies['user'] == '':

           cookieStatus = '<I>(cookie has not been set yet)</I>'

           userCook = ''

       else:

           userCook = cookieStatus = self.cookies['user']

       self.cookies['info'] = join([self.who, \

           join(self.langs, ','), filename], ':')

       self.setCPPCookies()

       print AdvCGI.header + AdvCGI.reshtml % \

           (cookieStatus, self.who, langlist,

           filename, filedata, AdvCGI.url)

   def go(self):                # determine which page to return

       self.cookies = {}

       self.error = ''

       form = FieldStorage()

       if form.keys() == []:

           self.showForm()

           return

       if form.has_key('person'):

           self.who = capwords(strip(form['person'].value))

           if self.who == '':

               self.error = 'Your name is required. (blank)'

       else:

           self.error = 'Your name is required. (missing)'

       if form.has_key('cookie'):

           self.cookies['user'] = unquote(strip( \

               form['cookie'].value))

       else:

           self.cookies['user'] = ''

       self.langs = []

       if form.has_key('lang'):

           langdata = form['lang']

           if type(langdata) == type([]):

               for eachLang in langdata:

                   self.langs.append(eachLang.value)

           else:

               self.langs.append(langdata.value)

       else:

           self.error = 'At least one language required.'

       if form.has_key('upfile'):

           upfile = form["upfile"]

           self.fn = upfile.filename or ''

           if upfile.file:

               self.fp = upfile.file

           else:

               self.fp = StringIO('(no data)')

       else:

           self.fp = StringIO('(no file)')

           self.fn = ''

       if not self.error:

           self.doResults()

       else:

           self.showError()

if __name__ == '__main__':

   page = AdvCGI()

   page.go()

----------------------------

20.8 Web(HTTP)服务器

20.8.1 用Python建立Web服务器

例,这个简单的Web服务器可以读取GET请求,获取Web页面并将其返回给客户端,它

通过使用BaseHTTPServer的BaseHTTPRequestHandler处理器执行do_GET()方法来

处理GET请求

# vi myhttpd.py

----------------------------------

#!/usr/bin/env python

from os import curdir, sep

from BaseHTTPServer import \

   BaseHTTPRequestHandler, HTTPServer

class MyHandler(BaseHTTPRequestHandler):

   def do_GET(self):

       try:

           f = open(curdir + sep + self.path)

           self.send_response(200)

           self.send_header('Content-type',

'text/html')

           self.end_headers()

           self.wfile.write(f.read())

           f.close()

       except IOError:

           self.send_error(404,

'File Not Found: %s' % self.path)

def main():

   try:

       server = HTTPServer(('', 80), MyHandler)

       print 'Welcome to the machine...'

print 'Press ^C once or twice to quit'

       server.serve_forever()

   except KeyboardInterrupt:

       print '^C received, shutting down server'

       server.socket.close()

if __name__ == '__main__':

   main()

----------------------------------

20.9 相关模块

........

18.2 线程和进程

18.2.1 什么是进程(重量级进程)?

计算机程序只不过是磁盘中可执行的,二进制(或其他类型)的数据,他们只有在被读取到内存中,被操作系统调用时才开始他们的生命期,进程是程序的一次执行,每个进程都有自己的地址空间,内存,数据栈以及其他记录其运行轨迹的赋值数据,操作系统管理在其上运行的所有进程,并为这些进程公平地分配时间,进程可以通过fork和spawn操作来完成其他任务,其之间用进程间通讯(IPC)

18.2.2 什么是线程(轻量级进程)?

线程跟进程有些相似,不同的是,所有线程运行在同一个进程中,共享相同运行环境,他们可以想象成是在主进程或"主线程"中并行运行的"迷你进程".

一个进程中的各个线程之间共享同一片数据空间,从而更方便的共享数据和相互通讯,线程一般都是并行执行.

18.3 Python,线程和全局解释器锁

18.3.1 全局解释器锁(GIL)

Python代码的执行由Python虚拟机(也叫解释器主循环)来控制,对虚拟机的访问由卷曲解释器锁(GIL)来控制,正式这个锁能保证同一时刻只有一个线程在运行

在多线程环境中,Python虚拟机按一下方式执行:

1.设置GIL

2.切换到一个线程去运行

3.运行:1.执行数量的字节码指令 或2.线程主动让出控制(调用time.sleep(0))

4.把线程设置为睡眠状态

5.解锁GIL

6.再次重复以上所有步骤

18.3.2 退出线程

当一个线程结束计算,它就退出了,线程可以调用thread.exit()之类的退出函数.或标准的sys.exit()或抛出一个SystemExit异常等,不过你不可以直接杀掉一个线程

主线程应该是一个好的管理者,它了解每个线程都做些什么事,线程都需要什么数据和参数,以及在线程结束的时候,他们提供了什么结果,这样主线程就可以把各个线程的结果组成一个有意义的最后结果.

18.3.3 在Python中使用线程

在解释器里判断线程是否可用,只要导入thread模块后未报错即表示线程可用

>>> import thread

>>>

18.3.4 没有线程支持的情况

例,单线程中运行的循环()

在单线程中顺序执行两个循环,一定要一个循环结束,另一个才能开始,总时间是各个循环运行时间之和

# vi onethr.py

-----------------------------------------

#!/usr/bin/env python

from time import sleep,ctime

def loop0():

   print 'start loop 0 at:',ctime()

   sleep(4)

   print 'loop 0 done at:',ctime()

def loop1():

   print 'start loop 1 at:',ctime()

   sleep(2)

   print 'loop 1 done at:',ctime()

def main():

   print 'starting at:',ctime()

   loop0()

   loop1()

   print 'all DONE at:', ctime()

if __name__ == '__main__':

   main()

-----------------------------------------

输出:

# python onethr.py

starting at: Wed Dec  4 07:01:26 2013

start loop 0 at: Wed Dec  4 07:01:26 2013

loop 0 done at: Wed Dec  4 07:01:30 2013

start loop 1 at: Wed Dec  4 07:01:30 2013

loop 1 done at: Wed Dec  4 07:01:32 2013

all DONE at: Wed Dec  4 07:01:32 2013

假定loop0()和loop1()例做的不是睡眠,而是各自独立,不相关的运算,各自运算结果到最后将汇总成一个最终的结果

18.3.5 Python的threading模块

Python提供了thread,threading和Queue等多线程编程模块

注:避免使用thread模块

因为使用thread模块里的属性有可能会与threading出现冲突,threading较thread对线程支持更加完善'

18.4 thread模块

thread模块和锁对象

函数描述

thread模块函数

start_new_thread(function,

args, kwargs=None)产生一个新的进程,在新线程中用指定的参数和可选kwargs来调用这个函数

allocate_lock()分配一个LookType类型的锁对象

exit()让线程退出

LockType类型锁对象方法

acquire(wait=None)尝试获得锁对象

locked()如果获取了锁对象返回True,否则返回False

release()释放锁

例,这儿执行的是和onethr.py中一样的循环,不同的是,这次我们使用的是thread模块提供的简单的多线程机制,两个循环

# vi mtsleep1.py

------------------------------

#!/usr/bin/env python

import thread

from time import sleep,ctime

def loop0():

   print 'start loop 0 at:', ctime()

   sleep(4)

   print 'loop 0 done at:',ctime()

def loop1():

   print 'start loop 1 at:', ctime()

   sleep(2)

   print 'loop 1 done at:', ctime()

def main():

   print 'starting at:',ctime()

   thread.start_new_thread(loop0, ())

   thread.start_new_thread(loop1, ())

   sleep(6)

   print 'all DONE at:', ctime()

if __name__=='__main__':

   main()

-------------------------------

这个程序的输出与之前的输出大不相同,之前是运行了6,7秒,现在是4秒

因为睡眠4秒和2秒的代码现在是并发执行的,这样就使得运行时间被缩短了

在这里,我们使用了sleep()函数作为我们的同步机制

# python mtsleep1.py

-----------------------------------------

starting at: Fri Dec 20 23:56:42 2013

start loop 1 at: Fri Dec 20 23:56:42 2013

start loop 0 at: Fri Dec 20 23:56:42 2013

loop 1 done at: Fri Dec 20 23:56:44 2013

loop 0 done at: Fri Dec 20 23:56:46 2013

all DONE at: Fri Dec 20 23:56:48 2013

------------------------------------------

例,通过使用锁来完成任务

这里,使用锁比mtsleep1.py那里在主线程中使用sleep()函数更合理

# vi mtsleep2.py

------------------------------------

#!/usr/bin/env python

import thread

from time import sleep,ctime

loops = [4,2]

def loop(nloop,nsec,lock):

   print 'start loop', nloop, 'at:', ctime()

   sleep(nsec)

   print 'loop', nloop, 'done at:', ctime()

   lock.release()

def main():

   print 'starting at:',ctime()

   locks = []

   nloops = range(len(loops))

   for i in nloops:

       lock = thread.allocate_lock()

       lock.acquire()

       locks.append(lock)

   for i in nloops:

       thread.start_new_thread(loop, (i, loops[i], locks[i]))

   for i in nloops:

       while locks[i].locked(): pass

   print 'all DONE at:', ctime()

if __name__ == '__main__':

   main()

------------------------------------

# python mtsleep2.py

---------------------------

starting at: Sat Dec 21 01:13:06 2013

start loop 1 at: Sat Dec 21 01:13:06 2013

start loop 0 at: Sat Dec 21 01:13:06 2013

loop 1 done at: Sat Dec 21 01:13:08 2013

loop 0 done at: Sat Dec 21 01:13:10 2013

all DONE at: Sat Dec 21 01:13:10 2013

---------------------------

在线程结束时,线程要自己去做解锁操作,最后一个循环只是坐在那一直等,直到两个锁都被解锁为止才继续运行,由于我们顺序检查每一个锁,所以我们可能会要长时间地等待运行时间长且放在前面的线程,当这些线程的锁释放后,后面的锁可能早就释放了,结果主线程只能毫不停歇地完成对后面这些锁的检查

thread模块只是作为演示,在使用多线程程序应该使用更高级别的模块,如threading等

18.5 threading模块

接下来,我们要介绍的是更高级别的threading模块,他不仅提供了Thread类,还提供了各种非常好用的同步机制

这里我们不在提到锁原语,而Thread类也有某种同步机制

threading模块对象

threading模块对象描述

Thread标识一个线程的执行对象

RLock锁原语对象(跟thread模块里的锁对象相同)

Condition条件变量对象能让一个线程停下来,等待其他线程满足了某个条件,如,状态的改变或值的改变

Event通用的条件变量,多个线程可以等待某个事件的发生,在事件发生后,所有的线程都会被激活.

Semaphore为等待锁的线程提供一个类似"等候室"的结构

BoundedSemaphore与Semaphpre类似,只是它不允许超过初始值

Timer与Thread相似,只是,它要等待一段时间后才开始运行.

核心提示:守护线程

守护线程一般是一个等待客户请求的服务器,如果没有客户提出请求,它就在那等着,如果你设定一个线程为守护线程,就标识你在说这个线程是不重要的,在进程退出的时候,不用等待这个线程退出

如果你的主线程要退出的时候,不用等待那些子线程完成,那就设定这些线程的daemon属性

如果你想要等待子线程完成再退出,那就什么都不用做

整个Python会在所有的非守护线程退出后才会结束,即进程中没有非守护线程存在的时候才结束

18.5.1 Thread类

用Thread类,你可以用多种方法来创建线程:

1.创建一个Thread的实例,传给它一个函数

2.创建一个Thread的实例,传给它一个可调用的类对象

3.从Thread派生出一个子类,创建一个这个子类的实例

函数描述

start()开始线程的执行

run()定义线程的功能的函数(一般会北子类重写)

join(timeout=None)程序挂起,直到线程结束:如果给了timeout,则最多阻塞timeout秒

getName()返回线程的名字

setName(name)设置线程的名字

isAlive()布尔标志,标识这个线程是否还在运行中

isDaemon()返回线程的daemon标志

setDaemon(daemonic)把线程的daemon标志设为daemonic

创建一个Thread的实例,传给它一个函数

例,使用thread模块,threading模块的Thread类有一个join()函数,允许主线程等待线程的结束

# vi mtsleep3.py

-------------------------------

#!/usr/bin/env python

import threading

from time import sleep,ctime

loops = [4,2]

def loop(nloop,nsec):

   print 'start loop', nloop, 'at:', ctime()

#!/usr/bin/env python

import threading

from time import sleep,ctime

loops = [4,2]

def loop(nloop,nsec):

   print 'start loop', nloop, 'at:', ctime()

   sleep(nsec)

   print 'loop',nloop, 'done at:', ctime()

def main():

   print 'starting at:', ctime()

   threads = []

   nloops = range(len(loops))

   for i in nloops:

       t = threading.Thread(target=loop,args=(i,loops[i]))

       threads.append(t)

   for i in nloops:

       threads[i].start()

   for i in nloops:

       threads[i].join()

   print 'all DONE at:', ctime()

if __name__ == '__main__':

   main()

-------------------------------

# python mtsleep3.py

-------------------------------

starting at: Sat Dec 21 12:14:57 2013

start loop 0 at: Sat Dec 21 12:14:57 2013

start loop 1 at: Sat Dec 21 12:14:57 2013

loop 1 done at: Sat Dec 21 12:14:59 2013

loop 0 done at: Sat Dec 21 12:15:01 2013

all DONE at: Sat Dec 21 12:15:01 2013

--------------------------------

所有线程都创建了之后,再一起调用start()函数启动,而不是创建一个启动一个,而且不用再管理一堆锁,只要简单对每个线程调用join()函数就可以

创建一个Thread实例,传给它一个可调用的类对象

此例中,我们传了一个可调用的类的实例,而不是仅传一个函数,相对mtsleep3.py中的方法来说,这样做更具面向对象的概念

# vi mtsleep4.py

------------------------------

#!/usr/bin/env python

import threading

from time import sleep,ctime

loops = [4,2]

class ThreadFunc(object):

   def __init__(self,func,args,name=''):

       self.name = name

       self.func = func

       self.args = args

   def __call__(self):

       apply(self.func, self.args)

def loop(nloop, nsec):

   print 'start loop', nloop, 'at:', ctime()

   sleep(nsec)

   print 'loop',nloop,'done at:',ctime()

def main():

   print 'starting at:',ctime()

   threads = []

   nloops = range(len(loops))

   for i in nloops:

       t = threading.Thread(target=ThreadFunc(loop,(i,loops[i]),loop.__name__))

       threads.append(t)

   for i in nloops:

       threads[i].start()

   for i in nloops:

       threads[i].join()

   print 'all DONE at:', ctime()

if __name__ == '__main__':

   main()

------------------------------

# python mtsleep4.py

---------------------------

starting at: Sat Dec 21 18:51:07 2013

start loop 0 at: Sat Dec 21 18:51:07 2013

start loop 1 at: Sat Dec 21 18:51:07 2013

loop 1 done at: Sat Dec 21 18:51:09 2013

loop 0 done at: Sat Dec 21 18:51:11 2013

all DONE at: Sat Dec 21 18:51:11 2013

----------------------------

18.5.4 斐波那契,阶乘和累加和

从Thread派生出一个子类,创建一个这个子类的实例

例,我们现在要子类化Thread类,而不是创建它的实例

# vi mtsleep5.py

-------------------------------

#!/usr/bin/env python

import threading

from time import sleep, time, ctime

loops = [ 4, 2 ]

class MyThread(threading.Thread):

   '''

   MyThread derives from the threading.Thread baseclass.

   Rather than a callable class, the run() method is

   automatically invoked when the thread begins execution.

   '''

   # constructor

   def __init__(self, func, args, name=''):

       threading.Thread.__init__(self)

       self.name = name

       self.setFunc(func, args)

   def setFunc(self, func, args):

       '''

       setFunc() is the method that sets the function

       to be called as well as its arguments

       '''

       self.func = func

       self.args = args

   def getResult(self):

       '''

       getResult() provides the return value

       from the function call

       '''

       return self.res

   def run(self):

       '''

       save the return value from the function call

       into an instance var rather than returning it

       '''

       # * 1.6 * self.res = self.func(*self.args)

       self.res = apply(self.func, self.args)

# loop() is the same as before

def loop(nloop, nsec):

   print 'start loop', nloop, 'at:', ctime(time())

   sleep(nsec)

   print 'loop', nloop, 'done at:', ctime(time())

def main():

   # variable setup

   print 'starting threads...'

   threads = []

   nloops = range(len(loops))

   # allocate (but do not start) threads

   for i in nloops:

       t = MyThread(loop, (i, loops[i]), loop.__name__)

       threads.append(t)

   # start threads

   for i in nloops:

       threads[i].start()

   # wait for all threads to complete

   for i in nloops:

       threads[i].join()

   print 'all DONE'

if __name__ == '__main__':

   main()

-------------------------------

# python mtsleep5.py

------------------------------

starting threads...

start loop 0 at: Sat Dec 21 23:44:07 2013

start loop 1 at: Sat Dec 21 23:44:07 2013

loop 1 done at: Sat Dec 21 23:44:09 2013

loop 0 done at: Sat Dec 21 23:44:11 2013

all DONE

-----------------------------

为了让mtsleep5.py中,Thread的子类更为通用,我们把子类单独放在一个模块中,加上一个getResult()函数用以返回函数的运行结果

例,myThread子类化Thread

# vi myThread.py

------------------------------------

#!/usr/bin/env python

import threading

from time import time, ctime

class MyThread(threading.Thread):

   def __init__(self, func, args, name=''):

       threading.Thread.__init__(self)

       self.name = name

       self.func = func

       self.args = args

   def getResult(self):

       return self.res

   def run(self):

       print 'starting', self.name, 'at:', \

   ctime()

       self.res = apply(self.func, self.args)

       print self.name, 'finished at:', \

   ctime()

------------------------------------

例,斐波那契,阶乘和累加和

在这个多线程程序中,我们会分别在单线程和多线程环境中,运行三个递归函数

# vi mtfacfib.py

------------------------------

#!/usr/bin/env python

from myThread import MyThread

from time import time, ctime, sleep

def fib(x):

   sleep(0.005)

   if x < 2: return 1

   return (fib(x-2) + fib(x-1))

def fac(x):

   sleep(0.1)

   if x < 2: return 1

   return (x * fac(x-1))

def sum(x):

   sleep(0.1)

   if x < 2: return 1

   return (x + sum(x-1))

funcs = (fib, fac, sum)

n = 12

def main():

   nfuncs = range(len(funcs))

   print '*** SINGLE THREAD'

   for i in nfuncs:

       print 'starting', funcs[i].__name__, \

   'at:', ctime(time())

       print funcs[i](n)

       print funcs[i].__name__, 'finished at:', \

   ctime(time())

   print '\n*** MULTIPLE THREADS'

   threads = []

   for i in nfuncs:

       t = MyThread(funcs[i], (n,),

   funcs[i].__name__)

       threads.append(t)

   for i in nfuncs:

       threads[i].start()

   for i in nfuncs:

       threads[i].join()

       print threads[i].getResult()

   print 'all DONE at:', ctime(time())

if __name__ == '__main__':

   main()

------------------------------

# python mtfacfib.py

-----------------------------------------

*** SINGLE THREAD

starting fib at: Sat Dec 21 23:55:31 2013

233

fib finished at: Sat Dec 21 23:55:34 2013

starting fac at: Sat Dec 21 23:55:34 2013

479001600

fac finished at: Sat Dec 21 23:55:35 2013

starting sum at: Sat Dec 21 23:55:35 2013

78

sum finished at: Sat Dec 21 23:55:37 2013

*** MULTIPLE THREADS

starting fib at: Sat Dec 21 23:55:37 2013

starting fac at: Sat Dec 21 23:55:37 2013

starting sum at: Sat Dec 21 23:55:37 2013

fac finished at: Sat Dec 21 23:55:38 2013

sum finished at: Sat Dec 21 23:55:38 2013

fib finished at: Sat Dec 21 23:55:39 2013

233

479001600

78

all DONE at: Sat Dec 21 23:55:39 2013

------------------------------------------

18.5.5 threading模块中的其他函数

函数描述

activeCount()当前活动的线程对象的数量

currentThread()返回当前线程对象

enumerate()返回当前活动线程的列表

settrace(func)为所有线程设置一个跟踪函数

setprofile(func) 为所有线程设置一个profile函数

18.5.5 生产者-消费者问题和Queue模块

这个实现中使用了Queue对象和随机地生产(和消耗)货物的方式,生产者和消费者相互独立并且并发的运行

# vi prodcons.py

----------------------------------

#!/usr/bin/env python

from random import randint

from time import time, ctime, sleep

from Queue import Queue

from myThread import MyThread

def writeQ(queue):

   print 'producing object for Q...',

   queue.put('xxx', 1)

   print "size now", queue.qsize()

def readQ(queue):

   val = queue.get(1)

   print 'consumed object from Q... size now', \

       queue.qsize()

def writer(queue, loops):

   for i in range(loops):

       writeQ(queue)

       sleep(randint(1, 3))

def reader(queue, loops):

   for i in range(loops):

       readQ(queue)

       sleep(randint(2, 5))

funcs = (writer, reader)

nfuncs = range(len(funcs))

def main():

   nloops = randint(2, 5)

   q = Queue(32)

   threads = []

   for i in nfuncs:

       t = MyThread(funcs[i], (q, nloops), \

           funcs[i].__name__)

       threads.append(t)

   for i in nfuncs:

       threads[i].start()

   for i in nfuncs:

       threads[i].join()

   print 'all DONE'

if __name__ == '__main__':

   main()

----------------------------------

# python prodcons.py

-----------------------------------------

starting writer at: Sun Dec 22 00:00:36 2013

producing object for Q... size now 1

starting reader at: Sun Dec 22 00:00:36 2013

consumed object from Q... size now 0

producing object for Q... size now 1

consumed object from Q... size now 0

producing object for Q... size now 1

consumed object from Q... size now 0

writer finished at: Sun Dec 22 00:00:42 2013

reader finished at: Sun Dec 22 00:00:46 2013

all DONE

-------------------------------------------

本例中,一个要完成多项任务的程序,可以考虑没有任务使用一个线程,这样的程序在设计上相对于单线程做所有事的程序来说,更为清晰

18.6 相关模块

模块描述

thread基本的,底级别的线程模块

threading高级别的线程和同步对象

Queue供多线程使用的同步先进先出(FIFO)队列

mutex互斥对象

SocketServer具有线程控制的TCP和UDP管理