首页 » Programming » PYTHON
  • [Python] Multiprocessing多线程任务

    showerlee 2017-12-11 15:32 Programming, PYTHON 阅读 (6,895) 抢沙发
    在编写Python时, 如果我们需要同一时间内执行多个任务, 我们可以利用python内建模块multiprocessing来让其并行执行某个方法. 1. 随机执行方法 # vi ~/multipro1.py import multiprocessing def spawn(num): print('Sprawned! {}.'.format(num)) if __name__ == "__main__": for i in range(50): p = multiprocessing.Process(target=spawn, args=(i,)) p.start() 2. 按顺序...
  • [Python] 利用Beautiful Soup+Pandas+Pyqt5+Selenum进行python爬虫

    showerlee 2017-12-07 11:34 PYTHON, 其他 阅读 (13,121) 抢沙发
    Beautiful Soup, pandas, pyqt5是一组非常方便的进行网络爬虫的python模块. Beautiful Soup主要从解析好的HTML源码中抓取我们所需要的关键内容 Pandas与Beautiful Soup类似, 不过它侧重去抓取源码中的表格信息 pyqt5这里的作用是模拟浏览器去解析源码中的Javasript, 并最终抓取JS实际的返回值. 这里我在我的Flask env下创建了一个测试页面, 用这些模块进行一些简单的页面爬虫测试. http://flask.showerlee.c...
  • CentOS6.9部署Python3+Flask+uWSGI+Nginx

    showerlee 2017-10-18 12:20 Flask, NGINX, Programming, PYTHON 阅读 (12,589) 抢沙发
    最近在业余时间去学习python web开发, 并用Flask做了一个BLOG小程序放到我的个人仓库和Github仓库, 这里把自己的文档分享给大家, 仅供参考 https://github.com/showerlee/Flaskdev https://git.showerlee.com/showerlee/Flaskdev 安装环境 OS(virtualbox): CentOS 6.9 x64 (flask.example.com) OS(localhost):  Windows 7 x64    Python: Python3.4/Python2.6.6 Flask: Fla...
  • CentOS6升级python到2.7版本

    showerlee 2015-10-29 15:34 Programming, PYTHON 阅读 (10,884) 3条评论
    1.安装依赖包 # yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel wget xz -y 2.编译安装python2.7 # cd ~  # wget --no-check-certificate https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tar.xz # tar xvfJ Python-2.7.9.tar.xz  # cd Python-2.7.9 # ./configure --prefix=/usr/local LDFLAGS="-Wl,-rpath /usr/local/...
  • [Python] 利用HTML页面查看字符串差异

    showerlee 2015-09-28 16:21 Programming, PYTHON 阅读 (6,957) 抢沙发
    1. 比对两个字符串差异. # vi diff.py #!/usr/bin/env python import difflib text1 = '''text1: This mudule provides classes and fuctions for comparing sequences. including HTML and context and unified diffs. difflib document v7.4 add string ''' text1_lines = text1.splitlines() text2 = '''text2: This mudule provides classes and fuctions for Comparing sequences. including HTML ...
  • [Python] SMTP(SSL)发送邮件

    showerlee 2015-08-27 14:33 PYTHON 阅读 (13,557) 抢沙发
    这里需要注意的是大家使用QQ邮箱(SMTL over SSL)时, 需要首先在其网页客户端后台打开SMTP/POP服务, 并且设置QQ邮箱独立密码作为SMTP登陆密码, 这样在使用MUA时就不会报Authentication failed的错误. QQ邮箱 POP3端口: 995 SMTP端口: 587 密码使用QQ邮箱独立密码 #!/usr/bin/env python # -*- coding: utf-8 -*- import smtplib import email.encoders from email.mime.text import MIMEText fr...
  • [Python] SMTP发送邮件

    showerlee 2015-08-27 13:01 Programming, PYTHON 阅读 (6,552) 抢沙发
    这里PYTHON脚本实现的是登陆126的SMTP将邮件发送到QQ邮箱. QQ邮箱利用的是加密STMP, 需要加密版本的童鞋请关注随后的更新. TIPS: 我的本地环境是MAC系统, Windows环境需要修改相应的字符编码. #!/usr/bin/env python # -*- coding: utf-8 -*- import smtplib import email.encoders from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart from email.mime.base imp...
  • [Python] re(正则表达式)模块详解

    showerlee 2015-04-24 15:00 Programming, PYTHON 阅读 (6,611) 抢沙发
    一、Python中转义字符   正则表达式使用反斜杠" \ "来代表特殊形式或用作转义字符,这里跟Python的语法冲突,因此,Python用" \\\\ "表示正则表达式中的" \ ",因为正则表达式中如果要匹配" \ ",需要用\来转义,变成" \\ ",而Python语法中又需要对字符串中每一个\进行转义,所以就变成了" \\\\ "。 上面的写法是不是觉得很麻烦,为了使正则表达式具有更好的可读性,Python特别设计了原始字符串(raw string),需要...
  • [Python] List(列表),tuple(元组)和array的区别(转)

    showerlee 2015-04-23 14:56 Programming, PYTHON 阅读 (30,204) 抢沙发
    Python中的列表(list)类似于C#中的可变数组(ArrayList),用于顺序存储结构。它可以方便、高效的的添加删除元素,并且列表中的元素可以是多种类型。列表很多操作都跟元组一样,它们的不同在于元组是只读的,那更新列表的操作,比如切片操作来更新一部分元素的操作,就不能用于元组。 在与array的比较中,值得注意的是,列表会使用更多的存储空间相对于array。 通过import array导入python的数组类型,就可以使用array...
  • [Python] 调取MYSQL数据并插入到CSV文件

    showerlee 2015-04-17 14:35 Programming, PYTHON, 其他 阅读 (8,829) 抢沙发
    如何利用python脚本将远程数据库查询值,并将该值按照csv中"column A"对应关系整体插入到"column B",最近handle了一个case,联想到python天生对数据处理较shell有明显的优势,最后尝试用脚本搞定这个看起来逻辑很简单,但又不简单的data processing. Target: column A 是DB内存储的若干Project name,需要通过查询数据库,获取这些project name在DB对应的Project key的具体值,并插入column A后保存. #!/usr/bin/env ...