用selenium+pyquery爬取javascript生成的页面内容

#!/usr/bin/env python # -*- coding: UTF-8 -*- from pyquery import PyQuery as pq from selenium import webdriver browser = webdriver.Firefox() browser.get('http://www.baidu.com/') html = browser.find_element_by_xpath("//*").get_attribute("outerHTML") # 不要用 browser.page_source,那样得到的页面源码不标...
Python | 2015-03-08 20:36 | 阅读 7005 次 | 评论 0 条

nodejs+jquery爬虫的简单封装

jq.js module.exports.jq = function(){ var request = require('request'); var jsdom = require("jsdom"); var jquery = require('jquery'); var $ = jquery(jsdom.jsdom().parentWindow); var Iconv = require('iconv').Iconv; $.extend({ get: function() { var url, charset, callba...
默认分类 | 2015-03-08 04:19 | 阅读 8102 次 | 评论 0 条

linux环境下安装nodejs

就按最简单的安装二进制文件 到官网 https://nodejs.org/download/ 下载二进制文件 wget http://nodejs.org/dist/v0.12.0/node-v0.12.0-linux-x64.tar.gz mkdir /usr/local/node tar zxvf node-v0.12.0-linux-x64.tar.gz -C /usr/local/node ln -s /usr/local/node/bin/node /usr/bin/node ...
Linux | 2015-03-07 21:16 | 阅读 2200 次 | 评论 0 条

php的simple_html_dom获取元素的html内容采用innertext

比如 $html = file_get_html($url); $title = $html->find("td.main table.box table.title_info h1", 0); print_r($title->innertext);
PHP开发 | 2015-03-02 13:28 | 阅读 6486 次 | 评论 0 条

恢复Dock至默认大小

在命令行运行 defaults delete com.apple.dock tilesize killall Dock 等Dock重新出现的时候,就是默认尺寸了
默认分类 | 2015-02-15 20:36 | 阅读 6022 次 | 评论 0 条

phpstorm去掉烦人的黄色小灯泡

直接上链接吧 http://stackoverflow.com/questions/16712626/hide-intellij-idea-yellow-light-bulb windows系统大概在这个位置 C:\Users\Administrator\.WebIde80\config\options\editor.xml 修改内容如下: <application> <component name="EditorSettings"> <option name="IS_CARET_BLIN...
PHP开发 | 2015-02-04 11:16 | 阅读 7669 次 | 评论 0 条

如何让你的 git log 更帅气一点

git config --global alias.logs "log --all --graph --pretty=format:'%Cred%h%Creset -%C(yellow)%d%Creset %s %Cgreen(%cr) %C(bold blue)<%an>%Creset' --abbrev-commit --date=relative" 以后用 git logs 即可
Git | 2015-01-27 12:15 | 阅读 1023 次 | 评论 0 条

homebrew安装php的配置参数

brew tap homebrew/dupes brew tap josegonzalez/homebrew-php brew install php56 --with-debug --with-fpm --with-gmp --with-homebrew-curl --with-homebrew-libxslt --with-homebrew-openssl --with-imap --with-libmysql --with-mssql --with-phpdbg --with-postgresql --with-thread-safety --with...
PHP开发 | 2015-01-17 22:18 | 阅读 3778 次 | 评论 0 条

homebrew安装php5.6后的信息

保存以备后用 ==> Caveats To enable PHP in Apache add the following to httpd.conf and restart Apache: LoadModule php5_module /usr/local/opt/php56/libexec/apache2/libphp5.so The php.ini file can be found in: /usr/local/et...
PHP开发 | 2015-01-17 20:49 | 阅读 6715 次 | 评论 0 条

王建硕:入静和入世

本文受Paul Graham的Maker’s Schedule, Manager’s Schedule启发而作,建议大家有空去读一下。 人有两种思考状态,我将一种称为入境,另一种称为入世。 入静 程序员和作家需要的是一种入静的状态。他们需要整段的,不被打扰的时间才可以工作。一个下午三点种的会议,哪怕仅仅持续15分钟,一个下午就会因此 废了。问题不是会议占据的时间,关键问题是会议把一个下午分成了两块,让每块都不够大,都不足以入静。因为对于下午废掉的担心,上午的工作也受到影响,不 太敢开始解决真正困难的问题。所以整天都在一种心神不宁的状态。 ...
默认分类 | 2015-01-16 10:31 | 阅读 945 次 | 评论 0 条

[Android的坑]setLayoutParams必须用父控件的LayoutParams

刚才用 LinearLayout.LayoutParams lp = new LinearLayout.LayoutParams(300, LayoutParams.WRAP_CONTENT); lp.setMargins(100, 30, 0, 0); linearLayout.setLayoutParams(lp); 后linearLayout不能显示,被卡住了好久,最后得知该linearLayout在TableRow里面的,所以得用 TableRow.LayoutParams lp = new TableRow....
Android | 2014-12-23 18:09 | 阅读 6365 次 | 评论 0 条

Arrow: better dates and times for Python(python的时间日期库)

http://crsmithdev.com/arrow/
Python | 2014-11-18 10:52 | 阅读 1646 次 | 评论 0 条

一个不错的android模拟器 genymotion

官网 http://www.genymotion.com 中文官网 http://www.genymotion.cn
默认分类 | 2014-10-15 15:57 | 阅读 1720 次 | 评论 0 条

ssh登录慢的GSSAPIAuthentication、UseDNS参数

修改这两个参数,可以让ssh登录快很多。 vi /etc/ssh/sshd_config GSSAPIAuthentication no UseDNS no -------------------------------- 作者在 2017-08-23 08:19:14 补充以下内容 -------------------------------- ubuntu16.04可以加上一行 PubkeyAcceptedKeyTypes ssh-ds...
Linux | 2014-09-11 14:49 | 阅读 3438 次 | 评论 0 条

Android在线api

http://api.apkbus.com/reference/android/app/admin/package-summary.html http://developers.androidcn.com/reference/packages.html
默认分类 | 2014-09-01 18:18 | 阅读 5688 次 | 评论 0 条

Android本地文档迟迟打不开的解决办法

进入文档目录,运行 find . -name "*.html" | xargs grep -l 'jsapi' | xargs sed -i '/jsapi/d'
默认分类 | 2014-09-01 17:44 | 阅读 1786 次 | 评论 0 条

Windows下svn import(将网站文件导入仓库)的方法

在DOS下面运行下面的 svn import D:/mysite "http://123.129.250.113:81/svn/myrepo" -m "init import" 按提示依次输入系统管理员密码、svn用户名、svn密码即可 上面的81为svn server的端口
Windows | 2014-08-18 11:27 | 阅读 3772 次 | 评论 1 条

nginx配置禁止访问某个目录或文件

在nginx要禁止某个或一类资源,只需要增加一个location,然后在其中使用deny all即可。 禁止访问扩展名为bat的文件,配置如下: location ~* /.bat { deny all; } 禁止访问configs目录,以及其下所有子目录或文件,配置如下: location ^~ /configs/ { deny all; } 注意上述configs后面的斜杠不能少,否则所有以configs开头的目录或文件都将禁止访问。 ...
Linux | 2014-08-15 23:22 | 阅读 2723 次 | 评论 0 条

gem安装时出现 undefined method `size' for nil:NilClass (NoMethodError) 的解决办法

# gem env 得到gem的PATH路径,比如 - GEM PATHS: - /usr/local/ruby/lib/ruby/gems/2.1.0 - /home/vagrant/.gem/ruby/2.1.0 将其下的cache目录删除,再次执行gem安装的时候就不会出错了
Ruby | 2014-08-09 21:27 | 阅读 14673 次 | 评论 2 条

提高rails new时bundle install运行速度

rails new my_app --skip-bundle cd my_app bundle install --local 转自:http://rubyer.me/blog/941/
Ruby | 2014-08-09 19:44 | 阅读 1818 次 | 评论 0 条
浏览1830093次
文章归档
最新评论
  • 静夜思:9年了,当年解决这个问题的思路记忆犹新😊
  • FQYB:汇编是纯文字的吧~
  • 敏敏张11:厉害的