scrapy

创建项目

1
scrapy startproject scrapy_first

生成爬虫模版文件

scrapy genspider -t 母版名称 爬虫文件名称 要爬取的域名

1
scrapy genspider -t basic filter baidu.com

可以不加-t basic, 默认使用basic模版

测试一个爬虫文件是否合规 scrapy check 爬虫名称

1
scrapy check filter

执行爬虫文件 scrapy crawl 爬虫名称

1
2
scrapy crawl filter
scrapy crawl filter --nolog  # 不显示日志

展开全文 >>

npm

npm publish 的时候会把项目目录里面所有的文件都publish到npm仓库中，
但是往往有一部分目录和文件不想发布上去，比如项目的源码、编译脚本等等信息。
如何发布用户需要使用的相关文件呢？

方法一：

使用 .gitignore 设置忽略哪些文件.gitignore 设置的忽略文件，
在git代码管理和 npm publish 都会被忽略

方法二：

使用 .npmignore 设置忽略哪些文件.npmignore 的写法跟 .gitignore 的规则完全一样。
若同时使用了 .npmignore 和 .gitignore，只有 .npmignore 会生效，优先级比较高。

方法三：

使用 package.json 的 files 字段选择发布哪些文件直接在 package.json 中 files 字段设置发布哪些文件或目录。这个优先级高于 .npmignore 和 .gitignore。

执行 npm publish 报错，因为有些同学本地设置了 淘宝的npm 镜像源，npm 包发布到这个镜像源就有问题了，最简单的方式是 ：发布时候指定地址

1

1
npm publish -registry=https://registry.npmjs.org/

展开全文 >>

fq 

1
2
3
4
5
6
7
8
9
10
11
12
{
	"server": "0.0.0.0",
	"local_address": "127.0.0.1",
	"local_port": 1080,
	"port_password": {
		"8388": "JUN765462425",
		"8389": "test01"
	},
	"timeout": 300,
	"method": "aes-256-cfb",
	"fast_open": false
}

展开全文 >>

django-import-export

1.在项目中安装django-import-export

1
pip install django-import-export

2.在setting的INSTALLED_APPS中添加django-import-export

1
2
3
4
5
INSTALLED_APPS = [
    # pg 是创建的app
    'pg'，
    'import_export'，
]

3.models.py的模型

1
2
3
4
5
class Area(models.Model):
    name = models.CharField('名字', max_length=10)

    def __str__(self):
        return self.name

4.定制Resource:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
from django.contrib import admin
from ask.models import Area
from import_export import resources
from import_export.admin import ImportExportModelAdmin

class Employee_Resource(resources.ModelResource):
    def get_export_headers(self):
        # 是你想要的导出头部标题headers
        return ['名字']

    class Meta:
        model = models.Employee
        fields = ('id', 'name',)
        export_order = ('id', 'name',)

class AreaAdmin(ImportExportModelAdmin):
    list_display = ('id', 'name')
    list_filter = ('name')
    search_fields = ('name')
    resource_class = Employee_Resource


admin.site.register(Area, AreaAdmin)

展开全文 >>

nvm

#安装nvm

1
wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.30.1/install.sh | bash

#安装node

1
nvm install 6.10.1

在命令行中运行命令，安装当前最新的稳定版。

1
nvm install stable

#设置默认node版本

1
nvm alias default 6.10.1

展开全文 >>

mysql

mysql5.7
user表中password改为

1
authentication_string

bind-address 配置文件路径

1
/etc/mysql/mysql.conf.d/mysqld.cnf

1、Mysql语句备份一个数据库:
备份的语句mysqldump的基本语法: mysqldump -u username -p dbname table1 table2… > test.sql;

参数解析:

dbname：要备份数据库的名称；

table1和table2参数表示的是需要备份的数据库表的名称，假如为空则表示需要备份整个数据库；

test.sql表示的是将数据库备份到指定的这个.sql的文件中，这个文件的前面可以执行一个详细的绝对路径下；

2、mysql 修改表或表结构

1
2
3
4
5
6
7
8
9
10
11
12
alter table old_name rename new_name; --修改表名

alter table test add  column add_name varchar(10); --添加表列

alter table test drop  column del_name; --删除表列

alter table test modify address char(10) --修改表列类型
# alter table test change address address  char(40)


alter table test change  column address address1 varchar(30)--修改表列名
————————————————

3、外键约束

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1. 查看数据库表创建的sql语句
show create table test

2. 查看外键的约束名
CREATE TABLE `test` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `address` varchar(255) DEFAULT NULL,
 `code` varchar(255) DEFAULT NULL,
 `mobile` varchar(255) DEFAULT NULL,
 `name` varchar(255) DEFAULT NULL,
 `score` int(11) DEFAULT NULL,
 `id_code` varchar(255) DEFAULT NULL,
 `user_id` int(11) DEFAULT NULL,
 PRIMARY KEY (`id`),
 KEY `FK1C81D1738DA76` (`user_id`),
 CONSTRAINT `FK1C81D1738DA76` FOREIGN KEY (`user_id`) REFERENCES `user` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8

3. 解除外键约束
alter table vip drop foreign key FK1C81D1738DA76

4. 删除外键
alter table vip drop user_id

5. 增加外键约束
ALTER TABLE `tfeedbackmessage`
ADD CONSTRAINT `FK_i1q2cf5pxfr8r69cfci3yyari` FOREIGN KEY (`HANDLERID`) REFERENCES `toperationuser` (`FID`) 
ON DELETE CASCADE ON UPDATE RESTRICT;

常见操作小结：

查看表的字段信息：desc 表名;

查看表的所有信息：show create table 表名;

添加主键约束：alter table 表名 add constraint 主键 （形如：PK_表名） primary key 表名(主键字段);

添加外键约束：alter table 从表 add constraint 外键（形如：FK_从表_主表） foreign key 从表(外键字段) references 主表(主键字段);

删除主键约束：alter table 表名 drop primary key;

删除外键约束：alter table 表名 drop foreign key 外键（区分大小写）;

展开全文 >>

conda

ubuntu安装conda

1
2
wget https://repo.continuum.io/archive/Anaconda3-4.4.0-Linux-x86_64.sh
bash Anaconda3-4.4.0-Linux-x86_64.sh

如果在安装的过程中输入了yes，应该就直接安装成功了，不用再看下面的内容

关于手动修改环境变量：

1
vi ~/.bashrc

在bashrc文件的最后添加：export PATH=”/home/用户名/anaconda3/bin:$PATH”。（vi编辑器中按i进入编辑模式）

1
source ~/.bashrc

查看环境

conda info -e

1
2


创建一个名为python34的环境，指定python版本为3.4

1
conda create --name python34 python=3.4

切换环境

1
2
activate python34 # for Windows
source activate python34 # for Linux & Mac

退出环境

source deactivate

删除环境

1
conda remove --name python34 --all

设置镜像

1
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

修改默认环境

在linux下，通过修改~/.bashrc或~/.bash_profile最后你会发现

1
export PATH="~/anaconda3/bin:$PATH"

修改为

1
export PATH="~/anacond3/envs/python3/bin:$PATH"

展开全文 >>

uwsgi

部署静态文件
在运行nginx之前，您必须收集静态文件夹中的所有Django静态文件。首先你需要编辑pg / settings.py添加：

STATIC_ROOT = os.path.join(BASE_DIR, “static/“)

然后跑

1
python manage.py collectstatic

停止uwsgi

1
sudo pkill -f uwsgi -9

uwsgi 配置文件
[uwsgi]

#//path/to/your
chdir = /home/pg
module = pg.wsgi
master = true
processes = 10
socket = 0.0.0.0:8001

#chmod-socket = 664

clear environment on exit

vacuum = true
stats=/etc/uwsgi/pg.status

#用于重启uwsgi
pidfile=/etc/uwsgi/pg.pid

nginx配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
upstream django {
   # server unix:///path/to/your/pg/pg.sock; # for a file socket
    server unix:///home/pg/pg.sock; # for a file socket
}
# configuration of the server
server {
    # the port your site will be served on
    listen      80;
    # the domain name it will serve for
    server_name localhost; # substitute your machine's IP address or FQDN
    charset     utf-8;

    # max upload size
    client_max_body_size 75M;   # adjust to taste
        location / {
        include        uwsgi_params;
        #和uwsgi.ini socket一样
        uwsgi_pass     0.0.0.0:8001;
    }

    # Django media
    location /media  {
        # //path/to/your
        alias /home/pg/media;  # your Django project's media files - amend as required
    }

    location /static {
        # //path/to/your
        alias /home/pg/static; # your Django project's static files - amend as required
    }

    # Finally, send all non-media requests to the Django server.
    #location / {
    #    uwsgi_pass  django;
    #    include     /home/pg/uwsgi_params; # the uwsgi_params file you installed
    #}
}

展开全文 >>

python

自己写了一个python脚本，但是直接远程用putty连接后#python xxx.py执行，关闭putty脚本也随之关闭了，这里需要用到‘setsid’这个命令。

1
#setsid python xxx.py

如此即可将脚本加入到后台执行
若想查看所有后台运行的进程

1
#ps -aux

这里可以看到每个进程都有一个PID，如果想杀死这个进程，则使用

1
2
#kill -9 [PID]
-9 表示强迫进程立即停止

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家