0
点赞
收藏
分享

微信扫一扫

【Python爬虫】第10篇:js逆向解析和Mongodb数据库。md集合文档(已分享,附代码)

本文主要学习一下关于爬虫的相关前置知识和一些理论性的知识,通过本文我们能够知道什么是爬虫,都有那些分类,爬虫能干什么等,同时还会站在爬虫的角度复习一下http协议。

全套笔记和代码自取地址: 请移步这里

感兴趣的小伙伴可以自取哦,欢迎大家点赞转发~

共 8 章,37 子模块

JS的解析

学习目标:
  1. 了解 定位js的方法
  2. 了解 添加断点观察js的执行过程的方法
  3. 应用 js2pyjs的方法

1 确定js的位置

对于前面人人网的案例,我们知道了url地址中有部分参数,但是参数是如何生成的呢?

毫无疑问,参数肯定是js生成的,那么如何这些参数的规律呢?通过下面的学习来了解

1.1 观察按钮的绑定js事件

通过点击按钮,然后点击Event Listener,部分网站可以找到绑定的事件,对应的,只需要点击即可跳转到js的位置

1.2 通过search all file 来搜索

部分网站的按钮可能并没有绑定js事件监听,那么这个时候可以通过搜索请求中的关键字来找到js的位置,比如livecell

点击美化输出选项

可以继续在其中搜索关键字

2 观察js的执行过程

找到js的位置之后,我们可以来通过观察js的位置,找到js具体在如何执行,后续我们可以通过python程序来模拟js的执行,或者是使用类似js2py直接把js代码转化为python程序去执行

观察js的执行过程最简单的方式是添加断点

添加断点的方式:在左边行号点击即可添加,对应的右边BreakPoints中会出现现有的所有断点

添加断点之后继续点击登录,每次程序在断点位置都会停止,通过如果该行有变量产生,都会把变量的结果展示在Scoope中

在上图的右上角有1,2,3三个功能,分别表示:

- 1:继续执行到下一个断点
- 2:进入调用的函数中
- 3:从调用的函数中跳出来

3 js2py的使用

BigInt.js

RSA.js

Barrett.js

import requests
import json
import js2py

  
  
# - 实现思路:
  
  
  
  
#   - 使用session发送rKey登录需要信息
  
  
  
  
#     - url: http://activity.renren.com/livecell/rKey
  
  
  
  
#     - 方法: get
  
  
  
  
#  session对象
  
  
session = requests.session()
headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Mobile Safari/537.36",
    "X-Requested-With": "XMLHttpRequest",
    "Content-Type":"application/x-www-form-urlencoded"
}
  
  
# 设置session的请求头信息
  
  
session.headers = headers

response = session.get("http://activity.renren.com/livecell/rKey")
  
  
# print(response.content.decode())
  
  
n = json.loads(response.content)['data']

  
  
#   - 根据信息对密码进行加密
  
  
  
  
#     - 准备用户名和密码
  
  
phoneNum = "131..."
password = "****"
  
  
#     - 使用js2py生成js的执行环境:context
  
  
context = js2py.EvalJs()
  
  
#     - 拷贝使用到js文件的内容到本项目中
  
  
  
  
#     - 读取js文件的内容,使用context来执行它们
  
  
with open("BigInt.js", 'r', encoding='utf8') as f:
    context.execute(f.read())

with open("RSA.js", 'r', encoding='utf8') as f:
    context.execute(f.read())
with open("Barrett.js", 'r', encoding='utf8') as f:
    context.execute(f.read())


  
  
# - 向context环境中添加需要数据
  
  
context.t = {'password': password}
context.n = n
  
  
#     - 执行加密密码的js字符
  
  
js = '''
       t.password = t.password.split("").reverse().join(""),
       setMaxDigits(130);
       var o = new RSAKeyPair(n.e,"",n.n)
        , r = encryptedString(o, t.password);
      '''
context.execute(js)
  
  
# - 通过context加密后密码信息
  
  
  
  
# print(context.r)
  
  
password = context.r
  
  
#   - 使用session发送登录请求
  
  
  
  
#     - URL: http://activity.renren.com/livecell/ajax/clog
  
  
  
  
#     - 请求方法: POST
  
  
  
  
#     - 数据:
  
  
  
  
#       - phoneNum: 15565280933
  
  
  
  
#       - password: (加密后生产的)
  
  
  
  
#       - c1: 0
  
  
  
  
#       - rKey: rkey请求的
  
  
data = {
    'phoneNum': '131....',
    'password': password,
    'c1':0,
    'rKey':n['rkey']
}

  
  
# print(session.headers)
  
  
response = session.post("http://activity.renren.com/livecell/ajax/clog", data=data)
print(response.content.decode())

  
  
# 访问登录的资源
  
  
response = session.get("http://activity.renren.com/home#profile")
print(response.content.decode())

小结

  1. 通过在chrome中观察元素的绑定事件可以确定js

  2. 通过在chrome中search all file 搜索关键字可以确定js的位置

  3. 观察js的数据生成过程可以使用添加断点的方式观察

  4. js2py的使用

    • 需要准备js的内容
    • 生成js的执行环境
    • 在执行环境中执行js的字符串,传入数据,结果

Mongodb数据库

介绍

在前面的本文中我们学习了mysql这种关系型数据库,那么接下来,我们会来学习一种非关系型数据库mongodb,mongodb数据库主要用于海量存储,常被用在数据采集项目中。

内容

  • mongodb的介绍和安装
  • mongodb的简单使用
  • mongodb的增删改查
  • mongodb的聚合操作
  • mongodb的索引操作
  • mongodb的权限管理
  • mongodb和python交互(pymongo模块)

mongodb文档

https://www.cnblogs.com/jeakeven/p/5402095.html

1.3 mongodb作为非关系型数据库相较于关系型数据库的优势

以ubuntu18.04为例

mongodb具有两种安装方式:命令安装 或 源码安装

2.1 命令安装

在ubuntu中使用apt-get工具安装

sudo apt-get install -y mongodb-org

https://www.mongodb.com/download-center/community?jmp=docs

2.2.2 解压

sudo mv -r mongodb-linux-x86_64-ubuntu1804-4.0.3/ /usr/local/mongodb

2.2.4 在shell的初始化脚本.bashrc中添加mongodb可执行文件到环境变量PATH中

b. 在.bashrc文件的最后添加:

export PATH=/usr/local/mongodb/bin:$PATH

3. mongodb的官方文档

https://docs.mongodb.com/manual/introduction/

小结

  1. 了解 非关系型数据库的优势

    • 易扩展
    • 高性能
    • 灵活的数据字段
  2. 了解 mongodb的安装

    • sudo apt-get install -y mongodb-org

未完待续, 同学们请等待下一期

全套笔记和代码自取地址: 请移步这里

感兴趣的小伙伴可以自取哦,欢迎大家点赞转发~

举报

相关推荐

0 条评论