0
点赞
收藏
分享

微信扫一扫

隐私计算实训营学习八：隐语SCQL的开发实践

gy2006_sw 04-10 06:31 阅读 1
djangopython框架后端

美多商城完整教程（附代码资料）主要内容讲述：欢迎来到美多商城！，项目准备。展示用户注册页面，创建用户模块子应用。用户注册业务实现，用户注册前端逻辑。图形验证码，图形验证码接口设计和定义。短信验证码，避免频繁发送短信验证码。账号登录，用户名登录。登录，登录开发文档。用户基本信息，查询并渲染用户基本信息。收货地址，省市区三级联动。收货地址，展示地址前后端逻辑。商品数据库表设计，SPU和SKU。准备商品数据，容器化方案Docker。首页广告，展示首页商品频道分类。商品列表页，列表页面包屑导航。商品搜索，Haystack扩展建立索引。商品详情页，统计分类商品访问量。购物车管理，添加购物车。购物车管理，删除购物车。订单，结算订单。提交订单，使用乐观锁并发下单。对接系统，订单支付功能。页面静态化，首页广告页面静态化。MySQL读写分离，MySQL主从同步。

全套笔记资料代码移步： 前往gitee仓库查看

感兴趣的小伙伴可以自取哦，欢迎大家点赞转发~

全套教程部分目录：

部分文件图片：

短信验证码

避免频繁发送短信验证码

  • 虽然我们在前端界面做了60秒倒计时功能。
  • 但是恶意用户可以绕过前端界面向后端频繁请求短信验证码。

解决办法：

  • 在后端也要限制用户请求短信验证码的频率。60秒内只允许一次请求短信验证码。
  • 在Redis数据库中缓存一个数值，有效期设置为60秒。

1. 避免频繁发送短信验证码逻辑分析

2. 避免频繁发送短信验证码逻辑实现

send_flag = redis_conn.get('send_flag_%s' % mobile)
if send_flag:
    return http.JsonResponse({'code': RETCODE.THROTTLINGERR, 'errmsg': '发送短信过于频繁'})

# 保存短信验证码


redis_conn.setex('sms_%s' % mobile, constants.SMS_CODE_REDIS_EXPIRES, sms_code)


# 重新写入send_flag


redis_conn.setex('send_flag_%s' % mobile, constants.SEND_SMS_CODE_INTERVAL, 1)

if (response.data.code == '4001') {
    this.error_image_code_message = response.data.errmsg;
    this.error_image_code = true;
} else { // 4002
    this.error_sms_code_message = response.data.errmsg;
    this.error_sms_code = true;
}

pipeline操作Redis数据库

  • 基于客户端-服务端模型以及请求/响应协议的TCP服务。
  • 客户端向服务端发送一个查询请求，并监听Socket返回。
  • 通常是以阻塞模式，等待服务端响应。
  • 服务端处理命令，并将结果返回给客户端。

存在的问题：

  • 如果Redis服务端需要同时处理多个请求，加上网络延迟，那么服务端利用率不高，效率降低。

解决的办法：

  • 管道pipeline

1. pipeline的介绍

  • 可以一次性发送多条命令并在执行完后一次性将结果返回。
  • pipeline通过减少客户端与Redis的通信次数来实现降低往返延时时间。

实现的原理

  • 实现的原理是队列。
  • Client可以将三个命令放到一个tcp报文一起发送。
  • Server则可以将三条命令的处理结果放到一个tcp报文返回。
  • 队列是先进先出，这样就保证数据的顺序性。

2. pipeline操作Redis数据库

1. 创建Redis管道
2. 将Redis请求添加到队列
3. 执行请求

# 创建Redis管道


pl = redis_conn.pipeline()


# 将Redis请求添加到队列


pl.setex('sms_%s' % mobile, constants.SMS_CODE_REDIS_EXPIRES, sms_code)
pl.setex('send_flag_%s' % mobile, constants.SEND_SMS_CODE_INTERVAL, 1)


# 执行请求


pl.execute()

异步方案RabbitMQ和Celery

生产者消费者设计模式

  • 下面两行代码存在什么问题？

  • 我们的代码是自上而下同步执行的。
  • 发送短信是耗时的操作。如果短信被阻塞住，用户响应将会延迟。
  • 响应延迟会造成用户界面的倒计时延迟。

  • 异步发送短信
  • 发送短信和响应分开执行，将发送短信从主业务中解耦出来。

  • 如何将发送短信从主业务中解耦出来。

生产者消费者设计模式介绍

  • 为了将发送短信从主业务中解耦出来,我们引入生产者消费者设计模式。
  • 它是最常用的解耦方式之一，寻找中间人(broker)搭桥，保证两个业务没有直接关联。

  • 生产者生成消息，缓存到消息队列中，消费者读取消息队列中的消息并执行。
  • 由美多商城生成发送短信消息，缓存到消息队列中，消费者读取消息队列中的发送短信消息并执行。

RabbitMQ介绍和使用

1. RabbitMQ介绍

  • 消息队列是消息在传输的过程中保存消息的容器。

  • 现在主流消息队列有：RabbitMQ、ActiveMQ、Kafka等等。

  • RabbitMQ和ActiveMQ比较

    • 系统吞吐量：RabbitMQ好于ActiveMQ
    • 持久化消息：RabbitMQ和ActiveMQ都支持
    • 高并发和可靠性：RabbitMQ好于ActiveMQ

  • RabbitMQ和Kafka：

    • 系统吞吐量：RabbitMQ弱于Kafka
    • 可靠性和稳定性：RabbitMQ好于Kafka比较
    • 设计初衷：Kafka是处理日志的，是日志系统，所以并没有具备一个成熟MQ应该具备的特性。

  • 综合考虑，本项目选择RabbitMQ作为消息队列。

2. 安装RabbitMQ（ubuntu 16.04）

  • 由于 RabbitMQ 是采用 Erlang 编写的，所以需要安装 Erlang 语言库。
# 1. 在系统中加入 erlang apt 仓库


$ wget 
$ sudo dpkg -i erlang-solutions_1.0_all.deb



# 2. 修改 Erlang 镜像地址，默认的下载速度特别慢


$ vim /etc/apt/sources.list.d/erlang-solutions.list


# 替换默认值


$ deb  xenial contrib



# 3. 更新 apt 仓库和安装 Erlang


$ sudo apt-get update
$ sudo apt-get install erlang erlang-nox
  • 安装成功后，默认就是启动状态。
# 1. 先在系统中加入 rabbitmq apt 仓库，再加入 rabbitmq signing key


$ echo 'deb  testing main' | sudo tee /etc/apt/sources.list.d/rabbitmq.list
$ wget -O-  | sudo apt-key add -



# 2. 更新 apt 仓库和安装 RabbitMQ


$ sudo apt-get update
$ sudo apt-get install rabbitmq-server

# 重启


$ sudo systemctl restart rabbitmq-server


# 启动


$ sudo systemctl start rabbitmq-server


# 关闭


$ sudo systemctl stop rabbitmq-server
  • RabbitMQ提供默认的administrator账户。
  • 用户名和密码：guest、guest
  • 协议：amqp
  • 地址：localhost
  • 端口：5672
  • 查看队列中的消息：sudo rabbitctl list_queues
# Python3虚拟环境下，安装pika


$ pip install pika

# 生产者代码：rabbitmq_producer.py


import pika




# 链接到RabbitMQ服务器


credentials = pika.PlainCredentials('guest', 'guest')
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost',5672,'/',credentials))


#创建频道


channel = connection.channel()


# 声明消息队列


channel.queue_declare(queue='zxc')


# routing_key是队列名 body是要插入的内容


channel.basic_publish(exchange='', routing_key='zxc', body='Hello RabbitMQ!')
print("开始向 'zxc' 队列中发布消息 'Hello RabbitMQ!'")


# 关闭链接


connection.close()

# 消费者代码：rabbitmq_customer.py 


import pika




# 链接到rabbitmq服务器


credentials = pika.PlainCredentials('guest', 'guest')
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost',5672,'/',credentials))


# 创建频道，声明消息队列


channel = connection.channel()
channel.queue_declare(queue='zxc')


# 定义接受消息的回调函数


def callback(ch, method, properties, body):
    print(body)


# 告诉RabbitMQ使用callback来接收信息


channel.basic_consume(callback, queue='zxc', no_ack=True)


# 开始接收信息


channel.start_consuming()

3. 新建administrator用户

# 新建用户，并设置密码


$ sudo rabbitmqctl add_user admin your_password 


# 设置标签为administrator


$ sudo rabbitmqctl set_user_tags admin administrator


# 设置所有权限


$ sudo rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"


# 查看用户列表


sudo rabbitmqctl list_users


# 删除用户


$ sudo rabbitmqctl delete_user admin

4. RabbitMQ配置远程访问

  • 安装好 RabbitMQ 之后，在 /etc/rabbitmq 目录下面默认没有配置文件，需要单独下载。
$ cd /etc/rabbitmq/
$ wget 
$ sudo cp rabbitmq.config.example rabbitmq.config


$ sudo vim rabbitmq.config



# 设置配置文件结束后，重启RabbitMQ服务端


$ sudo systemctl restart rabbitmq-server

Celery介绍和使用

  • 消费者取到消息之后，要消费掉（执行任务），需要我们去实现。
  • 任务可能出现高并发的情况，需要补充多任务的方式执行。
  • 耗时任务很多种，每种耗时任务编写的生产者和消费者代码有重复。
  • 取到的消息什么时候执行，以什么样的方式执行。

结论：

  • 实际开发中，我们可以借助成熟的工具Celery来完成。
  • 有了Celery，我们在使用生产者消费者模式时，只需要关注任务本身，极大的简化了程序员的开发流程。

1. Celery介绍

  • Celery介绍：

  • 一个简单、灵活且可靠、处理大量消息的分布式系统，可以在一台或者多台机器上运行。

  • 单个 Celery 进程每分钟可处理数以百万计的任务。

  • 通过消息进行通信，使用消息队列（broker）在客户端和消费者之间进行协调。

  • 安装Celery：

$ pip install -U Celery
  • [Celery官方文档](

2. 创建Celery实例并加载配置

# celery启动文件


from celery import Celery




# 创建celery实例


celery_app = Celery('meiduo')


# 指定消息队列的位置


broker_url= 'amqp://guest:guest@192.168.103.158:5672'

# celery启动文件


from celery import Celery




# 创建celery实例


celery_app = Celery('meiduo')


# 加载celery配置


celery_app.config_from_object('celery_tasks.config')

3. 定义发送短信任务

# celery启动文件


from celery import Celery




# 创建celery实例


celery_app = Celery('meiduo')


# 加载celery配置


celery_app.config_from_object('celery_tasks.config')


# 自动注册celery任务


celery_app.autodiscover_tasks(['celery_tasks.sms'])

# bind：保证task对象会作为第一个参数自动传入




# name：异步任务别名




# retry_backoff：异常自动重试的时间间隔 第n次(retry_backoff×2^(n-1))s




# max_retries：异常自动重试次数的上限


@celery_app.task(bind=True, name='ccp_send_sms_code', retry_backoff=3)
def ccp_send_sms_code(self, mobile, sms_code):
    """
    发送短信异步任务
    :param mobile: 手机号
    :param sms_code: 短信验证码
    :return: 成功0 或 失败-1
    """
    try:
        send_ret = CCP().send_template_sms(mobile, [sms_code, constants.SMS_CODE_REDIS_EXPIRES // 60], constants.SEND_SMS_TEMPLATE_ID)
    except Exception as e:
        logger.error(e)
        # 有异常自动重试三次
        raise self.retry(exc=e, max_retries=3)
    if send_ret != 0:
        # 有异常自动重试三次
        raise self.retry(exc=Exception('发送短信失败'), max_retries=3)

    return send_ret

4. 启动Celery服务

$ cd ~/projects/meiduo_project/meiduo_mall
$ celery -A celery_tasks.main worker -l info

5. 调用发送短信任务

# 发送短信验证码




# CCP().send_template_sms(mobile,[sms_code, constants.SMS_CODE_REDIS_EXPIRES // 60], constants.SEND_SMS_TEMPLATE_ID)




# Celery异步发送短信验证码


ccp_send_sms_code.delay(mobile, sms_code)

6. 补充celery worker的工作模式

  • 默认是进程池方式，进程数以当前机器的CPU核数为参考，每个CPU开四个进程。
  • 如何自己指定进程数：celery worker -A proj --concurrency=4
  • 如何改变进程池方式为协程方式：celery worker -A proj --concurrency=1000 -P eventlet -c 1000
# 安装eventlet模块


$ pip install eventlet



# 启用 Eventlet 池


$ celery -A celery_tasks.main worker -l info -P eventlet -c 1000

用户登录

账号登录

未完待续， 同学们请等待下一期

全套笔记资料代码移步： 前往gitee仓库查看

感兴趣的小伙伴可以自取哦，欢迎大家点赞转发~

举报

相关推荐

隐私计算实训营学习九：隐语多方安全计算在安全核对的行业实践

uni-app前端

元技能实训营作业

时间管理知识结构知识管理Windows系统/运维

蚂蚁集团开源可信隐私计算框架「隐语」：开放、通用

视觉检测计算机视觉人工智能机器学习

AI学习笔记之贪心京东NLP线上实训营

文本处理特征工程NLP深度学习神经网络人工智能

流式计算中的 Window 计算｜青训营笔记

笔记数据sqlflinkSpark大数据

web项目开发，前端开发实训

Web开发程序员前端Html/CSS前端开发

Web开发的安全之旅｜ 青训营

vue.js前端javascriptvitets

大数据 Shuffle 原理与实践｜青训营笔记

笔记数据sparkide虚拟化云计算

Android实训案例(一)——计算器的运算逻辑

android studio计算器android输入框ide虚拟化云计算

实训项目名称： 计算机的结构探究

插槽故障处理微信公众号前端开发
0 条评论