如何正确的显示随机消息？

假设有一个功能，根据每个用户的级别有一个单词表，然后这个用户每次访问首页的时候，都会随机滚动显示三个单词，但随着单词表变大，选单词这个逻辑变得越来越慢。

建表语句：

mysql> CREATE TABLE `words` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `word` varchar(64) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

delimiter ;;
create procedure idata()
begin
  declare i int;
  set i=0;
  while i<10000 do
    insert into words(word) values(concat(char(97+(i div 1000)), char(97+(i % 1000 div 100)), char(97+(i % 100 div 10)), char(97+(i % 10))));
    set i=i+1;
  end while;
end;;
delimiter ;

call idata();

1.内存临时表

使用order by rand()实现逻辑
- ```
mysql> select word from words order by rand() limit 3;
```
- 随机取前三个，写法简单，但执行流程很复杂。
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7kksSKiJ-1651332194702)(https://cdn.jsdelivr.net/gh/Cltlient/PiGoCDN/img/20220110141531.png)]
- Extra显示Using temporary,表示需要临时表；
- Using filesort，表示需要执行排序
对于InnoDB表来说，执行全字段排序会减少磁盘访问，因此被优先选择。
对于内存表，回表过程只是简单的根据数据行的位置，直接访问内存得到数据，根本不会导致多访问磁盘。
- 那么优化器优先考虑的就是用于排序的行越小越好，所以MySQL这时就会选择rowId排序。

1.1 语句的执行流程

1. 创建一个临时表。
  1. 这个临时表使用的是memory引擎，表里有两个字段，第一个字段是double类型，为了后面描述，记为字段R，第二个字段是varchar(64)类型，几位字段W。
  2. 这个表没有建索引。
2. 从words表中，按主键顺序取出所有的word值。
  1. 对于每一个word值，调用rand()函数生成一个大于0小于1的随机小数，并把这个随机小数和word分别存入临时表的R和W字段，因此扫描行数是10000。
3. 临时表有10000行数据，接下来在这个没有索引的内存临时表上，按照字段R排序。
4. 初始化sort_buffer。
  1. sort_buffer中有两个字段，一个是double类型，另一个是整型。
5. 从内存临时表中一行一行取出R值和位置信息。分别存入sort_buffer中的两个字段。这个过程要对内存临时表做全表扫描，此时扫描行数增加10000，变成20000。
6. 在sort_buffer中根据R的值进行排序。
7. 排序完成后，取出钱三个结果的位置信息，一次到内存临时表中取出word值，返回给客户端。这个过程中，访问了表的三行数据，总扫描行数变成了20003.
排序执行流程图
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w8Zfz9pX-1651332194704)(https://cdn.jsdelivr.net/gh/Cltlient/PiGoCDN/img/20220110143645.png)]

1.2 MySQL的表是用什么方法来定位"一行数据"的？

如果创建的表没有主键，或者把一个表的主键删掉了，那么innoDB会自己生成一个长度为6字节的rowID来作为主键。
实际上rowID表示的是：每个引擎用来唯一标识数据行的信息。
- 对有主键的InnoDB来说，这个rowid就是主键id。
- 对于没有主键的InnoDB来说，这个rowid就是由系统生成的主键。
- MEMORY引擎不是索引组织表，在这个例子里，可以认为它是一个数组，因此这个rowid就是数组的下标。
order by rand()使用了内存临时表，内存临时表排序的时候使用了rowid排序方法。

2. 磁盘临时表

临时表是根据tmp_table_size来决定临时表分为内存临时表或磁盘临时表。
- 初始默认值是16M。超过后，内存临时表就会转成磁盘临时表。
- 磁盘临时表使用的引擎默认是innoDB,是由参数参数 internal_tmp_disk_storage_engine 控制的。
- 当使用磁盘临时表的时候，对应的就是一个没有显示索引的innoDB表的排序过程。
复现过程:
```
set tmp_table_size=1024;
set sort_buffer_size=32768;
set max_length_for_sort_data=16;
/* 打开 optimizer_trace，只对本线程有效 */
SET optimizer_trace='enabled=on'; 

/* 执行语句 */
select word from words order by rand() limit 3;

/* 查看 OPTIMIZER_TRACE 输出 */
SELECT * FROM `information_schema`.`OPTIMIZER_TRACE`\G
```
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3ekD87eD-1651332194704)(https://cdn.jsdelivr.net/gh/Cltlient/PiGoCDN/img/20220110144709.png)]
- 1. 因为将max_length_for_sort_data设置成16，小于word字段的长度定义，所以sort_mode里面显示的是rowid排序。
  2. 参与排序的随机值R字段和rowid字段组成的行。
  3. ，filesort_priority_queue_optimization 这个部分的 chosen=true，表示使用了优先队列排算法，这个过程不需要临时文件，因此对应number_of_tmp_files是0。
这个SQL语句的排序采用的是MySQL5.6版本引入的新的排序算法：优先队列排序算法。
- 为什么不采用临时文件的算法，也就是归并排序算法，而是采用了优先队列排序算法。？
- 当前的SQL语句，只需要取R值最小的3个rowid，但是，如果使用归并排序算法，虽然最终也能得到前3个值，但是这个算法结束后，已经将10000行数据排好序了。
- 因此，后面的9997行数据也是有序，但浪费了很多计算量。
使用优先队列算法，就可以精确只得到3个最小值。
- 1. 对于10000个准备排序的(R,rowId)，先取三行，构成一个堆。
  2. 去下一行(R’,rowid’)，跟当前堆里面最大的R比较，如果R’小于R，把这个(R,rowId)从堆中去掉，换成(R’, rowId’)；
  3. 重复第二步，直到第10000个(R’, rowid’)完成比较。
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Euuze50R-1651332194705)(https://cdn.jsdelivr.net/gh/Cltlient/PiGoCDN/img/20220110152005.png)]
- 这个流程结束后，我们构造的堆里面，就是10000行里面R值最小的三行。
再看上一章的SQL语句
```
select city,name,age from t where city='杭州' order by name limit 1000  ;
```
- 这里也用了limit，为什么没有用优先队列排序算法呢？
- 原因是：这条SQL语句是limit 1000，如果使用优先队列算法的话，需要维护的堆的大小就是1000行的(name,rowid)，超过我设置sort_buffer_size大小，只能使用归并排序。

3 随机排序方法

如果只随机选择1个word值，可以怎么做呢？
1. 取得这个表的主键id的最大值和最小值N；
2. 用随机函数生成一个最大值到最小值之间的数X = （M - N）* rand() + N;
3. 取不小于X的第一个ID的行。
- 随机算法1：
```
mysql> select max(id),min(id) into @M,@N from t ;
set @X= floor((@M-@N+1)*rand() + @N);
select * from t where id >= @X limit 1;
```
- 这个方法效率很高，因为取max(id)和min(id)都是不需要扫描索引的，而第三步的select也可以用索引快速定位，可以认为只扫描了三行。
- 但实际上，因为ID中间可能由空洞，因此选择不同行的概率不一样，不是真正的随机。
  - 比如有4个id，分别是1、2、4、5如果按照上面的方法，那么取到id=4的这一行概率是其他行的两倍
  - 如果id分别是1、2、4000、4001，那么这个算法就可以算bug了。
另外一个流程
1. 取得整个表的行数，并几位C
2. 取得Y=floor(C * rand())。floor函数在这里的作用，就是取整数部分。
3. 再用limit Y，1 取得一行。
- 随机算法2：
```
mysql> select count(*) into @C from t;
set @Y = floor(@C * rand());
set @sql = concat("select * from t limit ", @Y, ",1");
prepare stmt from @sql;
execute stmt;
DEALLOCATE prepare stmt;
```
- 由于limit后面的参数不能直接跟变量，所以在上面代码中使用了prepare+execute的方法，可以直接拼接SQL语句。
- 算法2，解决了算法1里面的明显的概率不均匀问题。
  - MySQL处理limit Y,1的做法就是按顺序一个一个读出来，丢掉前Y个，然后把下一个记录作为返回结果，因此这一步需要扫描Y+1行。
  - 再加上，第一步扫描的C行，总共需要扫描C+Y+1行，执行代码比算法1高。

4. 小结

MySQL对临时表排序的执行过程。如果直接使用order by rand()。这个语句需要using temporary和using filesort，查询的执行代价是比较大。所以要尽量毕明建这个方法。
思考：
- 上面的随机算法 3 的总扫描行数是 C+(Y1+1)+(Y2+1)+(Y3+1)，实际上它还是可以继续优化，来进一步减少扫描行数的。
- 要怎么做来减少扫描行数。