【技巧】Leetcode 169. 多数元素【简单】

Cosmopolitan Libc 工作原理 与 多平台使用

目录

• Cosmopolitan Libc 工作原理 与 多平台使用
• • Cosmopolitan Libc 简介
  • • 跨平台运行原理
  • 在 x64 Linux / WSL2 平台使用 Cosmopolitan Libc
  • • 参考测试环境
    • 获取Cosmopolitan工具链
    • 测试运行APE文件
    • 【可选】安装 APE Loader 并配置 binfmt_misc
    • 编译运行 Hello World
    • 跨平台运行
    • • x64 Linux / WSL2
      • x64 Windows
  • 在 x64 Windows 平台使用 Cosmopolitan Libc
  • • 环境需求
    • 准备 Shell 环境
    • 获取Cosmopolitan工具链
    • 测试运行APE文件
    • 编译运行 Hello World
    • 跨平台运行
    • • x64 Windows
      • x64 Linux / WSL2
  • 参考文档
  • • Shell中可执行文件的执行机制
    • Executable and Linkable Format
    • Portable Executable
    • Actually Portable Executable

Cosmopolitan Libc 简介

• Cosmopolitan Libc 项目主页：https://justine.lol/cosmopolitan/index.html
• Cosmopolitan Libc 代码仓库：https://github.com/jart/cosmopolitan

Cosmopolitan Libc 是由Justine Tunney主导开发的一款跨架构跨平台的C标准库。配合Cosmopolitan 编译工具链，编译出的二进制文件可以在不同架构的不同系统平台上原生运行。

Cosmopolitan Libc 3.3.3 的平台支持表

跨平台运行原理

为了顾及上述两个平台的兼容性，Cosmopolitan工具链编译出的二进制文件为APE格式（Actually Portable Executable 确实可移植的可执行文件）。Justine Tunney之所以取这个名字，可能是为了调侃Windows二进制文件的PE格式（Portable Executable 可移植的可执行文件）不够“可移植”。

APE格式的绝妙之处在于

• APE是一种完全合法的Windows PE格式。只不过APE利用了PE格式文件开头的DOS Header段、DOS Stub段与空白空间来存放Shell脚本，并利用PE结尾的空白空间来存放ELF文件内容。
  因此在Windows平台下，APE格式的文件会被当作正常的PE格式文件执行。读者可以通过PE-bear（Windows）或readpe（Linux）工具查看它的具体结构。

• APE是一段可以执行的Unix Shell脚本。根据Unix Shell的特性，若在Unix平台直接执行未知格式的文件，文件会被默认当做Shell脚本执行。此时位于APE开头的Shell脚本，将会发挥它的作用。
  该脚本会自动将APE Loader解压到本地，接着APE Loader会读取APE中存储的ELF文件头与段信息。最终通过mmap()操作，把藏在APE文件里的ELF信息加载到内存之中。
  这一步“加载到内存”的操作，与普通的ELF文件被加载到内存的过程一致。随后程序被Unix系统内核调度运行，就像那些从普通ELF文件被加载到内存的程序一样。
  Unix平台下，可以通过Shell的调试手段来观察APE文件的执行原理sh -x APE格式的可执行文件。

在 x64 Linux / WSL2 平台使用 Cosmopolitan Libc

参考测试环境

• Ubuntu 22.04.3 LTS

获取Cosmopolitan工具链

若想直接体验Cosmopolitan Libc的功能，可以按照其官网主页的指示，直接获取编译好的Cosmopolitan编译工具链。按如下命令执行，工具链将被放置在./cosmocc/目录，下列命令执行后，当前工作路径即为该目录。

mkdir cosmocc
cd cosmocc
wget https://cosmo.zip/pub/cosmocc/cosmocc.zip
unzip cosmocc.zip

和GCC编译工具链类似，Cosmopolitan编译工具链主要包含

• C编译器 bin/cosmocc
  工具链的C编译器。为提供跨架构跨平台支持，该文件实际上是一个Shell脚本。在构建目标时，其会调用bin/目录下具体针对不同架构、不同平台的C编译工具。编译工具均为APE格式。
• C标准库 x86_64-linux-cosmo/lib/libcosmo.a 与 aarch64-linux-cosmo/lib/libcosmo.a
  工具链中，针对不同架构的静态C标准库。Cosmopolitan Libc本体。静态库中被归档的二进制对象文件均为ELF格式。
• C++编译器 bin/cosmoc++
  工具链的C++编译器。为提供跨架构跨平台支持，该文件实际上是一个Shell脚本。在构建目标时，其会调用bin/目录下具体针对不同架构、不同平台的C++编译工具。编译工具均为APE格式。
• C++标准库 x86_64-linux-cosmo/lib/libcxx.a 与 aarch64-linux-cosmo/lib/libcxx.a
  工具链中，针对不同架构的，基于Cosmopolitan Libc与LLVM项目的静态C++标准库。静态库中被归档的二进制对象文件均为ELF格式。
• C/C++头文件目录 include/
  工具链的C/C++头文件存放与搜寻目录。
• 其它构建工具
  工具链所需要的构建工具，如bin/make、bin/ctags等。构建工具均为APE格式。

测试运行APE文件

执行以下命令，测试您的系统能否运行APE格式的可执行文件。以工具链中的bin/make工具为例

bin/make --version

参考输出

GNU Make 4.4.1
Built for x86_64-linux-cosmo
Copyright (C) 1988-2023 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <https://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

【可选】安装 APE Loader 并配置 binfmt_misc

根据跨平台运行原理所述，在Unix平台上运行APE文件时，该文件会被当作Shell脚本执行，并且自动运行APE Loader。在此过程中，APE文件会作为入参被传递给APE Loader，由其提取并加载文件中的ELF信息到内存。

若Unix平台未安装APE Loader（即ape命令不存在），则Shell脚本会自动将APE Loader解压到本地。解压位置规则如文档所描述，典型位置是$HOME/.ape*或$TMPDIR/.ape*或./.ape*。

如果Unix平台已经安装APE Loader，ape命令已存在，则APE文件会直接调用ape命令。我们可以执行下列命令，把APE Loader安装到Linux系统的/usr/bin/ape位置

sudo wget -O /usr/bin/ape https://cosmo.zip/pub/cosmos/bin/ape-$(uname -m).elf
sudo chmod +x /usr/bin/ape

binfmt_misc是Linux内核提供的一个功能特性——用户可以指定使用某个程序去运行某类文件。效果上有点类似于Unix的Shebang或者Windows的“文件默认打开方式”。

执行以下命令，可以临时指定使用/usr/bin/ape程序来运行APE格式文件（靠文件头的magic number识别），重启后失效

sudo sh -c "echo ':APE:M::MZqFpD::/usr/bin/ape:' >/proc/sys/fs/binfmt_misc/register"
sudo sh -c "echo ':APE-jart:M::jartsr::/usr/bin/ape:' >/proc/sys/fs/binfmt_misc/register"

当我们再次从Shell中运行bin/make文件时，系统将自动运行/usr/bin/ape bin/make命令。不再需要依靠APE文件头部的Shell脚本去运行APE Loader。

编译运行 Hello World

确认APE文件可以正常运行后，创建一个简单的测试用的C文件hello.c

#include <stdio.h>

int main(int argc, char *argv[]) {
  printf("hello world\n");
}

和GCC编译工具链的使用方式一致，使用bin/cosmoccC语言编译器来编译hello.c，得到APE格式的./hello可执行文件

bin/cosmocc -o hello hello.c

跨平台运行

x64 Linux / WSL2

得到APE格式的./hello可执行文件后，首先尝试在本平台运行

./hello

x64 Windows

将其复制到Windows系统下。更改其文件名为hello.exe，增加Windows可执行文件的后缀.exe。尝试在PowerShell或者CMD中运行

.\hello.exe

在Windows平台运行APE文件时，可能会触发Windows Defender的报警。请仔细阅读如下Issue。若信任Cosmopolitan项目，请将APE文件列入Windows Defender白名单，再尝试运行。

https://github.com/search?q=repo%3Ajart%2Fcosmopolitan+windows+defender&type=issues

在 x64 Windows 平台使用 Cosmopolitan Libc

环境需求

使用 Cosmopolitan Libc 3.X 编译的程序，需要在 Windows 8 以上的 Windows 系统中才能正常运行。

参考测试环境：Windows 11 + Windows Terminal + PowerShell 7

准备 Shell 环境

使用Cosmopolitan编译工具链来编译C/C++代码，是体验Cosmopolitan Libc最简单的方式。通过Cosmopolitan编译工具链编译出的可执行文件，可以跨架构跨平台运行。

打开PowerShell，在你喜欢的位置创建cosmos/目录。在本文中，该目录用于存放Cosmopolitan Libc的开发环境

mkdir cosmos
cd cosmos

Cosmopolitan编译工具链需要Shell环境才能正常运行。因此在这一步，我们首先从Cosmos文件网站下载APE格式的Shell解释器与Unix常用的命令行工具。

# bin目录用于存放APE可执行文件，如Shell解释器和命令行工具等
mkdir bin

# 下载APE格式的wget可执行文件（命令行下载工具）
Invoke-WebRequest https://cosmo.zip/pub/cosmos/bin/wget -OutFile bin\wget
# 下载APE格式的bash可执行文件（Shell解释器）
Invoke-WebRequest https://cosmo.zip/pub/cosmos/tiny/bash -OutFile bin\bash

运行刚才下载好的Shell解释器bin\bash，进入Shell环境

Start-Process -FilePath bin\bash -Wait -NoNewWindow

在Shell环境中，使用刚才下载好的bin/wget命令行下载器，下载编译工具链所需的更多命令行工具。
这一步下载文件较多（约140个文件，按字母顺序下载），请保持网络畅通。--reject=后面指定了排除在外的文件，如果之后需要使用它们，可以单独下载。

bin/wget -r -nH --cut-dirs=3 --no-parent --reject="index.html*, datasette, emacs*, llama, python, redbean, sqlite*, verynice" -P ./bin https://cosmo.zip/pub/cosmos/tiny/

Shell解释器与Unix常用的命令行工具下载完毕后，在当前工作目录下创建Bash启动脚本.bashrc。之后每次启动Bash解释器时，解释器都会自动将bin目录加入Shell环境变量PATH。这样一来，Shell就能找到我们安装的命令行工具。
执行完毕后，结束Shell解释器的运行，退出Shell环境。

# 设置Shell环境变量PATH与HOME
echo "export PATH=$PWD/bin"$'\nexport HOME=~' > ./.bashrc

# 结束Shell解释器的运行，退出Shell环境
exit

获取Cosmopolitan工具链

首先，以管理员身份运行PowerShell或Windows Terminal，进入用于开发基于Cosmopolitan Libc的程序的Shell环境。

在Shell环境中，按照Cosmopolitan官网主页的指示，直接获取编译好的Cosmopolitan编译工具链。按如下命令执行，工具链将被放置在./cosmocc/目录，下列命令执行后，当前工作路径即为该目录。

mkdir cosmocc
cd cosmocc
wget https://cosmo.zip/pub/cosmocc/cosmocc.zip
unzip cosmocc.zip

和GCC编译工具链类似，Cosmopolitan编译工具链主要包含

• C编译器 bin/cosmocc
  工具链的C编译器。为提供跨架构跨平台支持，该文件实际上是一个Shell脚本。在构建目标时，其会调用bin/目录下具体针对不同架构、不同平台的C编译工具。编译工具均为APE格式。
• C标准库 x86_64-linux-cosmo/lib/libcosmo.a 与 aarch64-linux-cosmo/lib/libcosmo.a
  工具链中，针对不同架构的静态C标准库。Cosmopolitan Libc本体。静态库中被归档的二进制对象文件均为ELF格式。
• C++编译器 bin/cosmoc++
  工具链的C++编译器。为提供跨架构跨平台支持，该文件实际上是一个Shell脚本。在构建目标时，其会调用bin/目录下具体针对不同架构、不同平台的C++编译工具。编译工具均为APE格式。
• C++标准库 x86_64-linux-cosmo/lib/libcxx.a 与 aarch64-linux-cosmo/lib/libcxx.a
  工具链中，针对不同架构的，基于Cosmopolitan Libc与LLVM项目的静态C++标准库。静态库中被归档的二进制对象文件均为ELF格式。
• C/C++头文件目录 include/
  工具链的C/C++头文件存放与搜寻目录。
• 其它构建工具
  工具链所需要的构建工具，如bin/make、bin/ctags等。构建工具均为APE格式。

测试运行APE文件

执行以下命令，测试您的系统能否运行APE格式的可执行文件。以工具链中的bin/make工具为例

bin/make --version

参考输出

GNU Make 4.4.1
Built for x86_64-linux-cosmo
Copyright (C) 1988-2023 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <https://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

编译运行 Hello World

确认APE文件可以正常运行后，创建一个简单的测试用的C文件hello.c。对于Windows平台，可以用自己喜欢的方式新建此文件。

#include <stdio.h>

int main(int argc, char *argv[]) {
  printf("hello world\n");
}

和GCC编译工具链的使用方式一致，使用bin/cosmoccC语言编译器来编译hello.c，得到APE格式的./hello可执行文件

bin/cosmocc -o hello hello.c

跨平台运行

x64 Windows

得到APE格式的./hello可执行文件后，首先尝试在Shell内部运行

./hello

若要在Shell外部运行，需要更改其文件名为hello.exe，增加Windows可执行文件的后缀.exe。尝试在PowerShell或者CMD中运行

.\hello.exe

在Windows平台运行APE文件时，可能会触发Windows Defender的报警。请仔细阅读如下Issue。若信任Cosmopolitan项目，请将APE文件列入Windows Defender白名单，再尝试运行。

https://github.com/search?q=repo%3Ajart%2Fcosmopolitan+windows+defender&type=issues

x64 Linux / WSL2

将./hello文件复制到Linux系统或WSL2平台，直接运行即可

./hello

参考文档

Shell中可执行文件的执行机制

• https://stackoverflow.com/questions/3009192/how-does-the-shebang-work
• https://stackoverflow.com/questions/12296308/shell-script-working-fine-without-shebang-line-why
• http://www.faqs.org/faqs/unix-faq/faq/part3/section-16.html

对于Linux平台而言，当用户在Shell中执行一个带有可执行权限的文件时，Shell与内核会进行如下操作：

1. 用户在Shell中运行带有可执行权限的文件./executable。
2. Shell向操作系统内核发出exec系统调用请求，内核进行exec系统调用处理。
3. 处理时，内核首先检查文件./executable是否以#!的Shebang开头。如果文件开头具有Shebang，按Shebang所写命令执行文件。
4. 如果没有Shebang，检查文件特征（比如文件开头字节）是否匹配已知格式。已知格式包括ELF aout 等Linux系统二进制可执行文件格式，以及在binfmt_misc里面注册的文件格式。
5. 如果文件属于已知格式，按照对应格式指定的方式去执行该文件。
6. 如果文件不属于已知格式，将该文件默认当作Shell脚本解释执行。

Executable and Linkable Format

• https://en.wikipedia.org/wiki/Executable_and_Linkable_Format

Portable Executable

• https://en.wikipedia.org/wiki/Portable_Executable
• https://0xrick.github.io/win-internals/pe2/

Actually Portable Executable

• https://justine.lol/ape.html
• https://justine.lol/apeloader/