随着ChatGPT的成功问世，NLP正式迎来了新纪元。各大厂商为了提高自己的竞争力，也相继开源了自己的大模型。但是这些大模型在某些特定领域中所表现出的效果并不一定能达到用户的预期。为了使得模型在特定领域或下游任务中，能更好地满足用户和业务的需求，如何对开源大模型进行高效地微调成为了一项值得研究的工作。

目前，常见的微调方案包括两种：全量参数微调和参数高效微调。

全量参数微调（Full Parameter Fine-Tuning）：直接对预训练模型所有参数进行微调，这种方法所需要消耗的资源和算力很大。
参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）：只微调少量（或额外的）模型参数，便可达到与全量微调相当的效果，从而大大降低了计算和存储成本。

由于venv依赖于系统Python的版本，而Conda独立于系统的Python版本，可以创建与系统的Python版本不同的Python环境。Conda针对Python和第三方包的版本管理比venv方便些。但是conda包含了太多的无用的包，导致整个conda环境冗余庞大（737.6 MiB），推荐使用miniconda（69.0 MiB）。

Miniconda is a free minimal installer for conda. It is a small, bootstrap version of Anaconda that includes only conda, Python, the packages they depend on, and a small number of other useful packages, including pip, zlib and a few others. Use the conda install command to install 720+ additional conda packages from the Anaconda repository.

介绍一下Python的官方迭代库itertools中的组合迭代器（Combinatoric iterators）。

If there are not enough stars in the sky, then I will show you a screen of fireworks.

Farewell, 2021

Ubuntu挂载Windows硬盘命令很简单，但是由于两个系统的文件系统格式的不同，有时会造成一定的麻烦。
这里记几个命令。

在远程使用Linux服务器跑代码时，如果自己的电脑网络环境出现了问题，会导致程序进程丢失，程序相当于白跑了。为了解决这个问题，可以选择使用终端复用工具（神器）：tmux。
在服务器开启一个tmux session时，相当于把用户登录的窗口保存在了服务器上，用来避免客户机网络中断出现进程丢失的问题。

使用threading库写了些Python多线程的简单demo，方便以后使用。

夏天到了，一起吹个空调吧～

在实际项目开发中，我们通常会根据自己的需求去下载各种相应的框架库，如PyTorch、tensorflow等，但是可能每个人、每个项目使用的框架库并不一样，或使用框架的版本不一样，这样需要我们根据需求不断的更新或卸载相应的库。这会造成很多不必要的麻烦，管理也相当混乱。使用虚拟环境可以避免这种麻烦。