安排机器学习代码
从note本转移到 Python 脚本时安排代码。
Intuition
有安排的代码便是有可读的、可重现的、健壮的代码。您的团队、经理，最重要的是，您未来的自己，将感谢您为安排工作付出的最初尽力。在本课中，将讨论怎么将代码从note本迁移和安排到 Python 脚本。
Editor
在开端编码之前，需求一个空间来完结它。代码修改器有多种选择，例如VSCode、Atom、Sublime、PyCharm、Vim等，它们都供给独特的功用，同时供给代码修改和履行的基本操作。由于 VSCode 的简单性、多语言支持、附加组件和不断增加的行业选用，将运用 VSCode 来修改和履行代码。
欢迎您运用任何修改器，但将运用一些或许特定于 VSCode 的附加组件。
- 从源代码为您的系统装置 VSCode：https ://code.visualstudio.com/
- 翻开指令面板（在 mac
F1上是Cmd++ Shift）P→ 输入“首选项：翻开设置（UI）”→ 点击Enter - 调整您想要的任何相关设置（间距、字体大小等）
- 装置VSCode 扩展（运用修改器左侧面板上的乐高积木图标）
推荐的 VSCode 扩展
我主张装置这些扩展，你能够经过复制/粘贴这个指令：
code --install-extension 74th.monokai-charcoal-high-contrast code --install-extension alefragnani.project-manager code --install-extension bierner.markdown-preview-github-styles code --install-extension bradgashler.htmltagwrap code --install-extension christian-kohler.path-intellisense code --install-extension euskadi31.json-pretty-printer code --install-extension formulahendry.auto-close-tag code --install-extension formulahendry.auto-rename-tag code --install-extension kamikillerto.vscode-colorize code --install-extension mechatroner.rainbow-csv code --install-extension mikestead.dotenv code --install-extension mohsen1.prettify-json code --install-extension ms-azuretools.vscode-docker code --install-extension ms-python.python code --install-extension ms-python.vscode-pylance code --install-extension ms-vscode.sublime-keybindings code --install-extension njpwerner.autodocstring code --install-extension PKief.material-icon-theme code --install-extension redhat.vscode-yaml code --install-extension ritwickdey.live-sass code --install-extension ritwickdey.LiveServer code --install-extension shardulm94.trailing-spaces code --install-extension streetsidesoftware.code-spell-checker code --install-extension zhuangtongfa.material-theme
假如您增加自己的扩展并期望与他人共享，只需运转此指令即可生成指令列表：
一旦设置好 VSCode，就能够开端创立项目目录，将运用它来安排一切的脚本。发动项目的方法有很多种，但推荐以下方法：
-
运用终端创立目录 (
mkdir <PROJECT_NAME>)。 -
切换到您刚刚创立的项目目录 (
cd<PROJECT_NAME>)。 -
经过键入从此目录发动 VSCode
code .要运用指令直接从终端翻开 VSCode，请翻开指令面板（或在 mac 上为++）→ 输入“Shell 指令：在 PATH 中装置‘代码’指令”→点击→重新发动终端。
code$PATH``F1CmdShiftPEnter -
在 VSCode (
View>Terminal) 中翻开一个终端，以依据需求继续创立脚本 (touch <FILE_NAME>) 或其他子目录 (mkdir <SUBDIR>)。
设置
自述文件
将从一个README.md文件开端安排，该文件将供给有关目录中的文件的信息、履行操作的阐明等。将不断更新此文件，以便可认为将来的信息编目。
touch README.md
让从增加用于创立虚拟环境的阐明开端：
# Inside README.md
python3 -m venv venv
source venv/bin/activate
python3 -m pip install pip setuptools wheel
python3 -m pip install -e .
假如您按下坐落修改器右上角的预览按钮（下图中赤色圆圈中的按钮），您能够看到README.md当为git推送到长途主机时会是什么姿态。
配置
接下来，将创立一个名为的配置目录config，能够在其中存储应用程序所需的组件。在此目录中，将创立一个config.py和一个args.json.
mkdir config
touch config/main.py config/args.json
config/
├── args.json - arguments
└── config.py - configuration setup
在 内部config.py，将增加代码来界说关键目录方位（将在以后的课程中依据需求增加更多配置）：
# config.py
from pathlib import Path
# Directories
BASE_DIR = Path(__file__).parent.parent.absolute()
CONFIG_DIR = Path(BASE_DIR, "config")
在里面args.json，将增加与数据处理和模型练习相关的参数。
{
"shuffle": true,
"subset": null,
"min_freq": 75,
"lower": true,
"stem": false,
"analyzer": "char",
"ngram_max_range": 7,
"alpha": 1e-4,
"learning_rate": 1e-1,
"power_t": 0.1
}
操作
将从tagifai在项目目录 (mlops) 中创立包目录 ( ) 开端。在这个包目录中，将创立一个main.py文件来界说期望能够履行的中心操作。
mkdir tagifai
touch tagifai/main.py
tagifai/
└── main.py - training/optimization pipelines
`
当将代码从note本移动到下面main.py适当的脚本时，将在内部界说这些中心操作：
-
elt_data：提取、加载和转化数据。 -
optimize：调整超参数以针对目标进行优化。 -
train_model：运用优化研讨中的最佳参数练习模型。 -
load_artifacts：从给定的运转中加载经过练习的工件。 -
predict_tag：预测给定输入的标签。
Utilities
在开端从note本中移动代码之前，应该有意识地了解怎么将功用移动到脚本中。note本内有暂时进程是很常见的，由于只需note本在运转，它就会坚持状况。例如，能够像这样在note本中设置种子：
# Set seeds
np.random.seed(seed)
random.seed(seed)
但在脚本中，应该将此功用包装为一个洁净、可重用的函数，并带有适当的参数：
def set_seeds(seed=42):
"""Set seeds for reproducibility."""
np.random.seed(seed)
random.seed(seed)
能够将一切这些存储在包目录中的一个utils.py文件中。tagifai
touch tagifai/utils.py
tagifai/
├── main.py - training/optimization pipelines
└── utils.py - supplementary utilities
项目
在将代码从note本迁移到脚本时，最好依据实用程序进行安排。例如，可认为数据处理、练习、评价、预测等 ML 开发的各个阶段创立脚本：
将创立不同的 python 文件来包装数据和 ML 功用：
cd tagifai
touch data.py train.py evaluate.py predict.py
tagifai/
├── data.py - data processing utilities
├── evaluate.py - evaluation components
├── main.py - training/optimization pipelines
├── predict.py - inference utilities
├── train.py - training utilities
└── utils.py - supplementary utilities
或许在其他项目中有其他脚本，由于它们是必要的。例如，一般有一个
models.py脚本，在 Pytorch、Tensorflow 等中界说显式模型架构。
以这种方法安排代码库也使更容易了解（或修改）代码库。本能够将一切代码放入一个main.py脚本中，但随着项目的增加，将很难在一个全体文件中导航。另一方面，能够经过分化data.py为split.py、preprocess.py等来假设更细粒度的立场。假如有多种拆分、预处理等方法（例如 ML 操作库），这或许更有意义，但是对于使命，在这个更高级别的安排中就足够了。
准则
经过下面的迁移进程，将反复运用几个中心软件工程准则。
将功用包装到函数中
怎么决议何时将特定代码行包装为一个独自的函数？函数应该是原子的，由于它们每个都有单一的职责，这样就能够轻松地测验它们。假如不是，需求将它们拆分红更细粒度的单元。例如，能够用这些行替换项目中的标签：
oos_tags = [item for item in df.tag.unique() if item not in tags_dict.keys()]
df.tag = df.tag.apply(lambda x: "other" if x in oos_tags else x)
────比较────
def replace_oos_tags(df, tags_dict):
"""Replace out of scope (oos) tags."""
oos_tags = [item for item in df.tag.unique() if item not in tags_dict.keys()]
df.tag = df.tag.apply(lambda x: "other" if x in oos_tags else x)
return df
最好将它们包装为一个独自的函数，由于或许想要：
- 在项目的其他部分或其他项目中重复此功用。
- 测验这些标签实际上是否被正确替换。
组合广义函数
Specific
def replace_oos_tags(df, tags_dict):
"""Replace out of scope (oos) tags."""
oos_tags = [item for item in df.tag.unique() if item not in tags_dict.keys()]
df.tag = df.tag.apply(lambda x: "other" if x in oos_tags else x)
return df
────比较────
Generalized
def replace_oos_labels(df, labels, label_col, oos_label="other"):
"""Replace out of scope (oos) labels."""
oos_tags = [item for item in df[label_col].unique() if item not in labels]
df[label_col] = df[label_col].apply(lambda x: oos_label if x in oos_tags else x)
return df
这样当列的名称发生变化或许想用不同的标签替换时，很容易调整代码。这还包括在函数中运用通用名称，例如label而不是特定标签列的名称（例如tag）。它还允许其他人在他们的用例中重用此功用。
但是，重要的是不要强行泛化，假如它触及很多的尽力。假如看到类似的功用再次出现，能够稍后再花时间
本文主体源自以下链接：
@article{madewithml, author = {Goku Mohandas}, title = { Made With ML }, howpublished = {\url{madewithml.com/}}, year = {2022} }
本文由mdnice多渠道发布
