谷歌ALBERT模型V2+中文版来了，GitHub热榜第二
量子位2020-01-02 16:16
十三 发自 凹非寺量子位 报道 | 公众号 QbitAI
比BERT模型参数小18倍，性能还超越了它。
这就是谷歌前不久发布的轻量级BERT模型——ALBERT。
不仅如此，还横扫各大“性能榜”，在SQuAD和RACE测试上创造了新的SOTA。
而最近，谷歌开源了中文版本和Version 2，项目还登上了GitHub热榜第二。
ALBERT 2性能再次提升
在这个版本中，“no dropout”、“additional training data”、“long training time”策略将应用到所有的模型。
与初代ALBERT性能相比结果如下。
从性能的比较来说，对于ALBERT-base、ALBERT-large和ALBERT-xlarge，v2版要比v1版好得多。
说明采用上述三个策略的重要性。
平均来看，ALBERT-xxlarge比v1略差一些，原因有以下2点：
额外训练了1.5M步(两个模型的唯一区别就是训练1.5M和3M步)；
对于v1，在BERT、Roberta和XLnet给出的参数集中做了一点超参数搜索；对于v2，只是采用除RACE之外的V1参数，其中使用的学习率为1e-5和0 ALBERT DR。
总的来说，Albert是BERT的轻量版， 使用减少参数的技术，允许大规模的配置，克服以前的内存限制。
Albert使用了一个单模型设置，在 GLUE 基准测试中的性能：
Albert-xxl使用了一个单模型设置，在SQuaD和RACE基准测试中的性能：
中文版下载地址
Base
https://storage.googleapis.com/albert_models/albert_base_zh.tar.gz
Large
https://storage.googleapis.com/albert_models/albert_large_zh.tar.gz
XLarge
https://storage.googleapis.com/albert_models/albert_xlarge_zh.tar.gz
Xxlarge
https://storage.googleapis.com/albert_models/albert_xxlarge_zh.tar.gz
ALBERT v2下载地址
Base
[Tar File]：
https://storage.googleapis.com/albert_models/albert_base_v2.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_base/2
Large
[Tar File]：
https://storage.googleapis.com/albert_models/albert_large_v2.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_large/2
XLarge
[Tar File]：
https://storage.googleapis.com/albert_models/albert_xlarge_v2.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_xlarge/2
Xxlarge
[Tar File]：
https://storage.googleapis.com/albert_models/albert_xxlarge_v2.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_xxlarge/2
预训练模型
可以使用 TF-Hub 模块：
Base
[Tar File]：
https://storage.googleapis.com/albert_models/albert_base_v1.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_base/1
Large
[Tar File]：
https://storage.googleapis.com/albert_models/albert_large_v1.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_large/1
XLarge
[Tar File]：
https://storage.googleapis.com/albert_models/albert_xlarge_v1.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_xlarge/1
Xxlarge
[Tar File]：
https://storage.googleapis.com/albert_models/albert_xxlarge_v1.tar.gz
[TF-Hub]：
https://tfhub.dev/google/albert_xxlarge/1
TF-Hub模块使用示例：
tags = set()if is_training: tags.add("train")albert_module = hub.Module("https://tfhub.dev/google/albert_base/1", tags=tags, trainable=True)albert_inputs = dict( input_ids=input_ids, input_mask=input_mask, segment_ids=segment_ids)albert_outputs = albert_module( inputs=albert_inputs, signature="tokens", as_dict=True)# If you want to use the token-level output, use# albert_outputs["sequence_output"] instead.output_layer = albert_outputs["pooled_output"]
预训练说明
要预训练ALBERT，可以使用run_pretraining.py：
pip install -r albert/requirements.txtpython -m albert.run_pretraining \ --input_file=... \ --output_dir=... \ --init_checkpoint=... \ --albert_config_file=... \ --do_train \ --do_eval \ --train_batch_size=4096 \ --eval_batch_size=64 \ --max_seq_length=512 \ --max_predictions_per_seq=20 \ --optimizer='lamb' \ --learning_rate=.00176 \ --num_train_steps=125000 \ --num_warmup_steps=3125 \ --save_checkpoints_steps=5000
GLUE上的微调
要对 GLUE 进行微调和评估，可以参阅该项目中的run_glue.sh文件。
底层的用例可能希望直接使用run_classifier.py脚本。
run_classifier.py可对各个 GLUE 基准测试任务进行微调和评估。
比如 MNLI：
pip install -r albert/requirements.txtpython -m albert.run_classifier \ --vocab_file=... \ --data_dir=... \ --output_dir=... \ --init_checkpoint=... \ --albert_config_file=... \ --spm_model_file=... \ --do_train \ --do_eval \ --do_predict \ --do_lower_case \ --max_seq_length=128 \ --optimizer=adamw \ --task_name=MNLI \ --warmup_step=1000 \ --learning_rate=3e-5 \ --train_step=10000 \ --save_checkpoints_steps=100 \ --train_batch_size=128
可以在run_glue.sh中找到每个GLUE任务的default flag。
从TF-Hub模块开始微调模型：
albert_hub_module_handle==https://tfhub.dev/google/albert_base/1
在评估之后，脚本应该报告如下输出：
***** Eval results ***** global_step = ... loss = ... masked_lm_accuracy = ... masked_lm_loss = ... sentence_order_accuracy = ... sentence_order_loss = ...
在SQuAD上微调
要对 SQuAD v1上的预训练模型进行微调和评估，请使用 run SQuAD v1.py 脚本:
pip install -r albert/requirements.txtpython -m albert.run_squad_v1 \ --albert_config_file=... \ --vocab_file=... \ --output_dir=... \ --train_file=... \ --predict_file=... \ --train_feature_file=... \ --predict_feature_file=... \ --predict_feature_left_file=... \ --init_checkpoint=... \ --spm_model_file=... \ --do_lower_case \ --max_seq_length=384 \ --doc_stride=128 \ --max_query_length=64 \ --do_train=true \ --do_predict=true \ --train_batch_size=48 \ --predict_batch_size=8 \ --learning_rate=5e-5 \ --num_train_epochs=2.0 \ --warmup_proportion=.1 \ --save_checkpoints_steps=5000 \ --n_best_size=20 \ --max_answer_length=30
对于 SQuAD v2，使用 run SQuAD v2.py 脚本：
pip install -r albert/requirements.txtpython -m albert.run_squad_v2 \ --albert_config_file=... \ --vocab_file=... \ --output_dir=... \ --train_file=... \ --predict_file=... \ --train_feature_file=... \ --predict_feature_file=... \ --predict_feature_left_file=... \ --init_checkpoint=... \ --spm_model_file=... \ --do_lower_case \ --max_seq_length=384 \ --doc_stride=128 \ --max_query_length=64 \ --do_train \ --do_predict \ --train_batch_size=48 \ --predict_batch_size=8 \ --learning_rate=5e-5 \ --num_train_epochs=2.0 \ --warmup_proportion=.1 \ --save_checkpoints_steps=5000 \ --n_best_size=20 \ --max_answer_length=30
传送门
GitHub项目地址：
https://github.com/google-research/ALBERT
举报/反馈
0
0
收藏
分享
