Add tests

Author: hyunwoongko

tests/gptj/test_gptj_for_causal_lm.sh

@@ -0,0 +1,27 @@
+python ../causal_lm.py \
+  --test-name="FP32 & Non-PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1
+
+python ../causal_lm.py \
+  --test-name="FP16 & Non-PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --fp16
+
+python ../causal_lm.py \
+  --test-name="FP32 & PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf
+
+python ../causal_lm.py \
+  --test-name="FP16 & PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf \
+  --fp16

tests/gptj/test_gptj_for_sequence_classification.sh

@@ -0,0 +1,27 @@
+python ../sequence_classification.py \
+  --test-name="FP32 & Non-PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1
+
+python ../sequence_classification.py \
+  --test-name="FP16 & Non-PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --fp16
+
+python ../sequence_classification.py \
+  --test-name="FP32 & PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf
+
+python ../sequence_classification.py \
+  --test-name="FP16 & PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf \
+  --fp16

tests/gptj/test_gptj_model.sh

@@ -0,0 +1,27 @@
+python ../model.py \
+  --test-name="FP32 & Non-PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1
+
+python ../model.py \
+  --test-name="FP16 & Non-PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --fp16
+
+python ../model.py \
+  --test-name="FP32 & PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf
+
+python ../model.py \
+  --test-name="FP16 & PF"\
+  --name="anton-l/gpt-j-tiny-random" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf \
+  --fp16

tests/megatron_bert/__init__.py

@@ -0,0 +1,27 @@
+python ../masked_lm.py \
+  --test-name="FP32 & Non-PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1
+
+python ../masked_lm.py \
+  --test-name="FP16 & Non-PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --fp16
+
+python ../masked_lm.py \
+  --test-name="FP32 & PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf
+
+python ../masked_lm.py \
+  --test-name="FP16 & PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf \
+  --fp16

tests/megatron_bert/test_bert_for_masked_lm.sh

@@ -0,0 +1,27 @@
+python ../pre_training.py \
+  --test-name="FP32 & Non-PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1
+
+python ../pre_training.py \
+  --test-name="FP16 & Non-PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --fp16
+
+python ../pre_training.py \
+  --test-name="FP32 & PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf
+
+python ../pre_training.py \
+  --test-name="FP16 & PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf \
+  --fp16

tests/megatron_bert/test_bert_for_pre_training.sh

@@ -0,0 +1,27 @@
+python ../model.py \
+  --test-name="FP32 & Non-PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1
+
+python ../model.py \
+  --test-name="FP16 & Non-PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --fp16
+
+python ../model.py \
+  --test-name="FP32 & PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf
+
+python ../model.py \
+  --test-name="FP16 & PF"\
+  --name="bert-base-uncased" \
+  --gpu-from=0 \
+  --gpu-to=1 \
+  --use-pf \
+  --fp16