Fine-tuned Llama 3.1 8B adapter for structured API generation - 40% accuracy (95% better than Azure GPT)
02e3cea verified | { | |
| "best_global_step": 76, | |
| "best_metric": 0.5403695702552795, | |
| "best_model_checkpoint": "slm_swap/04_ft/adapter_llama_structured/checkpoint-76", | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 114, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 4.145010948181152, | |
| "learning_rate": 0.0, | |
| "loss": 2.4003, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 4.813018321990967, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 2.635, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 2.918339252471924, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 2.1847, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 2.725857734680176, | |
| "learning_rate": 0.0001, | |
| "loss": 1.911, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 2.2376487255096436, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 1.5675, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 4.092291355133057, | |
| "learning_rate": 0.0001666666666666667, | |
| "loss": 1.1603, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 2.9152793884277344, | |
| "learning_rate": 0.0002, | |
| "loss": 1.0053, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 2.2565271854400635, | |
| "learning_rate": 0.0001999576950082201, | |
| "loss": 0.6506, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 1.2920774221420288, | |
| "learning_rate": 0.00019983081582712685, | |
| "loss": 0.5865, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 1.0141593217849731, | |
| "learning_rate": 0.00019961946980917456, | |
| "loss": 0.7357, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 1.151449203491211, | |
| "learning_rate": 0.00019932383577419432, | |
| "loss": 0.8053, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 1.0362948179244995, | |
| "learning_rate": 0.00019894416385809444, | |
| "loss": 0.6616, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.7722408175468445, | |
| "learning_rate": 0.00019848077530122083, | |
| "loss": 0.6958, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.8130640387535095, | |
| "learning_rate": 0.00019793406217655517, | |
| "loss": 0.7162, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 1.3675695657730103, | |
| "learning_rate": 0.00019730448705798239, | |
| "loss": 0.563, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 1.5960906744003296, | |
| "learning_rate": 0.00019659258262890683, | |
| "loss": 0.58, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 1.072212815284729, | |
| "learning_rate": 0.0001957989512315489, | |
| "loss": 0.5387, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 1.188248872756958, | |
| "learning_rate": 0.0001949242643573034, | |
| "loss": 0.6955, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 1.2778258323669434, | |
| "learning_rate": 0.00019396926207859084, | |
| "loss": 0.4479, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 13.143075942993164, | |
| "learning_rate": 0.00019293475242268223, | |
| "loss": 1.0277, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 186.3747100830078, | |
| "learning_rate": 0.00019182161068802741, | |
| "loss": 0.9025, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.7217215895652771, | |
| "learning_rate": 0.000190630778703665, | |
| "loss": 0.4986, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.8731614947319031, | |
| "learning_rate": 0.00018936326403234125, | |
| "loss": 0.5636, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.6521349549293518, | |
| "learning_rate": 0.00018802013911801112, | |
| "loss": 0.5767, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.8306490182876587, | |
| "learning_rate": 0.00018660254037844388, | |
| "loss": 0.6199, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.6903685331344604, | |
| "learning_rate": 0.00018511166724369997, | |
| "loss": 0.6203, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.6657739281654358, | |
| "learning_rate": 0.00018354878114129367, | |
| "loss": 0.684, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.5936874747276306, | |
| "learning_rate": 0.0001819152044288992, | |
| "loss": 0.5577, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.6139101386070251, | |
| "learning_rate": 0.0001802123192755044, | |
| "loss": 0.6168, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.6266291737556458, | |
| "learning_rate": 0.00017844156649195759, | |
| "loss": 0.6148, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.6175403594970703, | |
| "learning_rate": 0.0001766044443118978, | |
| "loss": 0.4897, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.6125622391700745, | |
| "learning_rate": 0.0001747025071240996, | |
| "loss": 0.6356, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.6166452765464783, | |
| "learning_rate": 0.00017273736415730488, | |
| "loss": 0.4224, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.598992109298706, | |
| "learning_rate": 0.00017071067811865476, | |
| "loss": 0.547, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.6289752721786499, | |
| "learning_rate": 0.0001686241637868734, | |
| "loss": 0.4598, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.8014653921127319, | |
| "learning_rate": 0.00016647958656139378, | |
| "loss": 0.5587, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.5559372305870056, | |
| "learning_rate": 0.00016427876096865394, | |
| "loss": 0.4963, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.7442960143089294, | |
| "learning_rate": 0.000162023549126826, | |
| "loss": 0.457, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.5433598756790161, | |
| "eval_runtime": 4.7841, | |
| "eval_samples_per_second": 12.542, | |
| "eval_steps_per_second": 1.672, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 1.0266666666666666, | |
| "grad_norm": 0.4461791217327118, | |
| "learning_rate": 0.00015971585917027862, | |
| "loss": 0.4713, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 1.0533333333333332, | |
| "grad_norm": 0.431579053401947, | |
| "learning_rate": 0.0001573576436351046, | |
| "loss": 0.4377, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 1.7148072719573975, | |
| "learning_rate": 0.0001549508978070806, | |
| "loss": 0.4454, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 1.1066666666666667, | |
| "grad_norm": 0.5817849040031433, | |
| "learning_rate": 0.000152497658033456, | |
| "loss": 0.3962, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.5576441884040833, | |
| "learning_rate": 0.00015000000000000001, | |
| "loss": 0.5483, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.4906015694141388, | |
| "learning_rate": 0.00014746003697476404, | |
| "loss": 0.5422, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 1.1866666666666668, | |
| "grad_norm": 0.5438020825386047, | |
| "learning_rate": 0.00014487991802004623, | |
| "loss": 0.4438, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 1.2133333333333334, | |
| "grad_norm": 0.5641293525695801, | |
| "learning_rate": 0.00014226182617406996, | |
| "loss": 0.5939, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 1.2554056644439697, | |
| "learning_rate": 0.0001396079766039157, | |
| "loss": 0.3962, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.7316768169403076, | |
| "learning_rate": 0.00013692061473126845, | |
| "loss": 0.4658, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 1.2933333333333334, | |
| "grad_norm": 0.5622590780258179, | |
| "learning_rate": 0.00013420201433256689, | |
| "loss": 0.3701, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.48055917024612427, | |
| "learning_rate": 0.00013145447561516138, | |
| "loss": 0.384, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.3466666666666667, | |
| "grad_norm": 0.5410879254341125, | |
| "learning_rate": 0.00012868032327110904, | |
| "loss": 0.312, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 1.3733333333333333, | |
| "grad_norm": 0.5372636318206787, | |
| "learning_rate": 0.00012588190451025207, | |
| "loss": 0.3277, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 1.3009170293807983, | |
| "learning_rate": 0.00012306158707424403, | |
| "loss": 0.3514, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 1.4266666666666667, | |
| "grad_norm": 0.6670292615890503, | |
| "learning_rate": 0.00012022175723320381, | |
| "loss": 0.377, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 1.4533333333333334, | |
| "grad_norm": 0.6945537328720093, | |
| "learning_rate": 0.00011736481776669306, | |
| "loss": 0.4053, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.6068922281265259, | |
| "learning_rate": 0.00011449318593072466, | |
| "loss": 0.3305, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 1.5066666666666668, | |
| "grad_norm": 0.7037740349769592, | |
| "learning_rate": 0.00011160929141252303, | |
| "loss": 0.4334, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 1.9757070541381836, | |
| "learning_rate": 0.00010871557427476583, | |
| "loss": 0.3922, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 0.6219176650047302, | |
| "learning_rate": 0.00010581448289104758, | |
| "loss": 0.4529, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 1.5866666666666667, | |
| "grad_norm": 0.6832179427146912, | |
| "learning_rate": 0.00010290847187431113, | |
| "loss": 0.3861, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.6133333333333333, | |
| "grad_norm": 0.701236367225647, | |
| "learning_rate": 0.0001, | |
| "loss": 0.6416, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 0.4630773961544037, | |
| "learning_rate": 9.709152812568886e-05, | |
| "loss": 0.2598, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.643219530582428, | |
| "learning_rate": 9.418551710895243e-05, | |
| "loss": 0.4151, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 1.6933333333333334, | |
| "grad_norm": 1.215836524963379, | |
| "learning_rate": 9.128442572523417e-05, | |
| "loss": 0.4387, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.6036189198493958, | |
| "learning_rate": 8.839070858747697e-05, | |
| "loss": 0.3655, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 1.7466666666666666, | |
| "grad_norm": 0.6869444847106934, | |
| "learning_rate": 8.550681406927535e-05, | |
| "loss": 0.4398, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 1.7733333333333334, | |
| "grad_norm": 0.6205930113792419, | |
| "learning_rate": 8.263518223330697e-05, | |
| "loss": 0.3855, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.730952262878418, | |
| "learning_rate": 7.977824276679623e-05, | |
| "loss": 0.5075, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 1.8266666666666667, | |
| "grad_norm": 0.6464523673057556, | |
| "learning_rate": 7.693841292575598e-05, | |
| "loss": 0.4368, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 1.8533333333333335, | |
| "grad_norm": 1.1483937501907349, | |
| "learning_rate": 7.411809548974792e-05, | |
| "loss": 0.3607, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 0.854091227054596, | |
| "learning_rate": 7.131967672889101e-05, | |
| "loss": 0.5536, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 1.9066666666666667, | |
| "grad_norm": 1.0070300102233887, | |
| "learning_rate": 6.854552438483865e-05, | |
| "loss": 0.3844, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 0.5010907649993896, | |
| "learning_rate": 6.579798566743314e-05, | |
| "loss": 0.3356, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 0.6241299510002136, | |
| "learning_rate": 6.307938526873157e-05, | |
| "loss": 0.4154, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 1.9866666666666668, | |
| "grad_norm": 0.5649359822273254, | |
| "learning_rate": 6.039202339608432e-05, | |
| "loss": 0.3542, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.756279706954956, | |
| "learning_rate": 5.773817382593008e-05, | |
| "loss": 0.3212, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.5403695702552795, | |
| "eval_runtime": 4.7876, | |
| "eval_samples_per_second": 12.532, | |
| "eval_steps_per_second": 1.671, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 2.026666666666667, | |
| "grad_norm": 0.5282503366470337, | |
| "learning_rate": 5.5120081979953785e-05, | |
| "loss": 0.2965, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 2.0533333333333332, | |
| "grad_norm": 0.54411780834198, | |
| "learning_rate": 5.253996302523596e-05, | |
| "loss": 0.4187, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.5861223340034485, | |
| "learning_rate": 5.000000000000002e-05, | |
| "loss": 0.3364, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 2.1066666666666665, | |
| "grad_norm": 0.6173134446144104, | |
| "learning_rate": 4.7502341966544e-05, | |
| "loss": 0.2131, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.6824864149093628, | |
| "learning_rate": 4.50491021929194e-05, | |
| "loss": 0.2801, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.5337024927139282, | |
| "learning_rate": 4.264235636489542e-05, | |
| "loss": 0.2172, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 2.1866666666666665, | |
| "grad_norm": 0.4711996018886566, | |
| "learning_rate": 4.028414082972141e-05, | |
| "loss": 0.1575, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 2.2133333333333334, | |
| "grad_norm": 0.7611967325210571, | |
| "learning_rate": 3.7976450873174005e-05, | |
| "loss": 0.2556, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.7056112885475159, | |
| "learning_rate": 3.5721239031346066e-05, | |
| "loss": 0.2484, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.7928346991539001, | |
| "learning_rate": 3.352041343860621e-05, | |
| "loss": 0.1832, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 2.2933333333333334, | |
| "grad_norm": 0.9789867401123047, | |
| "learning_rate": 3.137583621312665e-05, | |
| "loss": 0.3226, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 1.047346830368042, | |
| "learning_rate": 2.9289321881345254e-05, | |
| "loss": 0.2922, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 2.3466666666666667, | |
| "grad_norm": 0.8700029253959656, | |
| "learning_rate": 2.7262635842695127e-05, | |
| "loss": 0.2602, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 2.3733333333333335, | |
| "grad_norm": 1.1142494678497314, | |
| "learning_rate": 2.529749287590042e-05, | |
| "loss": 0.2437, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.7198055386543274, | |
| "learning_rate": 2.339555568810221e-05, | |
| "loss": 0.223, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 2.4266666666666667, | |
| "grad_norm": 0.8277451992034912, | |
| "learning_rate": 2.155843350804243e-05, | |
| "loss": 0.2024, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 2.453333333333333, | |
| "grad_norm": 0.6502783298492432, | |
| "learning_rate": 1.9787680724495617e-05, | |
| "loss": 0.1801, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 0.6578331589698792, | |
| "learning_rate": 1.808479557110081e-05, | |
| "loss": 0.1773, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 2.506666666666667, | |
| "grad_norm": 0.61905837059021, | |
| "learning_rate": 1.6451218858706374e-05, | |
| "loss": 0.1787, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 0.6945933103561401, | |
| "learning_rate": 1.4888332756300027e-05, | |
| "loss": 0.2298, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 1.1681609153747559, | |
| "learning_rate": 1.339745962155613e-05, | |
| "loss": 0.2743, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 2.586666666666667, | |
| "grad_norm": 0.7813140749931335, | |
| "learning_rate": 1.1979860881988902e-05, | |
| "loss": 0.2629, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 2.6133333333333333, | |
| "grad_norm": 0.7851133346557617, | |
| "learning_rate": 1.0636735967658784e-05, | |
| "loss": 0.2794, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 1.2776973247528076, | |
| "learning_rate": 9.369221296335006e-06, | |
| "loss": 0.3191, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 0.9024249911308289, | |
| "learning_rate": 8.178389311972612e-06, | |
| "loss": 0.1997, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 2.6933333333333334, | |
| "grad_norm": 0.8741772770881653, | |
| "learning_rate": 7.0652475773177464e-06, | |
| "loss": 0.2847, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 0.6833378076553345, | |
| "learning_rate": 6.030737921409169e-06, | |
| "loss": 0.227, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 2.7466666666666666, | |
| "grad_norm": 1.5981695652008057, | |
| "learning_rate": 5.075735642696611e-06, | |
| "loss": 0.1976, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 2.7733333333333334, | |
| "grad_norm": 0.6460209488868713, | |
| "learning_rate": 4.20104876845111e-06, | |
| "loss": 0.1937, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.7836509346961975, | |
| "learning_rate": 3.40741737109318e-06, | |
| "loss": 0.2658, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 2.8266666666666667, | |
| "grad_norm": 0.7265948057174683, | |
| "learning_rate": 2.6955129420176196e-06, | |
| "loss": 0.3227, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 2.8533333333333335, | |
| "grad_norm": 0.7318208813667297, | |
| "learning_rate": 2.0659378234448525e-06, | |
| "loss": 0.2339, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 0.9757964015007019, | |
| "learning_rate": 1.5192246987791981e-06, | |
| "loss": 0.2688, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 2.9066666666666667, | |
| "grad_norm": 0.791654109954834, | |
| "learning_rate": 1.055836141905553e-06, | |
| "loss": 0.2096, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 0.8059505820274353, | |
| "learning_rate": 6.761642258056978e-07, | |
| "loss": 0.4103, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 0.8365135788917542, | |
| "learning_rate": 3.805301908254455e-07, | |
| "loss": 0.2468, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 2.986666666666667, | |
| "grad_norm": 0.6620439291000366, | |
| "learning_rate": 1.6918417287318245e-07, | |
| "loss": 0.2082, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.9490569829940796, | |
| "learning_rate": 4.230499177994007e-08, | |
| "loss": 0.3041, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_loss": 0.5783774256706238, | |
| "eval_runtime": 4.7881, | |
| "eval_samples_per_second": 12.531, | |
| "eval_steps_per_second": 1.671, | |
| "step": 114 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 114, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 6487886798585856.0, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |