Conversion scripts update

[ilyaonoff]

В первом варианте, с просто расхардкоженными параметрами калибровки при квантизации получилось вот так. Существующий код постарался оставить работающим, добавил новые параметры, но из-за этого в некоторых местах появилось дублирование параметров в конфиге и вне.

Пример конфига:

{
    "dataset": "path/to/dataset.jsonl",
    "batch_size": 1,
    "max_samples": 32,
    "max_seq_length": 2048,
    "formatting_func": {
        "template": [
            {
                "type": "from_sample",
                "key": "query"
            },
            {
                "type": "text",
                "text": "...." # FILL some separator
            },
            {
                "type": "from_sample",
                "key": "reply"
            }
        ],
        "replacement_rules": { }
    },
    "truncation": false
}