¿Cómo reemplaza Alist Xiaoya el token?

alista Xiaoya reemplaza el token de la siguiente manera:

1. Primero, usamos el método de codificación del tokenizador para convertir la oración en una secuencia de token, donde add_special_tokens=False significa no agregar un Etiqueta especial de inicio y cierre.

2. Luego, utilizamos el método convert_tokens_to_ids del tokenizador para convertir el nuevo token a su ID correspondiente y luego lo insertamos en la tercera posición de la secuencia.

3. Finalmente, utilizamos el método de decodificación del tokenizador para convertir la secuencia nuevamente a formato de texto.