.ldamodel – Latente de Dirichlet Asignación¶

>>> from gensim.test.utils import common_texts>>> from gensim.corpora.dictionary import Dictionary>>>>>> # Create a corpus from a list of texts>>> common_dictionary = Dictionary(common_texts)>>> common_corpus = >>>>>> # Train the model on the corpus.>>> lda = LdaModel(common_corpus, num_topics=10)

>>> from gensim.test.utils import datapath>>>>>> # Save model to disk.>>> temp_file = datapath("model")>>> lda.save(temp_file)>>>>>> # Load a potentially pretrained model from disk.>>> lda = LdaModel.load(temp_file)

>>> # Create a new corpus, made of previously unseen documents.>>> other_texts = ,... ,... ... ]>>> other_corpus = >>>>>> unseen_doc = other_corpus>>> vector = lda # get topic probability distribution for a document

>>> lda.update(other_corpus)>>> vector = lda

>>> lda = LdaModel(common_corpus, num_topics=50, alpha='auto', eval_every=5) # learn asymmetric alpha from data

>>> from gensim.test.utils import common_corpus>>>>>> lda = LdaModel(common_corpus, num_topics=10)

>>> doc_bow = >>> doc_lda = lda

>>> # In practice (corpus =/= initial training corpus), but we use the same here for simplicity.>>> other_corpus = common_corpus>>>>>> lda.update(other_corpus)

Véase también

save()

Guardar el modelo.

>>> from gensim.test.utils import datapath>>>>>> fname = datapath("lda_3_0_1_model")>>> lda = LdaModel.load(fname, mmap='r')

log_perplexity(chunk, total_docs=None)¶

Calcule y devuelva un enlace de probabilidad por palabra, utilizando un fragmento de documentos como corpus de evaluación.

También muestra las estadísticas calculadas, incluida la perplejidad = 2^(- bound), para registrar a nivel de información.

Parámetros

• chunk (list of list of (int, float)) – El fragmento de corpus en el que se realizará el paso de inferencia.

• total_docs (int, opcional) – Número de documentos utilizados para evaluar la perplejidad.

Devuelve

La puntuación de encuadernación variacional calculada para cada palabra.

Tipo de retorno

numpy.ndarray

print_topic(topicno, topn=10)¶

Obtener un solo tema como una cadena formateada.

Parámetros

• topicno (int) – Id de tema.

• topn (int) – Número de palabras del tema que se utilizarán.

Devuelve

Una representación de cadena del tema, como ‘-0.340 *» categoría «+ 0.298 * «M M +» + 0.183 * «álgebra»+…’.

tipo de Retorno

str

print_topics(num_topics=20, num_words=10)¶

Obtener los temas más significativos (alias para show_topics() método).

Parámetros

• num_topics (int, opcional) – El número de temas a ser seleccionado, si -1 – todos los temas estarán en resultado (ordenadas por importancia).

• num_words (int, opcional) – El número de palabras a ser incluido por temas (ordenadas por importancia).

Devuelve la secuencia

con (topic_id,).

Tipo de retorno

list of (int, list of(str, float))

save(fname, ignore=(‘state’, ‘dispatcher’), separately=None, *args, **kwargs)¶

Guarde el modelo en un archivo.

Las matrices internas grandes pueden almacenarse en archivos separados, con nombrefijo.

Notas

Si tiene la intención de usar modelos en versiones Python 2/3, hay algunas cosas que debe tener en cuenta:

1. Los diccionarios Python encapsulados no funcionarán en todas las versiones de Python

2. El método save no guarda automáticamente todas las matrices numpy por separado, solo aquellas que exceden el límite de sep_ establecido en save(). La preocupación principal aquí es la matriz alfa si, por ejemplo, se usa alpha = ‘auto’.

Consulte la sección recetas de la wiki para ver un ejemplo sobre cómo solucionar estos problemas.

Parámetros

• fname (str) – Ruta al archivo del sistema donde se conservará el modelo.

• ignorar (tupla de str, opcional): Los atributos con nombre de la tupla se dejarán fuera del modelo en escabeche. La razón por la que el estado interno es ignorado por defecto es que utiliza su propia serialización en lugar de la única proporcionada por este método.

• por separado ({lista de str, Ninguno}, opcional) – Si no hay ninguno-detecta automáticamente numpy/scipy grandes.matrices dispersas en el objeto que se está almacenando, y almacenarlas en archivos separados. Esto evita errores de memoria de pepinillos y permite mmap’ing de arreglos grandes de vuelta en carga de manera eficiente. Si la lista de atributos str – this se almacena en archivos separados, la comprobación automática no se realiza en este caso.

• *args – argumentos Posicionales propaga a save().

• **kwargs-Argumentos de palabras clave propagados a save().

show_topic(topicid, topn=10)¶

Obtener la representación de un único tema. Las palabras aquí son las cadenas reales, constrast aget_topic_terms() que representa las palabras por su ID de vocabulario.

Parámetros

• topicid (int): IDENTIFICADOR del tema para ser devueltos

• topn (int, opcional) – Número de las palabras más significativas que están asociados con el tema.

Devuelve

pares Palabra – probabilidad para las palabras más relevantes generadas por el tema.

Tipo de retorno

lista de (str, float)

show_topics(num_topics=10, num_words=10, log=False, formatted=True)¶

Obtener una representación de los temas seleccionados.

Parámetros

• num_topics (int, opcional) – Número de temas a devolver. A diferencia de LSA, no hay un orden natural entre los temas en LDA.Por lo tanto, el subconjunto de temas devueltos de todos los temas es arbitrario y puede cambiar entre dos ejecuciones de LDAtraining.

• num_words (int, opcional) – Número de palabras que se presentan para cada tema. Estas serán las palabras más relevantes (se les asignará la mayor probabilidad para cada tema).

• log (bool, opcional) – Si la salida también está registrada, además de ser devuelta.

• formateado (bool, opcional): Si las representaciones de temas deben formatearse como cadenas. Si es Falso, se devuelven como 2 tuplas de (palabra, probabilidad).

Devuelve

una lista de temas, cada uno representado como una cadena (con el formato == True) o pares de probabilidades de palabra.

Tipo de retorno

list of {str, tupla of(str, float)}

sync_state(current_Elogbeta=None)¶

Propaga las probabilidades de temas de estados al atributo del objeto interno.

Parámetros

current_Elogbeta (numpy.ndarray) – Probabilidades posteriores para cada tema, opcional.Si se omite, obtendrá Elogbeta del estado.

top_topics(corpus=None, texts=None, dictionary=None, window_size=None, coherence=’u_mass’, topn=20, processes=-1)¶

Obtenga los temas con la puntuación de coherencia más alta la coherencia para cada tema.

Parámetros

• corpus (iterable de lista de (int, float), opcional) – Corpus en formato de arco.

• textos (lista de lista de str, opcional) – Textos tokenizados, necesarios para modelos de coherencia que utilizan ventanas corredizas (p. ej. estimador de probabilidad coherence=`c_something`).diccionario

• (Dictionary, opcional) – Mapeo de palabras de identificación del diccionario Gensim para crear corpus.Si el modelo.id2word está presente, esto no es necesario. Si se proporcionan ambos, se utilizará el diccionario aprobado.

• window_size (int, opcional): Es el tamaño de la ventana que se utilizará para las medidas de coherencia que utilizan la ventana deslizante booleana como estimador de probabilidad. Para ‘u_mass’ esto no importa.Si no hay ninguno, se utilizan los tamaños de ventana predeterminados que son: ‘c_v’ – 110, ‘c_uci’ – 10, ‘c_npmi’ – 10.

• la coherencia ({‘u_mass’, ‘c_v’, ‘c_uci’, ‘c_npmi’}, opcional) – Coherencia medida que se utiliza.Método más rápido – ‘u_mass’,’ c_uci ‘ también conocido como c_pmi.Para el corpus’ u_mass ‘ se debe proporcionar, si se proporcionan textos, se convertirá a corpusus utilizando el diccionario. Para’ c_v’, deben proporcionarse textos’ c_uci ‘y’ c_npmi ‘ (no es necesario el corpus)

• topn (int, opcional) – Entero correspondiente al número de palabras principales que se extraerán de cada tema.

• procesos (int, opcional) – Número de procesos a usar para la fase de estimación de probabilidad, cualquier valor menor a 1 se interpretará como num_cpus-1.

Devuelve

Cada elemento de la lista es un par de una representación de tema y su puntuación de coherencia. Las representaciones temáticas son distribuciones de palabras, representadas como una lista de pares de ID de palabras y sus probabilidades.

Tipo de retorno

list of (list of (int, str), float)

update(corpus, chunksize=None, decay=None, offset=None, passes=None, update_every=None, eval_every=None, iterations=None, gamma_threshold=None, chunks_as_numpy=False)¶

Entrena el modelo con nuevos documentos, iterando EM sobre el corpus hasta que los temas converjan, o hasta que se alcance el número máximo de iteraciones permitidas. corpus debe ser iterable.

En el modo distribuido, el paso E se distribuye en un clúster de máquinas.

Notas

Esta actualización también admite la actualización de un modelo ya entrenado con documentos nuevos; los dos modelos se fusionan en proporción al número de documentos antiguos frente a nuevos. Esta característica todavía es experimental para flujos de entrada no estacionaria. Para la entrada estacionaria (sin deriva de temas en documentos nuevos), por otro lado, esto equivale a la actualización en línea de Matthew D. Hoffman, David M. Blei, Francis Bach:»Aprendizaje en línea para NIPS de Asignación de Dirichlet Latentes’10».y está garantizado que convergen para cualquier decaimiento (0.5, 1.0). Además, para tamaños de corpus más pequeños, un desplazamiento de aumento puede ser beneficioso (consulte la Tabla 1 en el mismo documento).

Parámetros

• corpus (iterable de lista de (int, float), opcional): flujo de vectores de documentos o matriz dispersa de forma (num_documents, num_terms) que se utiliza para actualizar el modelo.

• tamaño del fragmento (int, opcional): Número de documentos que se utilizarán en cada fragmento de formación.

• decay (flotante, opcional) –

  Un número entre (0,5, 1] para ponderar qué porcentaje del valor lambda anterior se olvida cuando se examina cada nuevo documento. Corresponde a Kappa fromMatthew D. Hoffman, David M. Blei, Francis Bach: «Aprendizaje en línea para Asignación de Dirichlet Latente NIPS ’10».

• offset (flotante, opcional)-

  Hiperparámetro que controla cuánto ralentizaremos los primeros pasos de las primeras iteraciones.Corresponde a Tau_0 de Matthew D. Hoffman, David M. Blei, Francis Bach: «Aprendizaje en línea para NIPS de Asignación de Dirichlet Latentes ’10».

• pases (int, opcionales) – Número de pases por el corpus durante el entrenamiento.

• update_every (int, opcional) – Número de documentos a iterar para cada actualización.Se establece en 0 para el aprendizaje por lotes, > 1 para el aprendizaje iterativo en línea.

• eval_every (int, opcional) – La perplejidad del registro se estima cada tantas actualizaciones. Establecer esto en uno ralentiza el entrenamiento en ~2 veces.

• iteraciones (int, opcional): Número máximo de iteraciones a través del corpus al inferir la distribución de temas de un corpus.

• gamma_threshold (flotante, opcional) – Cambio mínimo en el valor de los parámetros gamma para continuar iterando.

• chunks_as_numpy (bool, opcional) – Si cada fragmento pasado al paso de inferencia debe ser un numpy.ndarray o no. Numpy puede en algunos ajustes convertir los ID de término en flotadores, estos se convertirán de nuevo en enteros en inferencia, lo que incurre en un golpe de rendimiento. Para la computación distribuida, puede ser deseable mantener los trozos como numpy.ndarray.

update_alpha(gammat, rho)¶

Actualizar parámetros para el Dirichlet anterior en los pesos de tema por documento.

Parámetros

• gammat (numpy.ndarray) – Tema anterior parámetros de peso.

• rho (flotador) – Tasa de aprendizaje.

Devuelve

Secuencia de alfa parámetros.

Tipo de retorno

numpy.ndarray

update_eta(lambdat, rho)¶

Actualizar parámetros para el Dirichlet anterior en los pesos de palabras por tema.

Parámetros

• lambdat (numpy.ndarray) – Parámetros lambda anteriores.

• rho (flotador) – Tasa de aprendizaje.

Devuelve

Los parámetros eta actualizados.

Tipo de retorno

numpy.ndarray

class gensim.models.ldamodel.LdaState(eta, shape, dtype=< class ‘numpy.float32’>)¶

Bases: gensim.utils.SaveLoad

Encapsular la información para la computación distribuida de LdaModel objetos.

Los objetos de esta clase se envían a través de la red, así que intente mantenerlos ajustados para reducir el tráfico.

Parámetros

• eta (numpy.ndarray – – Las probabilidades previas asignadas a cada término.

• forma (tupla de (int, int)) – Forma de las estadísticas suficientes: (número de temas a encontrar, número de términos en el vocabulario).

• dtype (type) – Anula los tipos predeterminados de la matriz numpy.

add_lifecycle_event(event_name, log_level = 20, **event)¶

Anexe un evento al atributo lifecycle_events de este objeto, y también registre opcionalmente el evento en log_level.Los eventos

son momentos importantes durante la vida del objeto, como «modelo creado», «modelo guardado», «modelo cargado», etc.

El atributo lifecycle_events se conserva en las operaciones save()y load() del objeto. No tiene ningún impacto en el uso del modelo,pero es útil durante la depuración y el soporte.

Establecer uno mismo.lifecycle_events = None para deshabilitar este comportamiento. Las llamadas a add_lifecycle_event () no registrarán eventos en self.eventos de ciclo de vida entonces.

Parámetros

• event_name (str) – Nombre del evento. Puede ser cualquier etiqueta, p. ej. «creado», «almacenados», etc.

• evento (dict)-

  Asignación de clave y valor para anexar a uno mismo.eventos de ciclo de vida. Debe ser serializable con JSON, así que sea sencillo.Puede estar vacío.

  Este método, se agrega automáticamente a la siguiente clave-valor para el evento, así que usted no tiene que especificar ellos:

  • datetime: la fecha actual & tiempo

  • gensim: el actual Gensim versión

  • python: la actual versión de Python

  • plataforma: la plataforma actual

  • evento: el nombre de este evento

• log_level (int) – También registramos el evento complete dict, en el nivel de registro. Establezca False para no iniciar sesión en absoluto.

blend(rhot, other, targetsize=None)¶

Combine el estado actual con otro utilizando un promedio ponderado para las estadísticas suficientes.

El número de documentos se extiende en ambos objetos de estado, de modo que son de magnitud comparable.Este procedimiento corresponde a la actualización del gradiente estocástico de Hoffman et al. : «Aprendizaje en línea para la Asignación de Dirichlet Latente», ver ecuaciones (5) y (9).

Parámetros

• rhot (flotador) – Peso del otro estado en la media calculada. Un valor de 0.0 significa que otheris completamente ignorado. Un valor de 1.0 significa que self es completamente ignorado.

• other (LdaState) – El objeto de estado con el que se fusionará el actual.

• targetsize (int, opcional) – El número de documentos para estirar ambos estados.

blend2(rhot, other, targetsize=None)¶

Combine el estado actual con otro utilizando una suma ponderada para obtener estadísticas suficientes.

A diferencia de blend(), las estadísticas suficientes no se escalan antes de la agregación.

Parámetros

• rhot (flotador) – Sin usar.

• other (LdaState) – El objeto de estado con el que se fusionará el actual.

• targetsize (int, opcional) – El número de documentos para estirar ambos estados.

get_Elogbeta ()¶

Obtener las probabilidades de registro (posteriores) para cada tema.

Devuelve

probabilidades Posteriores para cada tema.

Tipo de retorno

numpy.ndarray

get_lambda ()¶

Obtiene los parámetros de la parte posterior sobre los temas, también conocidos como «los temas».

Devuelve

Parámetros de la probabilidad posterior sobre temas.

Tipo de retorno

numpy.método de clase ndarray

load(fname, *args, **kwargs)¶

Cargar un estado almacenado previamente desde el disco.

Anulaload aplicando el parámetro dtype para garantizar la compatibilidad con versiones anteriores.

Parámetros

• fname (str) – Ruta de acceso al archivo que contiene el objeto necesario.

• args (objeto) – Parámetros posicionales que se propagarán a la clase:~gensim.utils.Carga salvada.carga

• kwargs (objeto)-Parámetros de palabra clave que se propagarán a la clase:~gensim.utils.Carga salvada.load

Devuelve

El estado cargado desde el archivo dado.

Tipo de retorno

LdaState

merge(otro)¶

Combinar el resultado de un paso E de un nodo con el de otro nodo (resumiendo estadísticas suficientes).

La fusión es trivial y después de fusionar todos los nodos del clúster, tenemos el mismo resultado exacto que si el cálculo se ejecutara en un solo nodo (no aproximación).

Parámetros

otros (LdaState) – El objeto de estado con el que se fusionará el actual.

reset()¶

Preparar el estado para una nueva iteración EM (restablecer estadísticas suficientes).

save(nombre_or_handle, separately=None, sep_limit=10485760, ignore=frozenset ({}), pickle_protocol=4)¶

Guarde el objeto en un archivo.

Parámetros

• nombre_or_handle (str o similar a un archivo): Ruta al archivo de salida o al objeto similar a un archivo ya abierto. Si el objeto es un manejador de archivo,no se realizará ningún manejo especial de matriz, todos los atributos se guardarán en el mismo archivo.

• por separado (lista de str o Ninguno, opcional) –

  Si no hay ninguno, detecta automáticamente numpy/scipy grande.matrices dispersas en el objeto que se está almacenando, y almacenarlas en archivos separados. Esto evita errores de memoria para objetos grandes, y también permite mapear la memoria de los arreglos grandes para una carga eficiente y compartir los arreglos grandes en RAM entre varios procesos.

  If lista de str: almacene estos atributos en archivos separados. La comprobación de tamaño automatizada no se realiza en este caso.

• sep_limit (int, opcional) – No almacene matrices más pequeñas que esta por separado. En bytes.

• ignorar (frozenset de str, opcional): Atributos que no se deben almacenar en absoluto.

• pickle_protocol (int, opcional) – Número de protocolo para pickle.

gensim.models.ldamodel.update_dir_prior(prior, N, logphat, rho)¶

Actualice un prior determinado utilizando el método de Newton, descrito como inJ. Huang: «Estimación de Máxima Verosimilitud de los Parámetros de Distribución de Dirichlet».

Parámetros

• prior (lista de elementos flotantes): El anterior para cada posible resultado en la iteración anterior (que se actualizará).

• N (int) – Número de observaciones.

• logphat (lista de variables flotantes) – Probabilidades de registro para la estimación actual, también llamada «estadísticas suficientes observadas».

• rho (flotador) – Tasa de aprendizaje.

Devuelve

La actualización antes.

tipo de Retorno

lista de float