feat(crm): carril con reintentos que entrega los documentos del CRM a EFC

Clon del gateway Anexo22 -> EFC que ya esta en produccion, con los nombres
cambiados. No es una reinterpretacion: la maquina de reintentos de tres capas,
el corte en 4xx y las cuatro guardas de idempotencia se conservan tal cual.

Sin esto, "EFC es la fuente unica" obligaria a llamar a EFC dentro del request
del usuario, y un EFC caido le haria perder su trabajo. Con outbox + Celery, la
subida responde 201 siempre y el sistema entrega cuando EFC vuelve, sin
duplicar: el crm_document_ref viaja con la subida y EFC devuelve 200 con el
documento que ya existia en vez de crear otro. Es lo que cubre el timeout
ambiguo -EFC commiteo y contesto tarde-, donde el CRM no puede saber si entro.

TRES DESVIACIONES DELIBERADAS DEL ORIGINAL, las tres con su razon en el codigo:

1. SAVEPOINT en vez de db.rollback() en el except del encolado. En Anexo22 el
   outbox vive en OTRA base que el pedimento, asi que su rollback solo revertia
   la sesion del outbox. El CRM es mono-base y el encolado corre DENTRO de la
   transaccion del usuario: heredar ese rollback tumbaba la solicitud y el
   expediente recien creados -exactamente lo contrario de best-effort, y en
   silencio-. Lo destapo un test y asi se manifestaba:
   "InvalidRequestError: Instance '<ServiceRequest>' is not persistent within
   this Session". Con el savepoint el fallo deshace solo la fila del outbox.

2. source_table junto a source_id en la guarda _ya_entregado. El CRM tiene DOS
   tablas de documentos con secuencias independientes: crm.documents.id = 5 y
   ops.shipment_documents.id = 5 son documentos distintos. Con el id solo, haber
   entregado el primero haria que el segundo se saltara para siempre sin un solo
   error visible. Hay test que lo fija.

3. EFC_UPLOAD_TIMEOUT_MS aparte de EFC_API_TIMEOUT_MS. Los 8 s de los metadatos
   no alcanzan para un archivo de 25 MB, y el timeout debe quedar POR DEBAJO del
   proxy_read_timeout del nginx de EFC: si el CRM esperara mas, veria un 504
   opaco sin saber si el documento entro.

El cliente HTTP llega con las pruebas que el carril de referencia NO tiene
-verificado: en Anexo22 no hay ni un test de EfcClient._request-, asi que alli
el bucle de reintentos, el backoff y el corte en 4xx nunca se ejercitan. Ese
hueco no se clona: 16 casos contra httpx.MockTransport, sin tocar la red.

Las migraciones se GENERAN y se dejan SIN aplicar.

BLOQUEADO: docker-compose.prod.yml no se toco. El ticket pide las 8 variables en
api, worker y beat, pero Orquestacion.md 13.14 y 4.5 lo prohiben expresamente
("ni tocarlo"), y el orquestador manda sobre el ticket. Queda como paso manual
en el reporte; sin el, worker y beat no ven EFC_API_URL y el carril queda
apagado en produccion, que es degradar limpio y no romper.

Verificacion: pytest tests/ EXIT=0, 151 passed 1 skipped (baseline 70 passed).
Cuatro roturas deliberadas y restauradas: quitando source_table de la guarda el
test de la ambiguedad se puso rojo; reintentando los 4xx los tres tests del
corte dieron "assert 3 == 1"; borrando el objeto local antes de subir cayeron
los tres del corte directo; y disparando el ensure por cualquier 404 se rompio
el test del code.

Ticket: T2026-08-046 (fase 6 de 7)
This commit is contained in:
2026-08-07 18:05:48 -06:00
parent 39347f9c97
commit 02feb973c9
18 changed files with 2742 additions and 2 deletions

View File

@@ -112,3 +112,23 @@ SYNC_SECRET_TOKEN=change-this-sync-token-in-production
# Lista de spokes (Solo si es HUB y desea retransmitir a otros - Opcional)
SPOKE_URLS=""
# ── EFC (expediente electronico) ─────────────────────────────────────────────
# Carril CRM -> EFC: los documentos del CRM se resguardan en el expediente de EFC.
# Los nombres son los MISMOS que usa el gateway de Anexo22 contra el mismo EFC.
#
# EFC_API_URL VACIA = integracion APAGADA. Todo el enganche es best-effort y hace no-op:
# el CRM sigue funcionando igual, guardando los archivos solo en su MinIO.
# EFC_API_KEY debe coincidir con CRM_INTEGRATION_API_KEY del lado de EFC.
EFC_API_URL=
EFC_API_KEY=
EFC_API_VERIFY_SSL=true
# Metadatos: resolver organizacion, crear expediente, completar.
EFC_API_TIMEOUT_MS=8000
# Subidas. Debe quedar POR DEBAJO del proxy_read_timeout del nginx de EFC: si el CRM
# esperara mas, veria un 504 opaco y no sabria si el documento entro.
EFC_UPLOAD_TIMEOUT_MS=55000
# Scaffolding de mTLS (pre-produccion). Vacio = TLS normal.
EFC_MTLS_CA_PATH=
EFC_MTLS_CERT_PATH=
EFC_MTLS_KEY_PATH=

View File

@@ -0,0 +1,113 @@
"""Outbox del carril CRM -> EFC: crm.efc_sync_outbox (expedientes) y crm.efc_file_outbox (archivos).
Revision ID: f7a8b9c0d1e2
Revises: e6f7a8b9c0d1
Create Date: 2026-08-07 00:00:00.000000
"""
from typing import Sequence, Union
import sqlalchemy as sa
from alembic import op
revision: str = "f7a8b9c0d1e2"
down_revision: Union[str, None] = "e6f7a8b9c0d1"
branch_labels: Union[str, Sequence[str], None] = None
depends_on: Union[str, Sequence[str], None] = None
def upgrade() -> None:
# ---------- crm.efc_sync_outbox: metadatos (alta del provisional y completado) ----------
op.create_table(
"efc_sync_outbox",
sa.Column("id", sa.Integer(), nullable=False, autoincrement=True),
sa.Column("kind", sa.String(length=20), nullable=False),
sa.Column("payload", sa.JSON(), nullable=False),
sa.Column("expediente_ref", sa.Integer(), nullable=True),
sa.Column("status", sa.String(length=10), nullable=False, server_default=sa.text("'pending'")),
sa.Column("attempts", sa.Integer(), nullable=False, server_default=sa.text("0")),
sa.Column("last_error", sa.Text(), nullable=True),
sa.Column("sent_at", sa.DateTime(), nullable=True),
sa.Column("efc_pedimento_id", sa.String(length=36), nullable=True),
sa.Column("tenant_id", sa.Integer(), nullable=False),
sa.Column("company_id", sa.Integer(), nullable=False),
sa.Column("created_at", sa.DateTime(), nullable=False, server_default=sa.text("now()")),
sa.Column("updated_at", sa.DateTime(), nullable=False, server_default=sa.text("now()")),
sa.Column("deleted_at", sa.DateTime(), nullable=True),
sa.PrimaryKeyConstraint("id"),
schema="crm",
)
op.create_index("ix_crm_efc_sync_outbox_status", "efc_sync_outbox", ["status"], schema="crm")
op.create_index("ix_crm_efc_sync_outbox_kind_status", "efc_sync_outbox", ["kind", "status"], schema="crm")
op.create_index("ix_crm_efc_sync_outbox_expediente_ref", "efc_sync_outbox", ["expediente_ref"], schema="crm")
op.create_index("ix_crm_efc_sync_outbox_tenant_id", "efc_sync_outbox", ["tenant_id"], schema="crm")
op.create_index("ix_crm_efc_sync_outbox_company_id", "efc_sync_outbox", ["company_id"], schema="crm")
op.create_foreign_key(
"fk_crm_efc_sync_outbox_tenant_id", "efc_sync_outbox", "tenants",
["tenant_id"], ["id"], source_schema="crm", referent_schema="core",
)
# ---------- crm.efc_file_outbox: archivos ----------
op.create_table(
"efc_file_outbox",
sa.Column("id", sa.Integer(), nullable=False, autoincrement=True),
sa.Column("kind", sa.String(length=30), nullable=False),
sa.Column("s3_key", sa.String(length=1024), nullable=False),
sa.Column("file_name", sa.String(length=255), nullable=False),
sa.Column("content_type", sa.String(length=100), nullable=True),
sa.Column("efc_tipo", sa.String(length=40), nullable=False),
# La pareja (tabla, id) desambigua entre las DOS secuencias de documentos del CRM:
# crm.documents.id = 5 y ops.shipment_documents.id = 5 coexisten.
sa.Column("source_table", sa.String(length=30), nullable=False),
sa.Column("source_id", sa.Integer(), nullable=True),
sa.Column("crm_document_ref", sa.String(length=64), nullable=True),
sa.Column("expediente_ref", sa.Integer(), nullable=False),
sa.Column("delete_local", sa.Boolean(), nullable=False, server_default=sa.text("true")),
sa.Column("status", sa.String(length=10), nullable=False, server_default=sa.text("'pending'")),
sa.Column("attempts", sa.Integer(), nullable=False, server_default=sa.text("0")),
sa.Column("last_error", sa.Text(), nullable=True),
sa.Column("sent_at", sa.DateTime(), nullable=True),
sa.Column("efc_document_id", sa.String(length=36), nullable=True),
sa.Column("tenant_id", sa.Integer(), nullable=False),
sa.Column("company_id", sa.Integer(), nullable=False),
sa.Column("created_at", sa.DateTime(), nullable=False, server_default=sa.text("now()")),
sa.Column("updated_at", sa.DateTime(), nullable=False, server_default=sa.text("now()")),
sa.Column("deleted_at", sa.DateTime(), nullable=True),
sa.PrimaryKeyConstraint("id"),
schema="crm",
)
op.create_index("ix_crm_efc_file_outbox_status", "efc_file_outbox", ["status"], schema="crm")
op.create_index("ix_crm_efc_file_outbox_kind_status", "efc_file_outbox", ["kind", "status"], schema="crm")
# Índice de la guarda _ya_entregado, que es lo que se consulta en cada encolado.
op.create_index("ix_crm_efc_file_outbox_source", "efc_file_outbox", ["source_table", "source_id"], schema="crm")
op.create_index("ix_crm_efc_file_outbox_expediente_ref", "efc_file_outbox", ["expediente_ref"], schema="crm")
op.create_index("ix_crm_efc_file_outbox_tenant_id", "efc_file_outbox", ["tenant_id"], schema="crm")
op.create_index("ix_crm_efc_file_outbox_company_id", "efc_file_outbox", ["company_id"], schema="crm")
op.create_foreign_key(
"fk_crm_efc_file_outbox_tenant_id", "efc_file_outbox", "tenants",
["tenant_id"], ["id"], source_schema="crm", referent_schema="core",
)
op.create_foreign_key(
"fk_crm_efc_file_outbox_expediente_ref", "efc_file_outbox", "expedientes",
["expediente_ref"], ["id"], source_schema="crm", referent_schema="crm",
)
def downgrade() -> None:
op.drop_constraint("fk_crm_efc_file_outbox_expediente_ref", "efc_file_outbox", schema="crm", type_="foreignkey")
op.drop_constraint("fk_crm_efc_file_outbox_tenant_id", "efc_file_outbox", schema="crm", type_="foreignkey")
op.drop_index("ix_crm_efc_file_outbox_company_id", table_name="efc_file_outbox", schema="crm")
op.drop_index("ix_crm_efc_file_outbox_tenant_id", table_name="efc_file_outbox", schema="crm")
op.drop_index("ix_crm_efc_file_outbox_expediente_ref", table_name="efc_file_outbox", schema="crm")
op.drop_index("ix_crm_efc_file_outbox_source", table_name="efc_file_outbox", schema="crm")
op.drop_index("ix_crm_efc_file_outbox_kind_status", table_name="efc_file_outbox", schema="crm")
op.drop_index("ix_crm_efc_file_outbox_status", table_name="efc_file_outbox", schema="crm")
op.drop_table("efc_file_outbox", schema="crm")
op.drop_constraint("fk_crm_efc_sync_outbox_tenant_id", "efc_sync_outbox", schema="crm", type_="foreignkey")
op.drop_index("ix_crm_efc_sync_outbox_company_id", table_name="efc_sync_outbox", schema="crm")
op.drop_index("ix_crm_efc_sync_outbox_tenant_id", table_name="efc_sync_outbox", schema="crm")
op.drop_index("ix_crm_efc_sync_outbox_expediente_ref", table_name="efc_sync_outbox", schema="crm")
op.drop_index("ix_crm_efc_sync_outbox_kind_status", table_name="efc_sync_outbox", schema="crm")
op.drop_index("ix_crm_efc_sync_outbox_status", table_name="efc_sync_outbox", schema="crm")
op.drop_table("efc_sync_outbox", schema="crm")

View File

@@ -0,0 +1,131 @@
"""Outbox transaccional del carril CRM Agentes de Carga -> EFC.
DOS tablas separadas POR PROPÓSITO, igual que en el carril de referencia de Anexo22: una para los
expedientes (metadatos, JSON) y otra para los archivos (binarios que viven en MinIO y se referencian
por su ``s3_key``). Un worker de Celery las drena hacia EFC con reintentos.
**Diferencia con el original, y es necesaria:** aquí las filas se insertan en la MISMA transacción
que el expediente o el documento, porque el CRM es mono-base. En Anexo22 el outbox vivía en otra
base que el pedimento, y ese doble-commit es justamente lo que obligó a inventar el barrido de
huecos. Aquí el barrido se conserva —cubre lo creado antes de activar la integración y cualquier
crash— pero deja de ser el parche de una ventana estructural.
"""
from datetime import datetime
from typing import Optional
from sqlalchemy import JSON, Boolean, DateTime, ForeignKey, Index, Integer, String, Text, text
from sqlalchemy.orm import Mapped, mapped_column
from api.v1.common.base_models import TenantScopedMixin, TimestampMixin
from core.database import Base
# Tipo de trabajo (columna kind) del outbox de EXPEDIENTES.
KIND_EXPEDIENTE = "expediente"
KIND_COMPLETAR = "completar"
# Tipos del outbox de ARCHIVOS (efc_file_outbox).
FILE_KIND_DOCUMENTO = "documento"
# Tablas de origen posibles de un archivo. El CRM tiene DOS tablas de documentos con secuencias
# independientes, así que `source_id` por sí solo es ambiguo: crm.documents.id = 5 y
# ops.shipment_documents.id = 5 coexisten.
SOURCE_CRM_DOCUMENTS = "crm.documents"
SOURCE_OPS_SHIPMENT_DOCUMENTS = "ops.shipment_documents"
SOURCE_FIN_INVOICES = "fin.invoices"
# Estados (columna status).
STATUS_PENDING = "pending"
STATUS_SENT = "sent"
STATUS_FAILED = "failed"
# Tope de reintentos antes de marcar 'failed' (reconciliación / reintento manual).
# Heredado del carril de Anexo22. Con barridos de 120 s son ~17 minutos de insistencia antes de
# rendirse y dejar la fila visible para que una persona la reintente a mano.
MAX_ATTEMPTS = 8
class EfcSyncOutbox(Base, TenantScopedMixin, TimestampMixin):
"""Cola de metadatos hacia EFC: crear el expediente provisional y completarlo."""
__tablename__ = "efc_sync_outbox"
__table_args__ = (
Index("ix_crm_efc_sync_outbox_status", "status"),
Index("ix_crm_efc_sync_outbox_kind_status", "kind", "status"),
{"schema": "crm"},
)
id: Mapped[int] = mapped_column(Integer, primary_key=True, autoincrement=True)
kind: Mapped[str] = mapped_column(String(20), nullable=False)
# Datos para construir el request a EFC (folio, storage_token, tenant slug, company, y la data
# aduanera si el kind es 'completar').
payload: Mapped[dict] = mapped_column(JSON, nullable=False)
# id local del expediente (crm.expedientes.id) que originó la fila.
expediente_ref: Mapped[Optional[int]] = mapped_column(Integer, nullable=True, index=True)
# Ciclo de vida.
status: Mapped[str] = mapped_column(String(10), nullable=False, server_default=text(f"'{STATUS_PENDING}'"))
attempts: Mapped[int] = mapped_column(Integer, nullable=False, server_default=text("0"))
last_error: Mapped[Optional[str]] = mapped_column(Text, nullable=True)
sent_at: Mapped[Optional[datetime]] = mapped_column(DateTime, nullable=True)
# Acuse de EFC al confirmar (trazabilidad).
efc_pedimento_id: Mapped[Optional[str]] = mapped_column(String(36), nullable=True)
class EfcFileOutbox(Base, TenantScopedMixin, TimestampMixin):
"""Cola de ARCHIVOS hacia EFC.
El binario vive en el MinIO del CRM (durable); esta fila referencia su ``s3_key`` y el expediente
destino. El worker lo sube a EFC y, con ``delete_local`` (corte directo), BORRA la copia local al
confirmar la entrega.
``delete_local`` **es el mecanismo de «EFC es la fuente única»**: "solo EFC" es el estado FINAL
(eventual), no el inmediato. Entre que el usuario sube el archivo y que EFC lo confirma, la copia
local es lo único que hay, y borrarla antes perdería el archivo si la entrega fallara.
``source_table`` es un añadido necesario sobre el original de Anexo22, que solo llevaba
``source_id``. El CRM tiene dos tablas de documentos con secuencias independientes, así que un
entero solo es ambiguo entre ellas. Es el mismo problema que Anexo22 resolvió con su mapa por
``kind``, y su comentario dice qué pasa si se ignora: un UPDATE con el id de otra tabla **vacía la
columna de un documento ajeno** que tuviera ese mismo entero — daño en el dato de otro, sin un
solo error visible. Un ``(kind, source_table)`` que no esté en el mapa **no toca nada**, en vez
de caer por omisión.
"""
__tablename__ = "efc_file_outbox"
__table_args__ = (
Index("ix_crm_efc_file_outbox_status", "status"),
Index("ix_crm_efc_file_outbox_kind_status", "kind", "status"),
Index("ix_crm_efc_file_outbox_source", "source_table", "source_id"),
{"schema": "crm"},
)
id: Mapped[int] = mapped_column(Integer, primary_key=True, autoincrement=True)
kind: Mapped[str] = mapped_column(String(30), nullable=False)
# Objeto en MinIO a subir + metadata para el upload a EFC.
s3_key: Mapped[str] = mapped_column(String(1024), nullable=False)
file_name: Mapped[str] = mapped_column(String(255), nullable=False)
content_type: Mapped[Optional[str]] = mapped_column(String(100), nullable=True)
efc_tipo: Mapped[str] = mapped_column(String(40), nullable=False) # tipo de documento en EFC
# Origen: la pareja (tabla, id) desambigua entre las dos secuencias de documentos del CRM.
source_table: Mapped[str] = mapped_column(String(30), nullable=False)
source_id: Mapped[Optional[int]] = mapped_column(Integer, nullable=True)
# El handle autoritativo que viaja a EFC y garantiza la idempotencia del lado de allá.
crm_document_ref: Mapped[Optional[str]] = mapped_column(String(64), nullable=True)
expediente_ref: Mapped[int] = mapped_column(
Integer, ForeignKey("crm.expedientes.id"), nullable=False, index=True
)
delete_local: Mapped[bool] = mapped_column(Boolean, nullable=False, server_default=text("true"))
# Ciclo de vida.
status: Mapped[str] = mapped_column(String(10), nullable=False, server_default=text(f"'{STATUS_PENDING}'"))
attempts: Mapped[int] = mapped_column(Integer, nullable=False, server_default=text("0"))
last_error: Mapped[Optional[str]] = mapped_column(Text, nullable=True)
sent_at: Mapped[Optional[datetime]] = mapped_column(DateTime, nullable=True)
efc_document_id: Mapped[Optional[str]] = mapped_column(String(36), nullable=True)

View File

@@ -0,0 +1,58 @@
"""Endpoints de operación y observabilidad del carril CRM -> EFC.
Tablero mínimo para ver y reintentar la entrega de expedientes y documentos a EFC. Autenticado con
el auth normal del CRM y acotado por tenant/company, como el resto del módulo.
Montado bajo ``/v1/crm`` → ``/v1/crm/expediente-gateway/...``
"""
from fastapi import APIRouter, Depends, HTTPException, Query
from sqlalchemy.orm import Session
from core.database import get_core_db
from core.security import get_current_user
from . import service
router = APIRouter(prefix="/expediente-gateway", tags=["EFC Gateway (ops)"])
@router.get("/outbox")
def list_outbox(
company_id: int = Query(..., description="Company ID"),
tipo: str | None = Query(None, description="Filtrar por tabla: sync|file"),
status: str | None = Query(None, description="Filtrar por status: pending|sent|failed"),
limit: int = Query(100, ge=1, le=500),
current_user: dict = Depends(get_current_user),
db: Session = Depends(get_core_db),
):
"""Filas de los dos outbox, para ver los fallos y su ``last_error``."""
return service.list_outbox(db, current_user["tenant_id"], company_id, tipo, status, limit)
@router.post("/outbox/{outbox_id}/retry")
def retry_outbox(
outbox_id: int,
company_id: int = Query(..., description="Company ID"),
tipo: str = Query("file", description="Tabla de la fila: sync|file"),
current_user: dict = Depends(get_current_user),
db: Session = Depends(get_core_db),
):
"""Reintento manual de una fila: la resetea a ``pending`` y la re-despacha.
Una fila inexistente devuelve **404 con mensaje específico**, no un 200 silencioso: el frontend
pinta el botón de reintento según lo que reciba, y un 200 le haría creer que la entrega volvió a
la cola cuando no hay nada que entregar.
"""
ok = service.retry_outbox_row(db, outbox_id, current_user["tenant_id"], company_id, tipo)
if not ok:
raise HTTPException(status_code=404, detail="Fila de outbox no encontrada")
return {"status": "requeued", "id": outbox_id}
@router.get("/metrics")
def metrics(
company_id: int = Query(..., description="Company ID"),
current_user: dict = Depends(get_current_user),
db: Session = Depends(get_core_db),
):
"""Conteo de los dos outbox por status (pending/sent/failed) para monitoreo."""
return service.outbox_metrics(db, current_user["tenant_id"], company_id)

View File

@@ -0,0 +1,731 @@
"""Carril CRM Agentes de Carga -> EFC: encolado, entrega y reconciliación.
Clon del gateway de Anexo22 (``anexo22/.../pedimentos/pedimento_gateway/service.py``), que es el
carril de referencia ya en producción. Quien conozca uno debe poder leer el otro, así que la tabla
de equivalencias va aquí:
====================================== ======================================
Anexo22 CRM
====================================== ======================================
``replicate_pedimento_best_effort`` ``replicate_expediente_best_effort``
``_enqueue_pedimento_outbox`` ``_enqueue_expediente_outbox``
``_dispatch_delivery`` igual
``deliver_row`` / ``_deliver_pedimento`` ``deliver_row`` / ``_deliver_expediente``
``_register_failure`` **idéntico**
``_ya_entregado(source_id, kind)`` ``_ya_entregado(source_table, source_id, kind)``
``deliver_file_row`` **idéntico**, con ensure-then-upload y ``delete_local``
``_register_file_failure`` **idéntico**
``_resolve_org_id`` + ``_org_id_cache`` igual — dict módulo-global, por worker, sin invalidación
``list_outbox`` / ``retry_outbox_row`` / ``outbox_metrics`` igual, para las dos tablas
``find_pedimento_gaps`` ``find_expediente_gaps``
====================================== ======================================
**La máquina de reintentos tiene tres capas y las tres se conservan:**
1. En el cliente HTTP: 3 intentos, backoff lineal ``0.15 * (attempt + 1)``, corte seco en 4xx.
2. En el worker: ``deliver_row`` **nunca lanza**; registra el fallo en la propia fila.
3. En el beat: barridos cada 120 s que re-despachan lo ``pending``.
No hay ``autoretry_for``, ``retry_backoff`` ni ``max_retries`` en las tareas: duplicarían el
mecanismo que ya está en el cliente y en el barrido.
**Cuatro guardas de idempotencia**, en este orden:
1. ``_ya_entregado(source_table, source_id, kind)`` antes de encolar.
2. ``if row.status == STATUS_SENT: return`` al entrar a entregar.
3. El ``crm_document_ref`` que viaja con la subida: EFC devuelve 200 con el que ya existía.
4. El UNIQUE parcial del lado de EFC — la única que garantiza la base.
**Por qué ``find_expediente_gaps`` sigue aquí aunque el CRM sea mono-base.** En Anexo22 el outbox se
commitea aparte del pedimento (dos bases distintas) y ese doble-commit es lo que obligó a inventar el
barrido de huecos. Aquí la fila del outbox va en la MISMA transacción que el expediente, así que esa
ventana no existe. El barrido se conserva porque cubre otras dos cosas: los expedientes creados
**antes** de activar la integración, y cualquier crash. Queda escrito para que el siguiente que lo
lea no lo borre creyendo que es redundante.
"""
import logging
from contextlib import contextmanager
from datetime import datetime, timezone
from typing import Optional
from sqlalchemy.orm import Session
from core.config import settings
from core.database import scoped_core_db
from core.efc_client import EfcClient, EfcClientError, efc_client
from ..expedientes.models import Expediente
from .models import (
KIND_COMPLETAR,
KIND_EXPEDIENTE,
MAX_ATTEMPTS,
STATUS_FAILED,
STATUS_PENDING,
STATUS_SENT,
EfcFileOutbox,
EfcSyncOutbox,
)
logger = logging.getLogger(__name__)
# Cache de organización EFC por slug de tenant. Dict módulo-global: vive por worker y NO se
# invalida, igual que el del carril de Anexo22. Es correcto porque la organización de un tenant no
# cambia de id: el resolver de EFC es idempotente y devuelve siempre la misma. Si algún día pudiera
# cambiar, reiniciar el worker la vuelve a resolver.
_org_id_cache: dict[str, str] = {}
@contextmanager
def _savepoint(db: Session):
"""Aísla un encolado dentro de la transacción del usuario con un SAVEPOINT.
**Esto es lo único del encolado que NO se clona del carril de Anexo22, y la razón es de fondo.**
Allá el outbox vive en otra base que el pedimento, así que su ``except`` podía hacer
``db.rollback()`` sin consecuencias: revertía la sesión del outbox y la del pedimento ni se
enteraba.
Aquí el CRM es mono-base y el encolado corre DENTRO de la transacción del usuario. Un
``db.rollback()`` en el ``except`` se llevaría por delante la solicitud y el expediente que el
usuario acaba de crear — exactamente lo contrario de best-effort, y sin un solo error visible
para él. Con el SAVEPOINT, un fallo del encolado deshace **solo** la fila del outbox y la
operación local sigue en pie para que el llamador la commitee.
"""
nested = db.begin_nested()
try:
yield nested
except Exception:
nested.rollback()
raise
# ══ Expediente: encolado y entrega ══════════════════════════════════════════
def replicate_expediente_best_effort(db: Session, expediente: Expediente) -> None:
"""Encola la réplica del expediente a EFC y dispara la entrega inmediata.
Best-effort en todo: si EFC no está configurado, o si el encolado o el despacho fallan, **no se
propaga el error**. El expediente local ya existe y la operación del usuario no se puede romper
porque un sistema de terceros no conteste. El barrido periódico recoge lo que quede pendiente.
"""
if not settings.EFC_API_URL:
return
row = _enqueue_expediente_outbox(db, expediente)
if row is None:
return
_dispatch_delivery(row.id, row.tenant_id, row.company_id)
def _enqueue_expediente_outbox(db: Session, expediente: Expediente) -> Optional[EfcSyncOutbox]:
"""Inserta la fila de outbox del expediente. Devuelve ``None`` si falla, sin romper nada.
A diferencia del original, **no commitea**: el CRM es mono-base, así que la fila viaja en la
misma transacción que el expediente. Eso cierra de raíz la ventana del doble-commit que en
Anexo22 obligó a inventar el barrido de huecos.
"""
try:
if _expediente_ya_encolado(db, expediente.id):
return None
# El slug del tenant NO se resuelve aquí: se rellena al ENTREGAR. Resolverlo ahora abriría
# una segunda sesión de base (``scoped_core_db``) dentro de la transacción del usuario, que
# es justo lo que el encolado debe evitar. Es además lo que hace el carril de referencia.
payload = {
"source": "crm",
"crm_company_id": expediente.company_id,
"crm_expediente_id": expediente.id,
"folio": expediente.folio,
"storage_token": expediente.efc_storage_token,
}
row = EfcSyncOutbox(
kind=KIND_EXPEDIENTE,
payload=payload,
expediente_ref=expediente.id,
status=STATUS_PENDING,
tenant_id=expediente.tenant_id,
company_id=expediente.company_id,
)
with _savepoint(db):
db.add(row)
db.flush()
return row
except Exception:
logger.warning(
"expediente_gateway: no se pudo encolar el expediente id=%s en el outbox",
getattr(expediente, "id", None), exc_info=True,
)
return None
def _expediente_ya_encolado(db: Session, expediente_id: int) -> bool:
"""¿Ya hay una fila viva de alta para este expediente? Evita encolar la misma réplica dos veces."""
return (
db.query(EfcSyncOutbox.id)
.filter(
EfcSyncOutbox.expediente_ref == expediente_id,
EfcSyncOutbox.kind == KIND_EXPEDIENTE,
EfcSyncOutbox.status.in_((STATUS_PENDING, STATUS_SENT)),
)
.first()
is not None
)
def enqueue_completar_best_effort(db: Session, expediente: Expediente, campos: dict) -> None:
"""Encola el completado del provisional en EFC con la data aduanera real."""
if not settings.EFC_API_URL:
return
try:
row = EfcSyncOutbox(
kind=KIND_COMPLETAR,
payload={
"source": "crm",
"crm_company_id": expediente.company_id,
"crm_expediente_id": expediente.id,
"folio": expediente.folio,
"pedimento": campos,
},
expediente_ref=expediente.id,
status=STATUS_PENDING,
tenant_id=expediente.tenant_id,
company_id=expediente.company_id,
)
with _savepoint(db):
db.add(row)
db.flush()
except Exception:
logger.warning(
"expediente_gateway: no se pudo encolar el completado del expediente id=%s",
getattr(expediente, "id", None), exc_info=True,
)
return
_dispatch_delivery(row.id, row.tenant_id, row.company_id)
def _dispatch_delivery(outbox_id: int, tenant_id: int, company_id: int) -> None:
"""Dispara la tarea de entrega propagando el contexto RLS por headers de Celery.
Best-effort: si el broker no responde, el barrido la recoge. Los headers son obligatorios —
``core/celery_app.py`` materializa el contexto de RLS a partir de ellos, y sin ellos la tarea
corre sin tenant y no ve nada.
"""
try:
from .tasks import deliver_outbox_row # import diferido: evita ciclo con celery_app
deliver_outbox_row.apply_async(
args=[outbox_id, tenant_id, company_id],
headers={"rls_tenant_id": str(tenant_id), "rls_company_id": str(company_id)},
)
except Exception:
logger.warning(
"expediente_gateway: no se pudo despachar la entrega outbox_id=%s (lo tomará el sweep)",
outbox_id, exc_info=True,
)
def deliver_row(db: Session, row: EfcSyncOutbox, client: Optional[EfcClient] = None) -> None:
"""Entrega una fila del outbox de expedientes a EFC. Actualiza estado y ``attempts``.
**No lanza nunca**: los fallos se registran en la propia fila para reconciliación. Un fallo no
puede matar al worker ni perder la intención de entregar.
"""
client = client or efc_client
if not client.is_configured:
logger.info("expediente_gateway: EFC no configurado; se deja pendiente row=%s", row.id)
return
if row.status == STATUS_SENT:
return
try:
if row.kind == KIND_EXPEDIENTE:
_deliver_expediente(db, row, client)
elif row.kind == KIND_COMPLETAR:
_deliver_completar(db, row, client)
else:
row.status = STATUS_FAILED
row.last_error = f"kind desconocido: {row.kind}"
db.commit()
except EfcClientError as exc:
_register_failure(db, row, exc, retryable=exc.retryable)
except Exception as exc: # noqa: BLE001 — cualquier fallo se registra, no rompe el worker
_register_failure(db, row, exc, retryable=True)
def _register_failure(db: Session, row: EfcSyncOutbox, exc: Exception, retryable: bool) -> None:
row.attempts = (row.attempts or 0) + 1
row.last_error = str(exc)[:2000]
if (not retryable) or row.attempts >= MAX_ATTEMPTS:
row.status = STATUS_FAILED
db.commit()
logger.warning(
"expediente_gateway: entrega falló row=%s attempts=%s retryable=%s status=%s: %s",
row.id, row.attempts, retryable, row.status, exc,
)
def _deliver_expediente(db: Session, row: EfcSyncOutbox, client: EfcClient) -> None:
payload = dict(row.payload or {})
org_id = _resolve_org_id(client, row.tenant_id)
payload["organizacion"] = {"efc_organizacion_id": org_id}
payload["crm_tenant_slug"] = _tenant_slug(row.tenant_id)[0] or ""
resp = client.ingest_expediente(payload)
efc = (resp or {}).get("efc") or {}
row.status = STATUS_SENT
row.sent_at = datetime.now(timezone.utc)
row.efc_pedimento_id = efc.get("pedimento_id")
_stamp_expediente_link(db, row.expediente_ref, org_id, efc.get("pedimento_id"))
db.commit()
logger.info(
"expediente_gateway: expediente replicado row=%s efc_pedimento_id=%s",
row.id, row.efc_pedimento_id,
)
def _deliver_completar(db: Session, row: EfcSyncOutbox, client: EfcClient) -> None:
payload = dict(row.payload or {})
org_id = _resolve_org_id(client, row.tenant_id)
payload["organizacion"] = {"efc_organizacion_id": org_id}
payload["crm_tenant_slug"] = _tenant_slug(row.tenant_id)[0] or ""
folio = payload.get("folio")
client.completar_expediente(folio, payload)
row.status = STATUS_SENT
row.sent_at = datetime.now(timezone.utc)
db.commit()
logger.info("expediente_gateway: expediente completado en EFC row=%s folio=%s", row.id, folio)
def _stamp_expediente_link(db: Session, expediente_id: Optional[int], org_id: str,
pedimento_id: Optional[str]) -> None:
"""Refleja en la fila del expediente que EFC ya lo tiene, para que la UI lo pinte.
Es un espejo, no un handle: el CRM sigue hablando de este expediente por su ``folio``. Se guarda
porque el proxy de descarga necesita el ``organizacion_id`` para preguntarle a EFC.
"""
if expediente_id is None:
return
expediente = db.query(Expediente).filter(Expediente.id == expediente_id).first()
if expediente is None:
return
expediente.efc_organizacion_id = org_id
if pedimento_id:
expediente.efc_pedimento_id = pedimento_id
expediente.efc_link_state = "LINKED"
expediente.efc_error_code = None
expediente.efc_error_detail = None
# ══ Archivos: encolado y entrega ════════════════════════════════════════════
def _ya_entregado(db: Session, source_table: str, source_id: int, kind: str) -> bool:
"""¿Este archivo ya se entregó al expediente? Evita re-encolar lo que ya está allá.
Sin esta guarda, un reintento encolaba otra entrega del mismo archivo — que además **falla al
leer el objeto local, porque la primera entrega ya lo borró** con ``delete_local``. Ruido en el
log y una fila del outbox condenada a ``failed``.
Lleva ``source_table`` además de ``source_id``, a diferencia del original: el CRM tiene dos
tablas de documentos con secuencias independientes, así que el id solo es ambiguo y esta guarda
se dispararía de más, saltándose la entrega de un documento distinto que casualmente comparte
entero.
"""
return (
db.query(EfcFileOutbox.id)
.filter(
EfcFileOutbox.source_table == source_table,
EfcFileOutbox.source_id == source_id,
EfcFileOutbox.kind == kind,
EfcFileOutbox.status == STATUS_SENT,
)
.first()
is not None
)
def enqueue_file_best_effort(
db: Session,
*,
kind: str,
s3_key: str,
file_name: str,
content_type: Optional[str],
efc_tipo: str,
source_table: str,
source_id: int,
crm_document_ref: str,
expediente_ref: int,
tenant_id: int,
company_id: int,
delete_local: bool = True,
) -> Optional[EfcFileOutbox]:
"""Encola un archivo hacia el expediente de EFC. Devuelve la fila, o ``None`` si no se encoló.
**No commitea**: la fila va en la misma transacción que el documento que la origina, de modo que
no puede existir un documento sin su intención de entrega ni al revés.
"""
if not settings.EFC_API_URL:
return None
if _ya_entregado(db, source_table, source_id, kind):
return None
try:
row = EfcFileOutbox(
kind=kind,
s3_key=s3_key,
file_name=file_name,
content_type=content_type,
efc_tipo=efc_tipo,
source_table=source_table,
source_id=source_id,
crm_document_ref=crm_document_ref,
expediente_ref=expediente_ref,
delete_local=delete_local,
status=STATUS_PENDING,
tenant_id=tenant_id,
company_id=company_id,
)
with _savepoint(db):
db.add(row)
db.flush()
return row
except Exception:
logger.warning(
"expediente_gateway: no se pudo encolar el archivo %s (%s:%s)",
s3_key, source_table, source_id, exc_info=True,
)
return None
def _dispatch_file_delivery(outbox_id: int, tenant_id: int, company_id: int) -> None:
try:
from .tasks import deliver_file_outbox_row # import diferido
deliver_file_outbox_row.apply_async(
args=[outbox_id, tenant_id, company_id],
headers={"rls_tenant_id": str(tenant_id), "rls_company_id": str(company_id)},
)
except Exception:
logger.warning(
"expediente_gateway: no se pudo despachar entrega de archivo outbox_id=%s (lo tomará el sweep)",
outbox_id, exc_info=True,
)
def deliver_file_row(db: Session, row: EfcFileOutbox, client: Optional[EfcClient] = None) -> None:
"""Sube el archivo de ``row.s3_key`` al expediente de EFC y, si ``delete_local``, borra la copia.
**Ensure-then-upload**: si EFC contesta 404 ``expediente_no_encontrado``, la creación del
provisional puede venir en camino (el outbox de expedientes y el de archivos son colas
distintas), así que se asegura el expediente y se reintenta el upload **una** vez.
**No lanza nunca**: como ``deliver_row``, registra el fallo en la propia fila.
"""
client = client or efc_client
if not client.is_configured or row.status == STATUS_SENT:
return
try:
org_id = _resolve_org_id(client, row.tenant_id)
expediente = db.query(Expediente).filter(Expediente.id == row.expediente_ref).first()
if expediente is None:
raise EfcClientError(
f"expediente {row.expediente_ref} no encontrado para el archivo '{row.kind}'",
retryable=True,
)
from core.storage_s3 import get_object_bytes
content = get_object_bytes(row.s3_key)
ct = row.content_type or "application/octet-stream"
try:
resp = client.upload_documento(
org_id, row.company_id, expediente.id, row.efc_tipo,
row.file_name, content, ct, crm_document_ref=row.crm_document_ref,
)
except EfcClientError as exc:
if exc.status_code == 404 and exc.code == "expediente_no_encontrado":
# La creación del provisional puede venir en camino: se asegura y se reintenta UNA vez.
client.ingest_expediente({
"source": "crm",
"crm_tenant_slug": (_tenant_slug(row.tenant_id)[0] or ""),
"crm_company_id": row.company_id,
"crm_expediente_id": expediente.id,
"folio": expediente.folio,
"storage_token": expediente.efc_storage_token,
"organizacion": {"efc_organizacion_id": org_id},
})
resp = client.upload_documento(
org_id, row.company_id, expediente.id, row.efc_tipo,
row.file_name, content, ct, crm_document_ref=row.crm_document_ref,
)
else:
raise
doc_id = resp.get("id") if isinstance(resp, dict) else None
if row.delete_local:
try:
from core.storage_s3 import delete_object_if_exists
delete_object_if_exists(row.s3_key)
except Exception:
# Ya está en EFC: no poder borrar la copia local no invalida la entrega.
logger.warning(
"expediente_gateway: no se pudo borrar el archivo local %s (ya en EFC)",
row.s3_key, exc_info=True,
)
row.status = STATUS_SENT
row.sent_at = datetime.now(timezone.utc)
row.efc_document_id = doc_id
db.commit()
_marcar_documento_entregado(db, row, doc_id)
logger.info(
"expediente_gateway: archivo entregado row=%s kind=%s efc_document_id=%s",
row.id, row.kind, doc_id,
)
except EfcClientError as exc:
_register_file_failure(db, row, exc, exc.retryable)
except Exception as exc: # noqa: BLE001
_register_file_failure(db, row, exc, True)
def _register_file_failure(db: Session, row: EfcFileOutbox, exc: Exception, retryable: bool) -> None:
row.attempts = (row.attempts or 0) + 1
row.last_error = str(exc)[:2000]
if (not retryable) or row.attempts >= MAX_ATTEMPTS:
row.status = STATUS_FAILED
db.commit()
_marcar_documento_fallido(db, row, exc)
logger.warning(
"expediente_gateway: entrega de archivo falló row=%s attempts=%s status=%s: %s",
row.id, row.attempts, row.status, exc,
)
# El mapa (kind, source_table) -> modelo del documento de origen. Un par que NO esté aquí **no toca
# nada**, en vez de caer por omisión sobre una tabla cualquiera: escribir con el id de otra tabla
# vaciaría las columnas de un documento ajeno que tuviera ese mismo entero — daño en el dato de otro,
# sin un solo error visible.
def _modelo_de_origen(source_table: str):
if source_table == "crm.documents":
from ..documents.models import Document
return Document
if source_table == "ops.shipment_documents":
from api.v1.modules.ops.shipments.models import ShipmentDocument
return ShipmentDocument
return None
def _fila_de_origen(db: Session, row: EfcFileOutbox):
modelo = _modelo_de_origen(row.source_table)
if modelo is None or row.source_id is None:
return None
return (
db.query(modelo)
.filter(
modelo.id == row.source_id,
modelo.tenant_id == row.tenant_id,
modelo.company_id == row.company_id,
)
.first()
)
def _marcar_documento_entregado(db: Session, row: EfcFileOutbox, doc_id) -> None:
"""Cierra la entrega en la fila del documento: el badge de la UI pasa a «En expediente»."""
documento = _fila_de_origen(db, row)
if documento is None:
return
documento.efc_document_id = str(doc_id) if doc_id else None
documento.efc_sync_state = "SYNCED"
documento.efc_synced_at = datetime.now(timezone.utc)
documento.efc_error_code = None
documento.efc_error_detail = None
if row.delete_local:
# El objeto local ya no está: dejar la key apuntaría a algo inexistente y la descarga se
# ramificaría por el camino equivocado.
documento.file_key = None
db.commit()
def _marcar_documento_fallido(db: Session, row: EfcFileOutbox, exc: Exception) -> None:
"""Refleja el fallo en la fila del documento para que la ficha lo muestre sin ir a los logs."""
documento = _fila_de_origen(db, row)
if documento is None:
return
documento.efc_attempts = row.attempts
documento.efc_error_detail = str(exc)[:2000]
documento.efc_error_code = getattr(exc, "code", None)
if row.status == STATUS_FAILED:
documento.efc_sync_state = "FAILED"
db.commit()
# ══ Organización ════════════════════════════════════════════════════════════
def _resolve_org_id(client: EfcClient, tenant_id: int) -> str:
slug, name = _tenant_slug(tenant_id)
if not slug:
raise EfcClientError(
f"tenant {tenant_id} sin slug; no se puede resolver la organización EFC.",
retryable=False,
)
if slug in _org_id_cache:
return _org_id_cache[slug]
resp = client.resolve_organizacion(slug, name)
org_id = resp.get("id") if isinstance(resp, dict) else None
if not org_id:
raise EfcClientError("El resolver de organización de EFC no devolvió id.", retryable=True)
_org_id_cache[slug] = org_id
return org_id
def _tenant_slug(tenant_id: int) -> tuple[Optional[str], Optional[str]]:
from api.v1.modules.core.tenants.models import Tenant
with scoped_core_db(tenant_id=tenant_id) as db:
t = db.query(Tenant).filter(Tenant.id == tenant_id).first()
if t is None:
return None, None
return t.slug, t.name
# ══ Tablero de ops ══════════════════════════════════════════════════════════
def _outbox_to_dict(r: EfcSyncOutbox) -> dict:
return {
"id": r.id,
"tabla": "sync",
"kind": r.kind,
"status": r.status,
"attempts": r.attempts,
"last_error": r.last_error,
"expediente_ref": r.expediente_ref,
"efc_pedimento_id": r.efc_pedimento_id,
"created_at": r.created_at.isoformat() if r.created_at else None,
"sent_at": r.sent_at.isoformat() if r.sent_at else None,
}
def _file_outbox_to_dict(r: EfcFileOutbox) -> dict:
return {
"id": r.id,
"tabla": "file",
"kind": r.kind,
"status": r.status,
"attempts": r.attempts,
"last_error": r.last_error,
"expediente_ref": r.expediente_ref,
"file_name": r.file_name,
"efc_tipo": r.efc_tipo,
"source_table": r.source_table,
"source_id": r.source_id,
"crm_document_ref": r.crm_document_ref,
"efc_document_id": r.efc_document_id,
"created_at": r.created_at.isoformat() if r.created_at else None,
"sent_at": r.sent_at.isoformat() if r.sent_at else None,
}
def list_outbox(db: Session, tenant_id: int, company_id: int, tipo: Optional[str] = None,
status: Optional[str] = None, limit: int = 100) -> list[dict]:
"""Lista filas de los DOS outbox para el tablero de ops. ``tipo`` ∈ ``sync`` | ``file``."""
salida: list[dict] = []
if tipo in (None, "", "sync"):
q = db.query(EfcSyncOutbox).filter(
EfcSyncOutbox.tenant_id == tenant_id, EfcSyncOutbox.company_id == company_id
)
if status:
q = q.filter(EfcSyncOutbox.status == status)
salida += [
_outbox_to_dict(r)
for r in q.order_by(EfcSyncOutbox.created_at.desc()).limit(limit).all()
]
if tipo in (None, "", "file"):
q = db.query(EfcFileOutbox).filter(
EfcFileOutbox.tenant_id == tenant_id, EfcFileOutbox.company_id == company_id
)
if status:
q = q.filter(EfcFileOutbox.status == status)
salida += [
_file_outbox_to_dict(r)
for r in q.order_by(EfcFileOutbox.created_at.desc()).limit(limit).all()
]
salida.sort(key=lambda d: (d.get("created_at") or ""), reverse=True)
return salida[:limit]
def retry_outbox_row(db: Session, outbox_id: int, tenant_id: int, company_id: int,
tipo: str = "file") -> bool:
"""Reintento manual: resetea la fila a ``pending`` (``attempts=0``) y la re-despacha.
Devuelve ``False`` si no existe para ese tenant/company — el llamador lo traduce a **404 con
mensaje específico**, no a un 200 silencioso: es contrato con el frontend, que pinta el botón
según lo que reciba.
"""
modelo = EfcSyncOutbox if tipo == "sync" else EfcFileOutbox
r = (
db.query(modelo)
.filter(modelo.id == outbox_id, modelo.tenant_id == tenant_id, modelo.company_id == company_id)
.first()
)
if r is None:
return False
r.status = STATUS_PENDING
r.attempts = 0
r.last_error = None
db.commit()
if tipo == "sync":
_dispatch_delivery(r.id, r.tenant_id, r.company_id)
else:
_reset_documento_pendiente(db, r)
_dispatch_file_delivery(r.id, r.tenant_id, r.company_id)
return True
def _reset_documento_pendiente(db: Session, row: EfcFileOutbox) -> None:
documento = _fila_de_origen(db, row)
if documento is None:
return
documento.efc_sync_state = "PENDING"
documento.efc_error_code = None
documento.efc_error_detail = None
db.commit()
def outbox_metrics(db: Session, tenant_id: int, company_id: int) -> dict:
"""Conteo de los dos outbox por status (monitoreo). Los conteos suman las dos tablas."""
from sqlalchemy import func
counts = {STATUS_PENDING: 0, STATUS_SENT: 0, STATUS_FAILED: 0}
for modelo in (EfcSyncOutbox, EfcFileOutbox):
rows = (
db.query(modelo.status, func.count())
.filter(modelo.tenant_id == tenant_id, modelo.company_id == company_id)
.group_by(modelo.status)
.all()
)
for estado, n in rows:
counts[estado] = counts.get(estado, 0) + n
return {
"pending": counts.get(STATUS_PENDING, 0),
"sent": counts.get(STATUS_SENT, 0),
"failed": counts.get(STATUS_FAILED, 0),
}
def find_expediente_gaps(db: Session, limit: int = 200) -> list:
"""Expedientes (no borrados) SIN ninguna fila de outbox que los referencie.
Nunca se encolaron: expedientes creados **antes** de activar la integración, o un crash. Se
re-encolan para no perder la réplica.
Los ``failed`` **no son huecos** —existen como fila, son visibles y reintentables desde el
tablero—, así que la fila los excluye por estar presente, no por su estado. Corre sin contexto
de tenant (beat); cada expediente lleva el suyo.
"""
from sqlalchemy import exists
ya_encolado = exists().where(EfcSyncOutbox.expediente_ref == Expediente.id)
return (
db.query(Expediente)
.filter(Expediente.deleted_at.is_(None), ~ya_encolado)
.order_by(Expediente.id.desc())
.limit(limit)
.all()
)

View File

@@ -0,0 +1,122 @@
"""Tareas Celery del carril CRM Agentes de Carga -> EFC.
- ``deliver_outbox_row`` / ``sweep_outbox``: expedientes (alta del provisional y completado).
- ``deliver_file_outbox_row`` / ``sweep_file_outbox``: archivos.
- ``sweep_expediente_gaps``: reconciliación de expedientes que nunca se encolaron.
**La trampa de RLS, que es lo que más fácil se pasa por alto.** ``core/celery_app.py`` materializa el
contexto desde los headers ``rls_tenant_id`` / ``rls_company_id``. Por tanto:
- Las tareas **por fila** se despachan siempre con esos headers.
- Los **barridos corren sin contexto de tenant**: leen los ids pendientes con una sesión sin scope y
despachan una tarea hija por fila con sus propios headers. Si un barrido abriera una sesión con
scope e iterara, o no vería nada o se saltaría el aislamiento.
**Sin ``autoretry_for``, ``retry_backoff`` ni ``max_retries``**: duplicarían el mecanismo de
reintento que ya está en el cliente (3 intentos con backoff lineal) y en el barrido (cada 120 s
hasta ``MAX_ATTEMPTS``).
"""
import logging
from core.celery_app import celery_app
from core.config import settings
from core.database import scoped_core_db
from . import service
from .models import STATUS_PENDING, EfcFileOutbox, EfcSyncOutbox
logger = logging.getLogger(__name__)
# ── Expedientes ─────────────────────────────────────────────────────────────
@celery_app.task(name="expediente_gateway.deliver_outbox_row")
def deliver_outbox_row(outbox_id: int, tenant_id: int, company_id: int) -> None:
with scoped_core_db(tenant_id, company_id) as db:
row = db.query(EfcSyncOutbox).filter(EfcSyncOutbox.id == outbox_id).first()
if row is None:
logger.warning(
"expediente_gateway: outbox_id=%s no encontrado (tenant=%s)", outbox_id, tenant_id
)
return
service.deliver_row(db, row)
@celery_app.task(name="expediente_gateway.sweep_outbox")
def sweep_outbox(limit: int = 100) -> int:
"""Re-despacha filas pendientes de expediente. Sin contexto de tenant: cada fila lleva el suyo."""
with scoped_core_db() as db:
rows = (
db.query(EfcSyncOutbox.id, EfcSyncOutbox.tenant_id, EfcSyncOutbox.company_id)
.filter(EfcSyncOutbox.status == STATUS_PENDING)
.order_by(EfcSyncOutbox.created_at.asc())
.limit(limit)
.all()
)
for rid, tid, cid in rows:
deliver_outbox_row.apply_async(
args=[rid, tid, cid],
headers={"rls_tenant_id": str(tid), "rls_company_id": str(cid) if cid is not None else ""},
)
if rows:
logger.info("expediente_gateway: sweep (expedientes) re-despachó %s filas pendientes", len(rows))
return len(rows)
# ── Archivos ────────────────────────────────────────────────────────────────
@celery_app.task(name="expediente_gateway.deliver_file_outbox_row")
def deliver_file_outbox_row(outbox_id: int, tenant_id: int, company_id: int) -> None:
with scoped_core_db(tenant_id, company_id) as db:
row = db.query(EfcFileOutbox).filter(EfcFileOutbox.id == outbox_id).first()
if row is None:
logger.warning(
"expediente_gateway: file outbox_id=%s no encontrado (tenant=%s)", outbox_id, tenant_id
)
return
service.deliver_file_row(db, row)
@celery_app.task(name="expediente_gateway.sweep_file_outbox")
def sweep_file_outbox(limit: int = 100) -> int:
"""Re-despacha archivos pendientes (EFC o el broker caídos cuando el usuario subió el archivo)."""
with scoped_core_db() as db:
rows = (
db.query(EfcFileOutbox.id, EfcFileOutbox.tenant_id, EfcFileOutbox.company_id)
.filter(EfcFileOutbox.status == STATUS_PENDING)
.order_by(EfcFileOutbox.created_at.asc())
.limit(limit)
.all()
)
for rid, tid, cid in rows:
deliver_file_outbox_row.apply_async(
args=[rid, tid, cid],
headers={"rls_tenant_id": str(tid), "rls_company_id": str(cid) if cid is not None else ""},
)
if rows:
logger.info("expediente_gateway: sweep (archivos) re-despachó %s archivos pendientes", len(rows))
return len(rows)
# ── Reconciliación de huecos ────────────────────────────────────────────────
@celery_app.task(name="expediente_gateway.sweep_expediente_gaps")
def sweep_expediente_gaps(limit: int = 200) -> int:
"""Detecta expedientes que nunca se encolaron a EFC y los re-encola.
No-op si la integración está apagada.
"""
if not settings.EFC_API_URL:
return 0
n = 0
with scoped_core_db() as db:
gaps = service.find_expediente_gaps(db, limit=limit)
for expediente in gaps:
service.replicate_expediente_best_effort(db, expediente)
n += 1
if n:
db.commit()
if n:
logger.info("expediente_gateway: sweep de huecos re-encoló %s expedientes", n)
return n

View File

@@ -8,6 +8,7 @@ from datetime import datetime, timezone
from fastapi import HTTPException, status
from sqlalchemy.orm import Session
from ..expediente_gateway import service as gateway
from ..service_requests.models import ServiceRequest
from .dto import ExpedienteCompleteInput
from .folio import next_folio, storage_token
@@ -121,6 +122,9 @@ def ensure_expediente_for_service_request(
)
db.add(expediente)
db.flush()
# Réplica hacia EFC: best-effort y en la MISMA transacción. Si EFC está apagado
# (``EFC_API_URL`` vacía) esto es un no-op y el expediente vive igual, solo en el CRM.
gateway.replicate_expediente_best_effort(db, expediente)
return expediente
@@ -144,6 +148,19 @@ def ensure_expediente(
return expediente
def _campos_para_efc(campos: dict) -> dict:
"""Traduce los campos del expediente al vocabulario del contrato de EFC.
Las fechas van en ISO porque el payload del outbox se serializa a JSON, y un ``date`` de Python
no es serializable: sin esto la fila se encolaría bien y **fallaría al entregar**, que es el peor
momento para descubrirlo.
"""
salida = {}
for clave, valor in campos.items():
salida[clave] = valor.isoformat() if hasattr(valor, "isoformat") else valor
return salida
def complete_expediente(
db: Session,
expediente_id: int,
@@ -164,10 +181,16 @@ def complete_expediente(
status_code=status.HTTP_409_CONFLICT, detail="El expediente ya está completado"
)
for field, value in payload.model_dump(exclude_unset=True).items():
campos = payload.model_dump(exclude_unset=True)
for field, value in campos.items():
setattr(expediente, field, value)
expediente.status = "completado"
expediente.updated_by = user_id
# El completado del provisional en EFC va por el outbox, no inline: puede devolver 409 si allá
# ya existe ese pedimento real, y eso no debe impedir que el CRM guarde lo que se capturó.
gateway.enqueue_completar_best_effort(db, expediente, _campos_para_efc(campos))
db.commit()
db.refresh(expediente)
return expediente

View File

@@ -16,6 +16,7 @@ from .addresses.routes import router as addresses_router
from .catalogs.routes import router as catalogs_router
from .contacts.routes import router as contacts_router
from .documents.routes import router as documents_router
from .expediente_gateway.routes import router as expediente_gateway_router
from .expedientes.routes import router as expedientes_router
from .leads.routes import router as leads_router
from .metrics.routes import router as metrics_router
@@ -37,6 +38,7 @@ router.include_router(contacts_router)
router.include_router(addresses_router)
router.include_router(documents_router)
router.include_router(expedientes_router)
router.include_router(expediente_gateway_router)
router.include_router(service_requests_router)
router.include_router(quotes_router)
router.include_router(leads_router)

View File

@@ -96,6 +96,7 @@ def _reset_rls_context_from_task(task_id=None, task=None, **_):
celery_app.conf.update(
include=[
"api.v1.modules.core.help_center.tasks",
"api.v1.modules.crm.expediente_gateway.tasks",
# Agrega aquí las tareas de tu proyecto:
# "api.v1.modules.example.tasks",
]
@@ -120,6 +121,21 @@ celery_app.conf.beat_schedule = {
"task": "cleanup_orphan_layout_imports",
"schedule": 3600.0,
},
# Carril CRM -> EFC. Los tres intervalos vienen del carril de referencia de Anexo22: 120 s para
# las dos colas y 300 s para la reconciliacion. El reintento NO es exponencial a proposito —el
# backoff corto vive en el cliente HTTP y el largo es este barrido de intervalo fijo.
"efc-sweep-outbox-every-2-min": {
"task": "expediente_gateway.sweep_outbox",
"schedule": 120.0,
},
"efc-sweep-file-outbox-every-2-min": {
"task": "expediente_gateway.sweep_file_outbox",
"schedule": 120.0,
},
"efc-sweep-expediente-gaps-every-5-min": {
"task": "expediente_gateway.sweep_expediente_gaps",
"schedule": 300.0,
},
}
if __name__ == "__main__":

View File

@@ -62,7 +62,7 @@ class Settings(BaseSettings):
# URL pública del frontend — usada en links de email (invitaciones, etc.)
APP_PUBLIC_URL: str = "http://localhost:3000"
@field_validator("CENTRAL_SERVER_URL", "SPOKE_URLS", "HUB_URL", "HUB_API_BASE_URL", mode="before")
@field_validator("CENTRAL_SERVER_URL", "SPOKE_URLS", "HUB_URL", "HUB_API_BASE_URL", "EFC_API_URL", mode="before")
@classmethod
def strip_quotes(cls, v: str) -> str:
if v and isinstance(v, str):
@@ -103,6 +103,25 @@ class Settings(BaseSettings):
S3_FILE_STORAGE: bool = True
S3_PRESIGNED_EXPIRES_SECONDS: int = 3600
# ── EFC (expediente electrónico) ────────────────────────────────────────────────────────
# Carril CRM -> EFC: los documentos del CRM se resguardan en el expediente de EFC.
# Los nombres son los MISMOS que usa el gateway de Anexo22 contra el mismo EFC: inventar
# otros obligaría a quien opera los dos sistemas a recordar dos juegos de variables para
# exactamente lo mismo.
# EFC_API_URL vacía = integración APAGADA. Todo el enganche es best-effort y hace no-op:
# el CRM sigue funcionando igual, guardando los archivos solo en su MinIO.
EFC_API_URL: str = ""
EFC_API_KEY: str = "" # == CRM_INTEGRATION_API_KEY del lado de EFC
EFC_API_VERIFY_SSL: bool = True
EFC_API_TIMEOUT_MS: int = 8000 # metadatos: resolver, ingest, completar
# Las subidas van aparte: 8 s no alcanzan para un archivo de 25 MB. Debe quedar POR DEBAJO
# del proxy_read_timeout del nginx de EFC (ver core/efc_client.py).
EFC_UPLOAD_TIMEOUT_MS: int = 55000
# Scaffolding de mTLS: activarlo es configuración, no código.
EFC_MTLS_CA_PATH: str = ""
EFC_MTLS_CERT_PATH: str = ""
EFC_MTLS_KEY_PATH: str = ""
model_config = SettingsConfigDict(
env_file=[".env", "../.env"],
case_sensitive=True,

301
backend/core/efc_client.py Normal file
View File

@@ -0,0 +1,301 @@
"""Cliente HTTP hacia EFC (carril de integración CRM Agentes de Carga -> EFC).
Clon del cliente del gateway de Anexo22, que es el carril de referencia ya en producción
(``anexo22/backend/api/v1/modules/pedimentos/pedimento_gateway/client.py``), con las rutas
cambiadas a ``.../integrations/crm/...``. No es una reinterpretación: el molde de reintentos, el
corte en 4xx y la forma del error se conservan tal cual.
**Síncrono a propósito** (``httpx.Client``): el consumidor es el worker de Celery que drena el
outbox, que corre en contexto sync. El único punto async del carril es el proxy de descarga de cara
al usuario, y ése no usa este cliente.
Todos los endpoints se autentican con el header ``X-Api-Key``
(``settings.EFC_API_KEY`` == ``CRM_INTEGRATION_API_KEY`` del lado de EFC).
"""
import logging
import time
from typing import Any, Optional
import httpx
from core.config import settings
logger = logging.getLogger(__name__)
# Rutas de EFC (prefijo /api/v1/, ver config/urls.py del backend de EFC).
_PATH_ORG_BUSCAR = "/api/v1/organization/integrations/crm/organizaciones/"
_PATH_ORG_RESOLVER = "/api/v1/organization/integrations/crm/organizaciones/resolver/"
_PATH_EXPEDIENTE = "/api/v1/customs/integrations/crm/expedientes/"
_PATH_EXPEDIENTE_COMPLETAR = "/api/v1/customs/integrations/crm/expedientes/{folio}/completar/"
_PATH_EXPEDIENTE_DETALLE = "/api/v1/customs/integrations/crm/expedientes/{folio}/"
_PATH_DOCS = "/api/v1/record/integrations/crm/documentos/"
_PATH_DOCS_LIST = "/api/v1/record/integrations/crm/documentos/list/"
_PATH_DOC_DESCARGAR = "/api/v1/record/integrations/crm/documentos/{doc_id}/descargar/"
_PATH_DOC_ELIMINAR = "/api/v1/record/integrations/crm/documentos/{doc_id}/eliminar/"
_PATH_DOC_REEMPLAZAR = "/api/v1/record/integrations/crm/documentos/{doc_id}/reemplazar/"
class EfcClientError(Exception):
"""Error de comunicación con EFC.
``retryable=True`` marca fallos transitorios (5xx/timeout/red) que el worker debe reintentar.
``status_code``/``code`` exponen la respuesta de EFC para que el worker pueda ramificar
(p. ej. 404 ``expediente_no_encontrado`` → ensure-then-upload).
El worker decide **por el campo ``retryable``**, nunca parseando el mensaje: un texto de error
cambia con cualquier refactor del otro repo y con él se caería la política de reintentos sin que
nada se vea roto.
"""
def __init__(self, message: str, status_code: Optional[int] = None,
code: Optional[str] = None, retryable: bool = False):
super().__init__(message)
self.status_code = status_code
self.code = code
self.retryable = retryable
class EfcClient:
def __init__(
self,
base_url: Optional[str] = None,
api_key: Optional[str] = None,
timeout_ms: Optional[int] = None,
upload_timeout_ms: Optional[int] = None,
verify_ssl: Optional[bool] = None,
retries: int = 2,
transport: Optional[httpx.BaseTransport] = None,
):
self.base_url = (base_url if base_url is not None else settings.EFC_API_URL).rstrip("/")
self.api_key = api_key if api_key is not None else settings.EFC_API_KEY
self.timeout_s = max(0.1, float(timeout_ms or settings.EFC_API_TIMEOUT_MS) / 1000.0)
# Timeout aparte para las subidas: los 8 s de los metadatos no alcanzan para un archivo de
# 25 MB. Tiene que quedar POR DEBAJO del proxy_read_timeout del nginx de EFC — si el CRM
# esperara más, vería un 504 opaco sin saber si el documento entró. Fallando primero de este
# lado, el reintento con el mismo efc_document_ref es limpio.
self.upload_timeout_s = max(
0.1, float(upload_timeout_ms or settings.EFC_UPLOAD_TIMEOUT_MS) / 1000.0
)
self.verify_ssl = settings.EFC_API_VERIFY_SSL if verify_ssl is None else verify_ssl
self.retries = max(0, int(retries))
self.transport = transport
# mTLS (scaffolding pre-prod): si hay CA se usa para verificar; si hay par cert/key se
# presenta como certificado de cliente. Vacío = TLS normal.
self._ca_path = settings.EFC_MTLS_CA_PATH or ""
self._cert_path = settings.EFC_MTLS_CERT_PATH or ""
self._key_path = settings.EFC_MTLS_KEY_PATH or ""
def _client_kwargs(self, timeout_s: Optional[float] = None) -> dict:
"""``verify``/``cert`` para httpx según config mTLS (o TLS normal si no hay mTLS)."""
verify = self._ca_path if self._ca_path else self.verify_ssl
kwargs = {
"timeout": timeout_s or self.timeout_s,
"verify": verify,
"transport": self.transport,
}
if self._cert_path and self._key_path:
kwargs["cert"] = (self._cert_path, self._key_path)
return kwargs
@property
def is_configured(self) -> bool:
"""``False`` = integración deshabilitada (best-effort): sin URL o sin key."""
return bool(self.base_url and self.api_key)
# ── HTTP interno ──────────────────────────────────────────────────────────
def _request(self, method: str, path: str, *, json: Any = None,
params: dict = None, files: dict = None, data: dict = None,
stream: bool = False, timeout_s: Optional[float] = None):
if not self.is_configured:
raise EfcClientError("EFC no configurado (EFC_API_URL/EFC_API_KEY vacíos).", retryable=False)
url = f"{self.base_url}{path}"
headers = {"X-Api-Key": self.api_key}
last_error: Optional[Exception] = None
for attempt in range(self.retries + 1):
try:
client = httpx.Client(**self._client_kwargs(timeout_s))
try:
response = client.request(method, url, headers=headers, json=json,
params=params, files=files, data=data)
except Exception:
client.close()
raise
if 200 <= response.status_code < 300:
if stream:
# El caller lee response.content y cierra el cliente.
return response, client
client.close()
return response
# 5xx: transitorio, reintentar.
if response.status_code >= 500 and attempt < self.retries:
client.close()
time.sleep(0.15 * (attempt + 1))
continue
# 4xx u otro: no reintentar. Extraer code/mensaje de EFC.
code, message = _parse_error_body(response)
client.close()
raise EfcClientError(
message or f"EFC respondió {response.status_code}",
status_code=response.status_code,
code=code,
retryable=response.status_code >= 500,
)
except (httpx.TimeoutException, httpx.NetworkError) as exc:
last_error = exc
if attempt >= self.retries:
break
time.sleep(0.15 * (attempt + 1))
except EfcClientError:
raise
except Exception as exc: # noqa: BLE001 — cualquier fallo inesperado es no-retryable
raise EfcClientError(str(exc), retryable=False) from exc
raise EfcClientError(
f"EFC inaccesible tras {self.retries + 1} intentos: {last_error}",
retryable=True,
)
# ── Organización ──────────────────────────────────────────────────────────
def buscar_organizaciones(self, q: str) -> list:
"""Búsqueda por texto, para el alta manual desde una pantalla de administración."""
return self._request("GET", _PATH_ORG_BUSCAR, params={"q": q}).json()
def resolve_organizacion(self, tenant_slug: str, tenant_name: Optional[str] = None) -> dict:
payload = {"tenant_slug": tenant_slug}
if tenant_name:
payload["tenant_name"] = tenant_name
return self._request("POST", _PATH_ORG_RESOLVER, json=payload).json()
# ── Expediente (pedimento provisional en EFC) ──────────────────────────────
def ingest_expediente(self, payload: dict) -> dict:
"""Crea el pedimento provisional del expediente. 201 si es nuevo, 200 si ya existía."""
return self._request("POST", _PATH_EXPEDIENTE, json=payload).json()
def completar_expediente(self, folio: str, payload: dict) -> dict:
"""Completa un provisional con la data aduanera real. Ningún archivo se mueve."""
path = _PATH_EXPEDIENTE_COMPLETAR.format(folio=folio)
return self._request("POST", path, json=payload).json()
def get_expediente(self, folio: str, organizacion_id: str) -> dict:
path = _PATH_EXPEDIENTE_DETALLE.format(folio=folio)
return self._request("GET", path, params={"organizacion_id": str(organizacion_id)}).json()
# ── Documentos ────────────────────────────────────────────────────────────
def upload_documento(self, organizacion_id: str, crm_company_id: int, crm_expediente_id: int,
tipo: str, filename: str, content: bytes,
content_type: str = "application/octet-stream",
crm_document_ref: Optional[str] = None) -> dict:
"""Sube un documento al expediente. Multipart, nunca base64.
``crm_document_ref`` es **el handle de NUESTRO registro de origen**, y es lo que después
permite recuperar el archivo sin guardar de este lado ningún identificador de EFC. EFC lo
guarda junto al documento con un UNIQUE parcial por ``(organizacion, ref)``, así que una
entrega repetida devuelve el documento que ya existía (200) en vez de crear otro (201).
Es la cuarta capa de idempotencia del carril y la única que garantiza la base: la entrega la
hace un worker con reintentos, así que un timeout ambiguo —EFC commiteó y contestó tarde—
duplicaría el documento sin esto.
"""
files = {"file": (filename, content, content_type)}
data = {
"organizacion_id": str(organizacion_id),
"crm_company_id": str(int(crm_company_id)),
"crm_expediente_id": str(int(crm_expediente_id)),
"tipo": tipo,
}
if crm_document_ref:
data["crm_document_ref"] = crm_document_ref
return self._request(
"POST", _PATH_DOCS, files=files, data=data, timeout_s=self.upload_timeout_s
).json()
def list_documentos(self, organizacion_id: str, crm_expediente_id: int, *,
tipo: Optional[str] = None,
crm_document_ref: Optional[str] = None) -> list:
"""Documentos del expediente. ``tipo`` y ``crm_document_ref`` son filtros OPCIONALES.
Preguntar por ``crm_document_ref`` es lo que permite recuperar ``efc_document_id`` si el
cache local se perdió, sin guardar identificadores ajenos como handle.
"""
params = {
"organizacion_id": str(organizacion_id),
"crm_expediente_id": str(int(crm_expediente_id)),
}
if tipo:
params["tipo"] = tipo
if crm_document_ref:
params["crm_document_ref"] = crm_document_ref
return self._request("GET", _PATH_DOCS_LIST, params=params).json()
def replace_documento(self, organizacion_id: str, doc_id: str, filename: str, content: bytes,
content_type: str = "application/octet-stream") -> dict:
"""Sustituye el CONTENIDO de un documento conservando su fila (mismo id, mismo tipo).
EFC sube primero y borra el viejo al final, así que una subida fallida deja el anterior
intacto y descargable.
"""
files = {"file": (filename, content, content_type)}
data = {"organizacion_id": str(organizacion_id)}
path = _PATH_DOC_REEMPLAZAR.format(doc_id=doc_id)
return self._request(
"PUT", path, files=files, data=data, timeout_s=self.upload_timeout_s
).json()
def download_documento(self, organizacion_id: str, doc_id: str) -> tuple[bytes, str]:
path = _PATH_DOC_DESCARGAR.format(doc_id=doc_id)
params = {"organizacion_id": str(organizacion_id)}
response, client = self._request("GET", path, params=params, stream=True)
try:
content = response.content
filename = _filename_from_response(response, default=str(doc_id))
finally:
client.close()
return content, filename
def download_url(self, doc_id: str) -> str:
"""URL absoluta del endpoint de descarga de EFC, para el proxy async de la fase 7.
El proxy no puede usar ``download_documento``: éste es síncrono y bufferiza el archivo
entero. Lo que necesita es la URL y el header, y hace su propio streaming.
"""
return f"{self.base_url}{_PATH_DOC_DESCARGAR.format(doc_id=doc_id)}"
@property
def auth_headers(self) -> dict:
"""El header de autenticación, para el proxy async que no pasa por ``_request``."""
return {"X-Api-Key": self.api_key}
def _parse_error_body(response) -> tuple[Optional[str], Optional[str]]:
"""Extrae ``(code, message)`` del cuerpo de error estructurado de EFC
(``{"error": {"code", "message"}}``) sin reventar si no es JSON."""
try:
body = response.json()
except Exception:
return None, None
err = body.get("error") if isinstance(body, dict) else None
if isinstance(err, dict):
return err.get("code"), err.get("message")
return None, None
def _filename_from_response(response, default: str) -> str:
disp = response.headers.get("Content-Disposition", "")
if "filename=" in disp:
return disp.split("filename=")[-1].strip().strip('"') or default
return default
# Instancia por defecto (lee settings). Los tests inyectan su propio transport construyendo
# EfcClient(transport=httpx.MockTransport(...)).
efc_client = EfcClient()

View File

@@ -30,6 +30,7 @@ import api.v1.modules.crm.activities.models # noqa: E402,F401
import api.v1.modules.crm.addresses.models # noqa: E402,F401
import api.v1.modules.crm.contacts.models # noqa: E402,F401
import api.v1.modules.crm.documents.models # noqa: E402,F401
import api.v1.modules.crm.expediente_gateway.models # noqa: E402,F401
import api.v1.modules.crm.expedientes.models # noqa: E402,F401
import api.v1.modules.crm.leads.models # noqa: E402,F401
import api.v1.modules.crm.opportunities.models # noqa: E402,F401

View File

@@ -0,0 +1,85 @@
"""Paridad del catálogo de tipos de documento entre el CRM y EFC.
``EFC_DOC_TYPES`` del CRM tiene que ser **exactamente** el juego de claves de
``TIPOS_DOCUMENTO_CRM`` de ``api/record/views_integrations_crm.py`` en EFC. La lista está duplicada
a mano en dos repos con despliegue independiente, y este archivo es lo único que la mantiene
honesta: si alguien agrega un tipo de un solo lado, esto se pone rojo **antes** de que un documento
se rechace en producción con ``tipo_invalido``.
El juego esperado va escrito **literal** aquí y no derivado de ``doc_types.py``, porque una prueba
que se lo pregunte al mismo módulo que valida no prueba nada: pasaría con cualquier cambio.
"""
from api.v1.modules.crm.expedientes.doc_types import EFC_DOC_TYPES, is_valid_doc_type
# Copia literal de las claves de TIPOS_DOCUMENTO_CRM (EFC, fase 3 del ticket T2026-08-046).
# Al cambiar EFC, se cambia AQUÍ y el rojo obliga a mirar los dos lados.
CLAVES_EN_EFC = {
# crm.documents — DOC_TYPES de frontend/src/lib/api/crm/format.ts
"constancia_fiscal",
"acta_constitutiva",
"identificacion",
"comprobante_domicilio",
"contrato",
"presentacion",
"certificacion",
"licencia",
"convenio",
"tarifario",
# ops.shipment_documents — SHIPMENT_DOC_TYPES del mismo archivo
"MBL",
"HBL",
"MAWB",
"HAWB",
"CMR",
"factura_comercial",
"packing_list",
"carta_encomienda",
"carta_garantia",
"certificado_permiso",
# fin.invoices
"factura_venta",
# 'otro' existe en AMBAS listas del CRM y significa lo mismo: una sola entrada
"otro",
}
def test_el_catalogo_del_crm_es_identico_al_de_efc():
faltan_en_crm = CLAVES_EN_EFC - EFC_DOC_TYPES
sobran_en_crm = EFC_DOC_TYPES - CLAVES_EN_EFC
assert not faltan_en_crm, f"EFC acepta tipos que el CRM no conoce: {sorted(faltan_en_crm)}"
assert not sobran_en_crm, (
f"El CRM mandaría tipos que EFC va a rechazar con tipo_invalido: {sorted(sobran_en_crm)}"
)
def test_son_exactamente_veintidos():
"""El número está en el ticket. Si cambia, es un cambio de contrato entre dos repos."""
assert len(EFC_DOC_TYPES) == 22
def test_no_hay_duplicados_entre_las_tres_fuentes():
"""``otro`` está en las dos listas del CRM y debe colapsar a UNA entrada.
Un ``frozenset`` lo colapsa solo; la prueba está para que una futura refactorización a lista o
a tupla no reintroduzca el duplicado en silencio.
"""
from api.v1.modules.crm.expedientes import doc_types
todas = (
doc_types._TIPOS_DOCUMENTOS_CLIENTE
+ doc_types._TIPOS_DOCUMENTOS_EMBARQUE
+ doc_types._TIPOS_FACTURACION
+ doc_types._TIPOS_COMUNES
)
assert len(todas) == len(set(todas))
def test_un_tipo_fuera_del_catalogo_se_rechaza():
"""El CRM valida ANTES de gastar un viaje de red, y evita que un typo cree un DocumentType
basura en el catálogo GLOBAL de EFC, que comparten todas las organizaciones."""
assert is_valid_doc_type("MBL") is True
assert is_valid_doc_type("mbl") is False # sensible a mayúsculas, como el catálogo de EFC
assert is_valid_doc_type("factura_de_venta") is False # typo de 'factura_venta'
assert is_valid_doc_type("") is False
assert is_valid_doc_type(None) is False

View File

@@ -0,0 +1,248 @@
"""Pruebas del cliente HTTP hacia EFC.
**Existen porque el carril de referencia no las tiene.** Verificado: en el gateway de Anexo22 no hay
ni una prueba de ``EfcClient._request``, así que su bucle de reintentos, su backoff, su corte en 4xx
y su header nunca se ejercitan. Ese hueco no se clona.
Todo va contra ``httpx.MockTransport`` por el parámetro ``transport``, que existe justamente para
esto: **ninguna de estas pruebas toca la red**.
"""
import httpx
import pytest
from core.efc_client import EfcClient, EfcClientError
BASE = "https://efc.example.test"
KEY = "llave-de-prueba"
def _client(handler, **kwargs) -> EfcClient:
return EfcClient(
base_url=kwargs.pop("base_url", BASE),
api_key=kwargs.pop("api_key", KEY),
timeout_ms=kwargs.pop("timeout_ms", 500),
upload_timeout_ms=kwargs.pop("upload_timeout_ms", 500),
verify_ssl=False,
transport=httpx.MockTransport(handler),
**kwargs,
)
def test_reintenta_un_500_y_devuelve_el_exito():
intentos = {"n": 0}
def handler(request):
intentos["n"] += 1
if intentos["n"] == 1:
return httpx.Response(500, json={"detail": "boom"})
return httpx.Response(200, json={"id": "org-1"})
resp = _client(handler).resolve_organizacion("temex")
assert resp == {"id": "org-1"}
assert intentos["n"] == 2
def test_un_500_permanente_hace_exactamente_tres_intentos_y_es_retryable():
"""``retries = 2`` significa 3 intentos: el original + 2. Ni 2 ni 4."""
intentos = {"n": 0}
def handler(request):
intentos["n"] += 1
return httpx.Response(500, json={"detail": "boom"})
with pytest.raises(EfcClientError) as exc:
_client(handler).resolve_organizacion("temex")
assert intentos["n"] == 3
assert exc.value.retryable is True
def test_un_timeout_permanente_hace_tres_intentos_y_es_retryable():
intentos = {"n": 0}
def handler(request):
intentos["n"] += 1
raise httpx.ConnectTimeout("se acabó el tiempo", request=request)
with pytest.raises(EfcClientError) as exc:
_client(handler).resolve_organizacion("temex")
assert intentos["n"] == 3
assert exc.value.retryable is True
def test_un_400_no_se_reintenta_y_extrae_el_code_del_cuerpo():
"""El corte en 4xx es lo que evita machacar a EFC con una petición que nunca va a pasar.
Y el ``code`` extraído es lo que permite al worker ramificar **por campo**, nunca parseando el
texto del mensaje: un texto cambia con cualquier refactor del otro repo.
"""
intentos = {"n": 0}
def handler(request):
intentos["n"] += 1
return httpx.Response(
400,
json={"error": {"code": "espacio_insuficiente", "message": "La licencia no tiene espacio"}},
)
with pytest.raises(EfcClientError) as exc:
_client(handler).resolve_organizacion("temex")
assert intentos["n"] == 1
assert exc.value.status_code == 400
assert exc.value.code == "espacio_insuficiente"
assert exc.value.retryable is False
assert "La licencia no tiene espacio" in str(exc.value)
@pytest.mark.parametrize("status_code", [401, 403])
def test_401_y_403_no_se_reintentan(status_code):
"""Una key mal configurada no mejora insistiendo: reintentarla solo gasta cuota y llena logs."""
intentos = {"n": 0}
def handler(request):
intentos["n"] += 1
return httpx.Response(status_code)
with pytest.raises(EfcClientError) as exc:
_client(handler).resolve_organizacion("temex")
assert intentos["n"] == 1
assert exc.value.retryable is False
def test_un_cuerpo_de_error_que_no_es_json_no_revienta():
def handler(request):
return httpx.Response(400, text="<html>502 Bad Gateway</html>")
with pytest.raises(EfcClientError) as exc:
_client(handler).resolve_organizacion("temex")
assert exc.value.code is None
assert exc.value.status_code == 400
def test_toda_llamada_manda_el_header_x_api_key():
visto = {}
def handler(request):
visto["key"] = request.headers.get("X-Api-Key")
return httpx.Response(200, json={"id": "org-1"})
_client(handler).resolve_organizacion("temex")
assert visto["key"] == KEY
def test_sin_url_configurada_no_toca_la_red_y_el_error_no_es_retryable():
"""``is_configured is False`` es lo que hace que todo el carril sea best-effort.
Si esto tocara la red, cada operación del CRM con EFC apagado pagaría un timeout.
"""
llamado = {"n": 0}
def handler(request):
llamado["n"] += 1
return httpx.Response(200, json={})
client = _client(handler, base_url="")
assert client.is_configured is False
with pytest.raises(EfcClientError) as exc:
client.resolve_organizacion("temex")
assert llamado["n"] == 0
assert exc.value.retryable is False
def test_sin_api_key_tampoco_esta_configurado():
def handler(request):
return httpx.Response(200, json={})
assert _client(handler, api_key="").is_configured is False
def test_la_base_url_con_y_sin_barra_final_dan_la_misma_url():
urls = []
def handler(request):
urls.append(str(request.url))
return httpx.Response(200, json={"id": "org-1"})
_client(handler, base_url=BASE).resolve_organizacion("temex")
_client(handler, base_url=BASE + "/").resolve_organizacion("temex")
assert urls[0] == urls[1]
assert "//organization" not in urls[0]
def test_la_subida_va_multipart_y_lleva_el_crm_document_ref():
"""El ref es la tercera capa de idempotencia: EFC devuelve 200 con el que ya existía."""
visto = {}
def handler(request):
visto["content_type"] = request.headers.get("Content-Type", "")
visto["body"] = request.content
return httpx.Response(201, json={"id": "doc-1"})
resp = _client(handler).upload_documento(
"org-1", 1, 42, "MBL", "guia.pdf", b"%PDF-1.4 contenido", "application/pdf",
crm_document_ref="SHPDOC-1-4471",
)
assert resp == {"id": "doc-1"}
assert visto["content_type"].startswith("multipart/form-data")
assert b"SHPDOC-1-4471" in visto["body"]
assert b"%PDF-1.4 contenido" in visto["body"]
# Nada de base64: el archivo viaja crudo dentro del multipart.
assert b"base64" not in visto["body"]
def test_la_subida_usa_el_timeout_largo_y_los_metadatos_el_corto():
"""Los 8 s de los metadatos no alcanzan para un archivo de 25 MB, y un timeout de subida
demasiado largo haría que el CRM vea un 504 opaco de nginx sin saber si el documento entró."""
client = _client(handler=lambda r: httpx.Response(200, json={}), timeout_ms=8000, upload_timeout_ms=55000)
assert client.timeout_s == 8.0
assert client.upload_timeout_s == 55.0
assert client.upload_timeout_s > client.timeout_s
def test_ensure_then_upload_puede_ramificar_por_el_code_del_404():
"""El 404 del expediente tiene que llegar al worker con su ``code`` y su ``status_code``.
Es lo que dispara el ensure-then-upload; sin el code, el worker tendría que adivinar de qué es
el 404 y crearía provisionales por cualquier ausencia.
"""
def handler(request):
return httpx.Response(
404, json={"error": {"code": "expediente_no_encontrado", "message": "no está"}}
)
with pytest.raises(EfcClientError) as exc:
_client(handler).upload_documento("org-1", 1, 42, "MBL", "g.pdf", b"x")
assert exc.value.status_code == 404
assert exc.value.code == "expediente_no_encontrado"
assert exc.value.retryable is False
def test_la_descarga_devuelve_contenido_y_nombre_del_content_disposition():
def handler(request):
return httpx.Response(
200,
content=b"contenido binario",
headers={"Content-Disposition": 'attachment; filename="factura.pdf"'},
)
contenido, nombre = _client(handler).download_documento("org-1", "doc-1")
assert contenido == b"contenido binario"
assert nombre == "factura.pdf"
def test_la_descarga_sin_content_disposition_cae_al_id_del_documento():
def handler(request):
return httpx.Response(200, content=b"x")
_contenido, nombre = _client(handler).download_documento("org-1", "doc-9")
assert nombre == "doc-9"

View File

@@ -0,0 +1,350 @@
"""Pruebas de la entrega de un archivo al expediente de EFC.
Cubren las tres cosas que hacen que este carril no pierda ni duplique archivos: el
**ensure-then-upload** cuando el provisional todavía no existe allá, el **corte directo**
(``delete_local``) que borra la copia local solo al confirmar, y la idempotencia por
``crm_document_ref`` cuando un timeout ambiguo hace reintentar.
"""
import pytest
from api.v1.modules.crm.expediente_gateway import service as gateway
from api.v1.modules.crm.expediente_gateway.models import (
FILE_KIND_DOCUMENTO,
MAX_ATTEMPTS,
SOURCE_CRM_DOCUMENTS,
STATUS_FAILED,
STATUS_PENDING,
STATUS_SENT,
EfcFileOutbox,
)
from api.v1.modules.crm.expedientes import service as expedientes_service
from api.v1.modules.crm.documents.models import Document
from api.v1.modules.crm.service_requests import service as sr_service
from api.v1.modules.crm.service_requests.dto import ServiceRequestCreate
from core.efc_client import EfcClientError
from tests.conftest import COMPANY_ID, TENANT_ID
CONTENIDO = b"%PDF-1.4 guia madre"
S3_KEY = "tenants/1/companies/1/expedientes/1/guia.pdf"
class _ClienteFalso:
"""Doble del cliente de EFC. Registra qué se le pidió, para poder afirmarlo."""
is_configured = True
def __init__(self, *, upload_falla_con=None, falla_solo_la_primera=True):
self.uploads = []
self.ingests = []
self._upload_falla_con = upload_falla_con
self._falla_solo_la_primera = falla_solo_la_primera
def ingest_expediente(self, payload):
self.ingests.append(payload)
return {"status": "created", "efc": {"pedimento_id": "ped-1"}}
def upload_documento(self, org_id, company_id, expediente_id, tipo, filename, content,
content_type="application/octet-stream", crm_document_ref=None):
primera = not self.uploads
self.uploads.append({
"org_id": org_id, "company_id": company_id, "expediente_id": expediente_id,
"tipo": tipo, "filename": filename, "content": content,
"content_type": content_type, "crm_document_ref": crm_document_ref,
})
if self._upload_falla_con is not None and (primera or not self._falla_solo_la_primera):
raise self._upload_falla_con
return {"id": f"doc-{len(self.uploads)}"}
@pytest.fixture()
def entorno(db, monkeypatch):
"""EFC encendido, storage simulado y organización ya resuelta."""
from core.config import settings
monkeypatch.setattr(settings, "EFC_API_URL", "https://efc.example.test/", raising=False)
monkeypatch.setattr(gateway, "_dispatch_delivery", lambda *a, **k: None)
monkeypatch.setattr(gateway, "_dispatch_file_delivery", lambda *a, **k: None)
monkeypatch.setattr(gateway, "_tenant_slug", lambda tid: ("temex", "TEMEX"))
monkeypatch.setattr(gateway, "_resolve_org_id", lambda c, t: "org-1")
borrados = []
import core.storage_s3 as storage
monkeypatch.setattr(storage, "get_object_bytes", lambda key: CONTENIDO)
monkeypatch.setattr(storage, "delete_object_if_exists", lambda key: borrados.append(key))
solicitud = sr_service.create_service_request(
db, ServiceRequestCreate(operation_type="importacion"), TENANT_ID, COMPANY_ID, "user-1"
)
expediente = expedientes_service.find_by_service_request(db, solicitud.id, TENANT_ID, COMPANY_ID)
return {"db": db, "expediente": expediente, "borrados": borrados}
def _documento_local(db, expediente) -> Document:
doc = Document(
doc_type="MBL",
name="guia.pdf",
file_key=S3_KEY,
content_type="application/pdf",
size_bytes=len(CONTENIDO),
expediente_id=expediente.id,
efc_sync_state="PENDING",
tenant_id=TENANT_ID,
company_id=COMPANY_ID,
)
db.add(doc)
db.flush()
doc.efc_document_ref = f"CRMDOC-{COMPANY_ID}-{doc.id}"
db.commit()
return doc
def _fila(db, expediente, documento, **kwargs) -> EfcFileOutbox:
row = EfcFileOutbox(
kind=FILE_KIND_DOCUMENTO,
s3_key=S3_KEY,
file_name="guia.pdf",
content_type="application/pdf",
efc_tipo="MBL",
source_table=SOURCE_CRM_DOCUMENTS,
source_id=documento.id,
crm_document_ref=documento.efc_document_ref,
expediente_ref=expediente.id,
delete_local=kwargs.pop("delete_local", True),
status=kwargs.pop("status", STATUS_PENDING),
tenant_id=TENANT_ID,
company_id=COMPANY_ID,
**kwargs,
)
db.add(row)
db.commit()
return row
# ── Camino feliz ─────────────────────────────────────────────────────────────
def test_entrega_feliz_marca_la_fila_y_el_documento(entorno):
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
cliente = _ClienteFalso()
gateway.deliver_file_row(db, row, cliente)
assert row.status == STATUS_SENT
assert row.efc_document_id == "doc-1"
assert row.sent_at is not None
assert documento.efc_sync_state == "SYNCED"
assert documento.efc_document_id == "doc-1"
assert documento.efc_synced_at is not None
def test_la_subida_lleva_el_crm_document_ref_y_el_contenido_leido_de_minio(entorno):
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
cliente = _ClienteFalso()
gateway.deliver_file_row(db, row, cliente)
assert len(cliente.uploads) == 1
subida = cliente.uploads[0]
assert subida["crm_document_ref"] == documento.efc_document_ref
assert subida["content"] == CONTENIDO
assert subida["tipo"] == "MBL"
assert subida["expediente_id"] == expediente.id
# ── Ensure-then-upload ───────────────────────────────────────────────────────
def test_un_404_de_expediente_crea_el_provisional_y_reintenta_una_vez(entorno):
"""La creación del provisional y la subida son colas distintas: la subida puede llegar antes.
Sin esto, el primer documento de cada expediente fallaría y esperaría al barrido.
"""
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
cliente = _ClienteFalso(
upload_falla_con=EfcClientError("no está", status_code=404, code="expediente_no_encontrado")
)
gateway.deliver_file_row(db, row, cliente)
assert len(cliente.ingests) == 1
assert cliente.ingests[0]["folio"] == expediente.folio
assert cliente.ingests[0]["storage_token"] == expediente.efc_storage_token
assert len(cliente.uploads) == 2 # el que falló + UNO de reintento
assert row.status == STATUS_SENT
def test_un_404_con_OTRO_code_no_dispara_el_ensure(entorno):
"""El ensure se dispara por el ``code``, no por el 404 a secas.
Si se disparara por cualquier 404, un documento no encontrado crearía provisionales espurios.
"""
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
cliente = _ClienteFalso(
upload_falla_con=EfcClientError("otro", status_code=404, code="documento_no_encontrado"),
falla_solo_la_primera=False,
)
gateway.deliver_file_row(db, row, cliente)
assert cliente.ingests == []
assert len(cliente.uploads) == 1
assert row.attempts == 1
def test_el_ensure_reintenta_UNA_vez_y_no_entra_en_bucle(entorno):
"""Si el reintento vuelve a dar 404, se registra el fallo. No se reintenta indefinidamente."""
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
cliente = _ClienteFalso(
upload_falla_con=EfcClientError("no está", status_code=404, code="expediente_no_encontrado"),
falla_solo_la_primera=False,
)
gateway.deliver_file_row(db, row, cliente)
assert len(cliente.ingests) == 1
assert len(cliente.uploads) == 2
assert row.attempts == 1
assert row.status == STATUS_FAILED # un 404 no es retryable
# ── Corte directo (delete_local) ─────────────────────────────────────────────
def test_al_confirmar_se_borra_la_copia_local(entorno):
"""«EFC es la fuente única» se cumple así: el objeto local se borra AL CONFIRMAR, no antes."""
db, expediente, borrados = entorno["db"], entorno["expediente"], entorno["borrados"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento, delete_local=True)
gateway.deliver_file_row(db, row, _ClienteFalso())
assert borrados == [S3_KEY]
# La key local se limpia: dejarla apuntaría a un objeto que ya no existe y la descarga se
# ramificaría por el camino equivocado.
assert documento.file_key is None
def test_con_delete_local_en_false_no_se_borra_nada(entorno):
db, expediente, borrados = entorno["db"], entorno["expediente"], entorno["borrados"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento, delete_local=False)
gateway.deliver_file_row(db, row, _ClienteFalso())
assert borrados == []
assert documento.file_key == S3_KEY
assert row.status == STATUS_SENT
def test_si_el_borrado_local_falla_la_entrega_sigue_siendo_valida(entorno, monkeypatch):
"""El archivo YA está en EFC. No poder borrar la copia local no invalida la entrega, y volver a
intentarla subiría el mismo documento otra vez."""
db, expediente = entorno["db"], entorno["expediente"]
import core.storage_s3 as storage
def _revienta(key):
raise RuntimeError("MinIO no responde")
monkeypatch.setattr(storage, "delete_object_if_exists", _revienta)
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento, delete_local=True)
gateway.deliver_file_row(db, row, _ClienteFalso())
assert row.status == STATUS_SENT
assert documento.efc_sync_state == "SYNCED"
def test_el_borrado_local_ocurre_ANTES_de_marcar_enviada_pero_no_antes_de_subir(entorno):
"""Nunca se borra el original antes de confirmar la subida: si se borrara primero y la subida
fallara, el archivo se habría perdido."""
db, expediente, borrados = entorno["db"], entorno["expediente"], entorno["borrados"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento, delete_local=True)
cliente = _ClienteFalso(
upload_falla_con=EfcClientError("500", status_code=500, retryable=True),
falla_solo_la_primera=False,
)
gateway.deliver_file_row(db, row, cliente)
assert borrados == [] # la subida falló: el original sigue ahí
assert row.status == STATUS_PENDING
assert documento.file_key == S3_KEY
# ── Fallos ───────────────────────────────────────────────────────────────────
def test_un_fallo_de_efc_no_propaga_y_se_refleja_en_el_documento(entorno):
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento, attempts=MAX_ATTEMPTS - 1)
cliente = _ClienteFalso(
upload_falla_con=EfcClientError("EFC caído", status_code=503, retryable=True),
falla_solo_la_primera=False,
)
gateway.deliver_file_row(db, row, cliente) # no lanza
assert row.status == STATUS_FAILED
assert documento.efc_sync_state == "FAILED"
assert "EFC caído" in documento.efc_error_detail
assert documento.efc_attempts == MAX_ATTEMPTS
def test_una_fila_ya_enviada_no_vuelve_a_subir_el_archivo(entorno):
"""Segunda guarda de idempotencia. Un re-despacho tras un timeout ambiguo no duplica."""
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento, status=STATUS_SENT)
cliente = _ClienteFalso()
gateway.deliver_file_row(db, row, cliente)
assert cliente.uploads == []
def test_un_expediente_borrado_deja_la_fila_reintentable(entorno):
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
row.expediente_ref = 999999
db.commit()
gateway.deliver_file_row(db, row, _ClienteFalso())
assert row.status == STATUS_PENDING # retryable: el expediente puede reaparecer
assert row.attempts == 1
def test_un_reintento_tras_timeout_manda_el_mismo_ref_y_no_duplica(entorno):
"""El ``crm_document_ref`` es estable entre reintentos: EFC devuelve 200 con el que ya existía.
Es la tercera capa de idempotencia y la que cubre el timeout ambiguo —EFC commiteó y contestó
tarde—, donde el CRM no puede saber si el documento entró.
"""
db, expediente = entorno["db"], entorno["expediente"]
documento = _documento_local(db, expediente)
row = _fila(db, expediente, documento)
primer_cliente = _ClienteFalso(
upload_falla_con=EfcClientError("timeout", retryable=True), falla_solo_la_primera=False
)
gateway.deliver_file_row(db, row, primer_cliente)
assert row.status == STATUS_PENDING
segundo_cliente = _ClienteFalso()
gateway.deliver_file_row(db, row, segundo_cliente)
assert primer_cliente.uploads[0]["crm_document_ref"] == segundo_cliente.uploads[0]["crm_document_ref"]
assert row.status == STATUS_SENT

View File

@@ -0,0 +1,386 @@
"""Pruebas de la máquina de reintentos del outbox hacia EFC.
Lo que se fija aquí es la capa 2 de las tres del carril: el worker **nunca lanza**, registra el
fallo en la propia fila, y decide reintentar o rendirse por el campo ``retryable`` —nunca parseando
el texto del error—.
"""
import pytest
from api.v1.modules.crm.expediente_gateway import service as gateway
from api.v1.modules.crm.expediente_gateway.models import (
FILE_KIND_DOCUMENTO,
KIND_EXPEDIENTE,
MAX_ATTEMPTS,
SOURCE_CRM_DOCUMENTS,
SOURCE_OPS_SHIPMENT_DOCUMENTS,
STATUS_FAILED,
STATUS_PENDING,
STATUS_SENT,
EfcFileOutbox,
EfcSyncOutbox,
)
from api.v1.modules.crm.expedientes import service as expedientes_service
from api.v1.modules.crm.service_requests import service as sr_service
from api.v1.modules.crm.service_requests.dto import ServiceRequestCreate
from core.efc_client import EfcClientError
from tests.conftest import COMPANY_ID, TENANT_ID
OTRO_TENANT = 99
@pytest.fixture()
def efc_encendido(monkeypatch):
"""Enciende la integración y evita que el encolado toque el broker o el tenant real."""
from core.config import settings
monkeypatch.setattr(settings, "EFC_API_URL", "https://efc.example.test/", raising=False)
monkeypatch.setattr(gateway, "_dispatch_delivery", lambda *a, **k: None)
monkeypatch.setattr(gateway, "_dispatch_file_delivery", lambda *a, **k: None)
monkeypatch.setattr(gateway, "_tenant_slug", lambda tid: ("temex", "TEMEX"))
return settings
@pytest.fixture()
def efc_apagado(monkeypatch):
from core.config import settings
monkeypatch.setattr(settings, "EFC_API_URL", "", raising=False)
return settings
def _expediente(db):
solicitud = sr_service.create_service_request(
db, ServiceRequestCreate(operation_type="importacion"), TENANT_ID, COMPANY_ID, "user-1"
)
return expedientes_service.find_by_service_request(db, solicitud.id, TENANT_ID, COMPANY_ID)
def _fila_sync(db, expediente, **kwargs):
row = EfcSyncOutbox(
kind=kwargs.pop("kind", KIND_EXPEDIENTE),
payload=kwargs.pop("payload", {"folio": expediente.folio}),
expediente_ref=expediente.id,
status=kwargs.pop("status", STATUS_PENDING),
tenant_id=kwargs.pop("tenant_id", TENANT_ID),
company_id=kwargs.pop("company_id", COMPANY_ID),
**kwargs,
)
db.add(row)
db.commit()
return row
def _fila_archivo(db, expediente, **kwargs):
row = EfcFileOutbox(
kind=kwargs.pop("kind", FILE_KIND_DOCUMENTO),
s3_key=kwargs.pop("s3_key", "tenants/1/companies/1/expedientes/1/guia.pdf"),
file_name=kwargs.pop("file_name", "guia.pdf"),
content_type="application/pdf",
efc_tipo=kwargs.pop("efc_tipo", "MBL"),
source_table=kwargs.pop("source_table", SOURCE_CRM_DOCUMENTS),
source_id=kwargs.pop("source_id", 1),
crm_document_ref=kwargs.pop("crm_document_ref", "CRMDOC-1-1"),
expediente_ref=expediente.id,
status=kwargs.pop("status", STATUS_PENDING),
tenant_id=kwargs.pop("tenant_id", TENANT_ID),
company_id=kwargs.pop("company_id", COMPANY_ID),
**kwargs,
)
db.add(row)
db.commit()
return row
# ── _register_failure ────────────────────────────────────────────────────────
def test_un_fallo_retryable_suma_un_intento_y_deja_la_fila_pendiente(db, efc_encendido):
expediente = _expediente(db)
row = _fila_sync(db, expediente)
gateway._register_failure(db, row, EfcClientError("EFC no responde", retryable=True), True)
assert row.attempts == 1
assert row.status == STATUS_PENDING
assert "EFC no responde" in row.last_error
def test_un_fallo_no_retryable_marca_failed_de_inmediato(db, efc_encendido):
"""Un 400 no mejora insistiendo: reintentarlo ocho veces solo retrasa que alguien lo vea."""
expediente = _expediente(db)
row = _fila_sync(db, expediente)
gateway._register_failure(db, row, EfcClientError("tipo inválido", retryable=False), False)
assert row.attempts == 1
assert row.status == STATUS_FAILED
def test_al_llegar_a_max_attempts_la_fila_queda_failed(db, efc_encendido):
expediente = _expediente(db)
row = _fila_sync(db, expediente, attempts=MAX_ATTEMPTS - 1)
gateway._register_failure(db, row, EfcClientError("otra vez", retryable=True), True)
assert row.attempts == MAX_ATTEMPTS
assert row.status == STATUS_FAILED
def test_el_ultimo_error_se_trunca_a_2000_caracteres(db, efc_encendido):
"""``last_error`` es Text, pero un traceback de 5000 caracteres por fila llena la tabla de ruido."""
expediente = _expediente(db)
row = _fila_sync(db, expediente)
gateway._register_failure(db, row, Exception("x" * 5000), True)
assert len(row.last_error) == 2000
# ── deliver_row: no propaga ──────────────────────────────────────────────────
class _ClienteQueRevienta:
is_configured = True
def __init__(self, exc):
self._exc = exc
self.llamadas = 0
def ingest_expediente(self, payload):
self.llamadas += 1
raise self._exc
def completar_expediente(self, folio, payload):
self.llamadas += 1
raise self._exc
def test_deliver_row_no_propaga_la_excepcion_de_efc(db, efc_encendido, monkeypatch):
"""Si esto propagara, un EFC caído mataría al worker y se perdería la cola entera."""
expediente = _expediente(db)
row = _fila_sync(db, expediente)
monkeypatch.setattr(gateway, "_resolve_org_id", lambda c, t: "org-1")
gateway.deliver_row(db, row, _ClienteQueRevienta(EfcClientError("caído", retryable=True)))
assert row.status == STATUS_PENDING
assert row.attempts == 1
def test_deliver_row_tampoco_propaga_una_excepcion_inesperada(db, efc_encendido, monkeypatch):
expediente = _expediente(db)
row = _fila_sync(db, expediente)
monkeypatch.setattr(gateway, "_resolve_org_id", lambda c, t: "org-1")
gateway.deliver_row(db, row, _ClienteQueRevienta(RuntimeError("algo raro")))
assert row.attempts == 1
# Una excepción inesperada se trata como transitoria: no se sabe que sea permanente.
assert row.status == STATUS_PENDING
def test_una_fila_ya_enviada_no_vuelve_a_llamar_a_efc(db, efc_encendido):
"""Segunda guarda de idempotencia. Sin ella, un re-despacho duplicaría el expediente en EFC."""
expediente = _expediente(db)
row = _fila_sync(db, expediente, status=STATUS_SENT)
cliente = _ClienteQueRevienta(EfcClientError("no debería llamarse"))
gateway.deliver_row(db, row, cliente)
assert cliente.llamadas == 0
assert row.status == STATUS_SENT
# ── _ya_entregado: la ambigüedad de las dos secuencias ───────────────────────
def test_no_se_encola_dos_veces_el_mismo_archivo(db, efc_encendido):
expediente = _expediente(db)
_fila_archivo(db, expediente, source_id=7, status=STATUS_SENT)
assert gateway._ya_entregado(db, SOURCE_CRM_DOCUMENTS, 7, FILE_KIND_DOCUMENTO) is True
row = gateway.enqueue_file_best_effort(
db, kind=FILE_KIND_DOCUMENTO, s3_key="k", file_name="f.pdf", content_type=None,
efc_tipo="MBL", source_table=SOURCE_CRM_DOCUMENTS, source_id=7,
crm_document_ref="CRMDOC-1-7", expediente_ref=expediente.id,
tenant_id=TENANT_ID, company_id=COMPANY_ID,
)
assert row is None
def test_el_mismo_id_en_otra_tabla_de_origen_SI_se_encola(db, efc_encendido):
"""La prueba de la ambigüedad de las dos secuencias.
``crm.documents.id = 7`` y ``ops.shipment_documents.id = 7`` son documentos DISTINTOS. Sin
``source_table`` en la guarda, entregar el primero haría que el segundo se saltara para
siempre — y nadie vería un error.
"""
expediente = _expediente(db)
_fila_archivo(db, expediente, source_id=7, source_table=SOURCE_CRM_DOCUMENTS, status=STATUS_SENT)
assert gateway._ya_entregado(db, SOURCE_OPS_SHIPMENT_DOCUMENTS, 7, FILE_KIND_DOCUMENTO) is False
row = gateway.enqueue_file_best_effort(
db, kind=FILE_KIND_DOCUMENTO, s3_key="k", file_name="f.pdf", content_type=None,
efc_tipo="MBL", source_table=SOURCE_OPS_SHIPMENT_DOCUMENTS, source_id=7,
crm_document_ref="SHPDOC-1-7", expediente_ref=expediente.id,
tenant_id=TENANT_ID, company_id=COMPANY_ID,
)
assert row is not None
assert row.source_table == SOURCE_OPS_SHIPMENT_DOCUMENTS
# ── retry ────────────────────────────────────────────────────────────────────
def test_retry_resetea_la_fila_y_la_re_despacha(db, efc_encendido, monkeypatch):
despachos = []
monkeypatch.setattr(
gateway, "_dispatch_file_delivery", lambda oid, t, c: despachos.append((oid, t, c))
)
expediente = _expediente(db)
row = _fila_archivo(db, expediente, status=STATUS_FAILED, attempts=MAX_ATTEMPTS,
last_error="se acabaron los intentos")
ok = gateway.retry_outbox_row(db, row.id, TENANT_ID, COMPANY_ID, "file")
assert ok is True
assert row.status == STATUS_PENDING
assert row.attempts == 0
assert row.last_error is None
assert despachos == [(row.id, TENANT_ID, COMPANY_ID)]
def test_retry_de_otro_tenant_devuelve_false(db, efc_encendido):
"""Devuelve False y el llamador lo traduce a 404: un 200 le haría creer al frontend que se
reencoló algo que ni siquiera es suyo."""
expediente = _expediente(db)
row = _fila_archivo(db, expediente, status=STATUS_FAILED)
assert gateway.retry_outbox_row(db, row.id, OTRO_TENANT, COMPANY_ID, "file") is False
assert row.status == STATUS_FAILED # intacta
def test_retry_de_una_fila_inexistente_devuelve_false(db, efc_encendido):
assert gateway.retry_outbox_row(db, 999999, TENANT_ID, COMPANY_ID, "file") is False
# ── métricas y listado ───────────────────────────────────────────────────────
def test_las_metricas_cuentan_por_status_sumando_las_dos_tablas(db, efc_encendido):
expediente = _expediente(db)
_fila_sync(db, expediente, status=STATUS_SENT)
_fila_archivo(db, expediente, source_id=1, status=STATUS_PENDING)
_fila_archivo(db, expediente, source_id=2, status=STATUS_FAILED)
_fila_archivo(db, expediente, source_id=3, status=STATUS_FAILED)
metricas = gateway.outbox_metrics(db, TENANT_ID, COMPANY_ID)
# El alta del expediente encoló su propia fila pendiente al crearse la solicitud.
assert metricas["failed"] == 2
assert metricas["sent"] == 1
assert metricas["pending"] >= 1
def test_las_metricas_no_ven_las_filas_de_otro_tenant(db, efc_encendido):
expediente = _expediente(db)
_fila_archivo(db, expediente, source_id=5, status=STATUS_FAILED, tenant_id=OTRO_TENANT)
assert gateway.outbox_metrics(db, TENANT_ID, COMPANY_ID)["failed"] == 0
def test_el_listado_marca_de_que_tabla_viene_cada_fila(db, efc_encendido):
expediente = _expediente(db)
_fila_archivo(db, expediente, source_id=1)
filas = gateway.list_outbox(db, TENANT_ID, COMPANY_ID)
tablas = {f["tabla"] for f in filas}
assert tablas == {"sync", "file"}
solo_archivos = gateway.list_outbox(db, TENANT_ID, COMPANY_ID, tipo="file")
assert {f["tabla"] for f in solo_archivos} == {"file"}
# ── huecos ───────────────────────────────────────────────────────────────────
def test_find_expediente_gaps_encuentra_los_que_no_tienen_fila(db, efc_apagado):
"""Con EFC apagado no se encola nada, así que todos los expedientes son huecos.
Es exactamente el caso que el barrido cubre: lo creado ANTES de activar la integración.
"""
_expediente(db)
_expediente(db)
huecos = gateway.find_expediente_gaps(db)
assert len(huecos) == 2
def test_un_expediente_con_fila_failed_NO_es_un_hueco(db, efc_encendido):
"""Un ``failed`` existe como fila: es visible en el tablero y reintentable a mano.
Tratarlo como hueco lo re-encolaría en cada barrido y escondería el fallo.
"""
expediente = _expediente(db)
fila = db.query(EfcSyncOutbox).filter(EfcSyncOutbox.expediente_ref == expediente.id).first()
assert fila is not None
fila.status = STATUS_FAILED
db.commit()
assert gateway.find_expediente_gaps(db) == []
# ── best-effort ──────────────────────────────────────────────────────────────
def test_con_efc_apagado_no_se_encola_nada(db, efc_apagado):
"""``EFC_API_URL`` vacía apaga el carril entero. El CRM sigue funcionando igual."""
expediente = _expediente(db)
assert db.query(EfcSyncOutbox).count() == 0
fila = gateway.enqueue_file_best_effort(
db, kind=FILE_KIND_DOCUMENTO, s3_key="k", file_name="f.pdf", content_type=None,
efc_tipo="MBL", source_table=SOURCE_CRM_DOCUMENTS, source_id=1,
crm_document_ref="CRMDOC-1-1", expediente_ref=expediente.id,
tenant_id=TENANT_ID, company_id=COMPANY_ID,
)
assert fila is None
assert db.query(EfcFileOutbox).count() == 0
def test_con_efc_encendido_crear_una_solicitud_encola_su_expediente(db, efc_encendido):
expediente = _expediente(db)
filas = db.query(EfcSyncOutbox).filter(EfcSyncOutbox.expediente_ref == expediente.id).all()
assert len(filas) == 1
assert filas[0].kind == KIND_EXPEDIENTE
assert filas[0].status == STATUS_PENDING
assert filas[0].payload["folio"] == expediente.folio
assert filas[0].payload["storage_token"] == expediente.efc_storage_token
def test_si_el_encolado_revienta_la_operacion_local_no_se_rompe(db, efc_encendido, monkeypatch):
"""La integración NUNCA puede tumbar el alta de una solicitud del usuario."""
def _revienta(*a, **k):
raise RuntimeError("la tabla del outbox no existe")
monkeypatch.setattr(gateway, "_expediente_ya_encolado", _revienta)
solicitud = sr_service.create_service_request(
db, ServiceRequestCreate(operation_type="importacion"), TENANT_ID, COMPANY_ID, "user-1"
)
assert solicitud.id is not None
assert expedientes_service.find_by_service_request(db, solicitud.id, TENANT_ID, COMPANY_ID) is not None
def test_no_se_encola_dos_veces_el_mismo_expediente(db, efc_encendido):
"""Primera guarda: ``ensure`` es idempotente y no debe generar una segunda réplica."""
expediente = _expediente(db)
solicitud_id = expediente.service_request_id
expedientes_service.ensure_expediente(db, solicitud_id, TENANT_ID, COMPANY_ID, "user-1")
expedientes_service.ensure_expediente(db, solicitud_id, TENANT_ID, COMPANY_ID, "user-1")
filas = db.query(EfcSyncOutbox).filter(
EfcSyncOutbox.expediente_ref == expediente.id,
EfcSyncOutbox.kind == KIND_EXPEDIENTE,
).all()
assert len(filas) == 1

View File

@@ -0,0 +1,134 @@
"""Contrato del tablero de ops del carril CRM -> EFC.
Lo que se fija aquí es lo que el frontend espera recibir: el 404 del reintento sobre una fila que no
existe (y **no** un 200 silencioso), la forma exacta de la respuesta de éxito, y el aislamiento por
tenant/company.
"""
import pytest
from fastapi import HTTPException
from api.v1.modules.crm.expediente_gateway import routes
from api.v1.modules.crm.expediente_gateway import service as gateway
from api.v1.modules.crm.expediente_gateway.models import (
FILE_KIND_DOCUMENTO,
SOURCE_CRM_DOCUMENTS,
STATUS_FAILED,
STATUS_PENDING,
STATUS_SENT,
EfcFileOutbox,
)
from api.v1.modules.crm.expedientes import service as expedientes_service
from api.v1.modules.crm.service_requests import service as sr_service
from api.v1.modules.crm.service_requests.dto import ServiceRequestCreate
from tests.conftest import COMPANY_ID, TENANT_ID
OTRO_TENANT = 99
OTRA_COMPANY = 77
USUARIO = {"tenant_id": TENANT_ID, "sub": "user-1"}
@pytest.fixture()
def entorno(db, monkeypatch):
from core.config import settings
monkeypatch.setattr(settings, "EFC_API_URL", "https://efc.example.test/", raising=False)
monkeypatch.setattr(gateway, "_dispatch_delivery", lambda *a, **k: None)
monkeypatch.setattr(gateway, "_dispatch_file_delivery", lambda *a, **k: None)
monkeypatch.setattr(gateway, "_tenant_slug", lambda tid: ("temex", "TEMEX"))
solicitud = sr_service.create_service_request(
db, ServiceRequestCreate(operation_type="importacion"), TENANT_ID, COMPANY_ID, "user-1"
)
expediente = expedientes_service.find_by_service_request(db, solicitud.id, TENANT_ID, COMPANY_ID)
return {"db": db, "expediente": expediente}
def _fila_archivo(db, expediente, **kwargs) -> EfcFileOutbox:
row = EfcFileOutbox(
kind=FILE_KIND_DOCUMENTO,
s3_key="k",
file_name="guia.pdf",
content_type="application/pdf",
efc_tipo="MBL",
source_table=SOURCE_CRM_DOCUMENTS,
source_id=kwargs.pop("source_id", 1),
crm_document_ref="CRMDOC-1-1",
expediente_ref=expediente.id,
status=kwargs.pop("status", STATUS_PENDING),
tenant_id=kwargs.pop("tenant_id", TENANT_ID),
company_id=kwargs.pop("company_id", COMPANY_ID),
**kwargs,
)
db.add(row)
db.commit()
return row
def test_retry_de_una_fila_inexistente_da_404_con_mensaje_especifico(entorno):
"""**Es contrato con el frontend.** Un 200 le haría pintar «reencolado» cuando no hay nada que
entregar, y el usuario esperaría un badge que nunca va a cambiar."""
with pytest.raises(HTTPException) as exc:
routes.retry_outbox(999999, COMPANY_ID, "file", USUARIO, entorno["db"])
assert exc.value.status_code == 404
assert exc.value.detail == "Fila de outbox no encontrada"
def test_retry_exitoso_devuelve_requeued_con_el_id(entorno):
row = _fila_archivo(entorno["db"], entorno["expediente"], status=STATUS_FAILED)
resp = routes.retry_outbox(row.id, COMPANY_ID, "file", USUARIO, entorno["db"])
assert resp == {"status": "requeued", "id": row.id}
assert row.status == STATUS_PENDING
def test_retry_de_una_fila_de_otra_company_da_404(entorno):
"""No se filtra la existencia: para ese usuario la fila simplemente no existe."""
row = _fila_archivo(entorno["db"], entorno["expediente"], company_id=OTRA_COMPANY)
with pytest.raises(HTTPException) as exc:
routes.retry_outbox(row.id, COMPANY_ID, "file", USUARIO, entorno["db"])
assert exc.value.status_code == 404
def test_metrics_cuenta_por_status(entorno):
db, expediente = entorno["db"], entorno["expediente"]
_fila_archivo(db, expediente, source_id=1, status=STATUS_FAILED)
_fila_archivo(db, expediente, source_id=2, status=STATUS_SENT)
metricas = routes.metrics(COMPANY_ID, USUARIO, db)
assert set(metricas) == {"pending", "sent", "failed"}
assert metricas["failed"] == 1
assert metricas["sent"] == 1
def test_metrics_no_ve_otro_tenant(entorno):
db, expediente = entorno["db"], entorno["expediente"]
_fila_archivo(db, expediente, source_id=3, status=STATUS_FAILED, tenant_id=OTRO_TENANT)
assert routes.metrics(COMPANY_ID, USUARIO, db)["failed"] == 0
def test_el_listado_solo_devuelve_lo_del_tenant_y_la_company(entorno):
db, expediente = entorno["db"], entorno["expediente"]
_fila_archivo(db, expediente, source_id=1)
_fila_archivo(db, expediente, source_id=2, tenant_id=OTRO_TENANT)
_fila_archivo(db, expediente, source_id=3, company_id=OTRA_COMPANY)
filas = routes.list_outbox(COMPANY_ID, "file", None, 100, USUARIO, db)
assert len(filas) == 1
assert filas[0]["source_id"] == 1
def test_el_listado_filtra_por_status(entorno):
db, expediente = entorno["db"], entorno["expediente"]
_fila_archivo(db, expediente, source_id=1, status=STATUS_FAILED)
_fila_archivo(db, expediente, source_id=2, status=STATUS_SENT)
fallidas = routes.list_outbox(COMPANY_ID, "file", STATUS_FAILED, 100, USUARIO, db)
assert [f["source_id"] for f in fallidas] == [1]