Compare commits
24 Commits
reportes
...
celery-ped
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f8379807f8 | ||
|
|
3272cd1d17 | ||
| 55a4036543 | |||
| 39c09fa445 | |||
| dfcbebb98a | |||
| b3c5c5fa87 | |||
| 8a4e732703 | |||
|
|
4b2f3192d0 | ||
| 22f1bc5390 | |||
| fdbc7ba4db | |||
| fb843954b6 | |||
| 1cb2830d71 | |||
|
|
a112d746f6 | ||
| 942847680a | |||
|
|
dad4fa2191 | ||
| 421aa0c0da | |||
| 97ac547a4b | |||
| ed63a4854c | |||
| 202b053698 | |||
| 48de6f8658 | |||
| a75e9d1ebc | |||
| 5042781fdd | |||
| 77f9fe4389 | |||
| 72c0d70a71 |
2
.gitignore
vendored
2
.gitignore
vendored
@@ -178,4 +178,4 @@ cython_debug/
|
||||
#.idea/
|
||||
|
||||
# End of https://www.toptal.com/developers/gitignore/api/django
|
||||
|
||||
*.bak
|
||||
|
||||
@@ -3,12 +3,17 @@ FROM python:3.11-slim
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
# Instalar dependencias del sistema necesarias
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends wget && \
|
||||
wget https://www.rarlab.com/rar/rarlinux-x64-621.tar.gz && \
|
||||
tar -xzvf rarlinux*.tar.gz && \
|
||||
cp rar/unrar /usr/bin/unrar && \
|
||||
rm -rf rarlinux*.tar.gz rar
|
||||
|
||||
COPY requirements.txt ./
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
|
||||
RUN pip install flower
|
||||
|
||||
|
||||
COPY . .
|
||||
|
||||
|
||||
|
||||
@@ -3,8 +3,16 @@ FROM python:3.11-slim
|
||||
WORKDIR /app
|
||||
|
||||
# Instalar dependencias del sistema
|
||||
RUN apt-get update && apt-get install -y \
|
||||
# RUN apt-get update && apt-get install -y \
|
||||
# supervisor \
|
||||
# && rm -rf /var/lib/apt/lists/*
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||
supervisor \
|
||||
wget \
|
||||
&& wget https://www.rarlab.com/rar/rarlinux-x64-621.tar.gz \
|
||||
&& tar -xzvf rarlinux*.tar.gz \
|
||||
&& cp rar/unrar /usr/bin/unrar \
|
||||
&& rm -rf rarlinux*.tar.gz rar \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
# Copiar e instalar dependencias de Python
|
||||
|
||||
@@ -1,5 +1,6 @@
|
||||
import uuid
|
||||
from django.db import models
|
||||
from django.contrib.auth import get_user_model
|
||||
|
||||
# Create your models here.
|
||||
|
||||
@@ -210,4 +211,45 @@ class Importador(models.Model):
|
||||
ordering = ['rfc']
|
||||
|
||||
def __str__(self):
|
||||
return f"{self.rfc} - {self.nombre}"
|
||||
return f"{self.rfc} - {self.nombre}"
|
||||
|
||||
# bulk de datos
|
||||
class BulkUploadTask(models.Model):
|
||||
STATUS_CHOICES = [
|
||||
('pending', 'Pendiente'),
|
||||
('processing', 'Procesando'),
|
||||
('completed', 'Completado'),
|
||||
('failed', 'Fallido'),
|
||||
('partial', 'Parcialmente completado'),
|
||||
]
|
||||
|
||||
user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='bulk_upload_tasks')
|
||||
organizacion = models.ForeignKey('organization.Organizacion', on_delete=models.CASCADE)
|
||||
contribuyente = models.CharField(max_length=255, blank=True, null=True)
|
||||
status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
|
||||
task_type = models.CharField(max_length=50, default='bulk_create')
|
||||
total_files = models.IntegerField(default=0)
|
||||
processed_files = models.IntegerField(default=0)
|
||||
created_pedimentos = models.IntegerField(default=0)
|
||||
created_documents = models.IntegerField(default=0)
|
||||
result = models.JSONField(default=dict, blank=True)
|
||||
failed_files = models.JSONField(default=list, blank=True)
|
||||
error_message = models.TextField(blank=True, null=True)
|
||||
created_at = models.DateTimeField(auto_now_add=True)
|
||||
started_at = models.DateTimeField(null=True, blank=True)
|
||||
finished_at = models.DateTimeField(null=True, blank=True)
|
||||
fecha_pago = models.DateField(null=True, blank=True)
|
||||
clave_pedimento = models.CharField(max_length=50, blank=True, null=True)
|
||||
tipo_operacion_id = models.IntegerField(null=True, blank=True)
|
||||
curp_apoderado = models.CharField(max_length=50, blank=True, null=True)
|
||||
partidas = models.IntegerField(default=0)
|
||||
celery_task_id = models.CharField(max_length=255, blank=True, null=True)
|
||||
|
||||
def __str__(self):
|
||||
return f"BulkUpload {self.id} - {self.status}"
|
||||
|
||||
class Meta:
|
||||
verbose_name = "Tarea de Carga Masiva"
|
||||
verbose_name_plural = "Tareas de Carga Masiva"
|
||||
db_table = 'bulk_upload_task'
|
||||
ordering = ['-created_at']
|
||||
@@ -9,6 +9,7 @@ from api.customs.models import (
|
||||
Partida
|
||||
)
|
||||
from django.db import models
|
||||
from django.db.models import Q
|
||||
from api.record.models import Document # Asegúrate de importar el modelo Documento
|
||||
from api.record.serializers import DocumentSerializer
|
||||
from api.vucem.serializers import VucemSerializer
|
||||
@@ -43,6 +44,59 @@ class PedimentoSerializer(serializers.ModelSerializer):
|
||||
return rep
|
||||
|
||||
class PartidaSerializer(serializers.ModelSerializer):
|
||||
documentos = serializers.SerializerMethodField()
|
||||
|
||||
def get_documentos(self, obj):
|
||||
"""
|
||||
Busca documentos en la tabla `document` que coincidan EXACTAMENTE con:
|
||||
'documents/vu_PT_{pedimentoApp}_{numero}' al inicio del nombre del archivo.
|
||||
"""
|
||||
|
||||
if not obj or not getattr(obj, 'pedimento', None):
|
||||
return []
|
||||
|
||||
if not obj or not getattr(obj, 'numero_partida', None):
|
||||
return []
|
||||
|
||||
try:
|
||||
pedimentoApp = str(obj.pedimento.pedimento_app).strip()
|
||||
numero = str(obj.numero_partida).strip()
|
||||
|
||||
# Construir el patrón exacto de búsqueda
|
||||
patron_exacto = f'documents/vu_PT_{pedimentoApp}_{numero}.xml'
|
||||
|
||||
# Buscar documentos que empiecen EXACTAMENTE con ese patrón
|
||||
qs = Document.objects.filter(
|
||||
archivo=patron_exacto
|
||||
)
|
||||
|
||||
# Opción 2: Si puede tener diferentes extensiones
|
||||
# patron_base = f'documents/vu_PT_{pedimentoApp}_{numero}'
|
||||
# qs = Document.objects.filter(
|
||||
# archivo__startswith=patron_base
|
||||
# ).filter(
|
||||
# archivo__in=[
|
||||
# f'{patron_base}.xml',
|
||||
# f'{patron_base}.pdf',
|
||||
# f'{patron_base}.zip'
|
||||
# ]
|
||||
# )
|
||||
|
||||
# Filtro adicional por pedimento si el modelo Document tiene este campo
|
||||
if hasattr(Document, 'pedimento'):
|
||||
qs = qs.filter(pedimento=obj.pedimento)
|
||||
|
||||
# Filtro por organización
|
||||
if hasattr(obj, 'organizacion') and obj.organizacion:
|
||||
qs = qs.filter(organizacion=obj.organizacion)
|
||||
|
||||
serializer = DocumentSerializer(qs, many=True, context=self.context)
|
||||
return serializer.data
|
||||
|
||||
#return []
|
||||
except Exception:
|
||||
# En caso de cualquier error (por ejemplo, importaciones circulares), devolver lista vacía
|
||||
return []
|
||||
class Meta:
|
||||
model = Partida
|
||||
fields = '__all__'
|
||||
@@ -129,6 +183,47 @@ class ProcesamientoPedimentoSerializer(serializers.ModelSerializer):
|
||||
return representation
|
||||
|
||||
class EDocumentSerializer(serializers.ModelSerializer):
|
||||
documentos = serializers.SerializerMethodField()
|
||||
|
||||
def get_documentos(self, obj):
|
||||
"""
|
||||
Busca documentos en la tabla `document` que coincidan con el
|
||||
`numero_edocument` dentro del nombre del archivo (`archivo`). Se
|
||||
filtra por organización para evitar devolver documentos de otras orgs.
|
||||
Devuelve la serialización completa de los documentos encontrados:
|
||||
1. Empiecen con 'vu_EDOCUMENT' en el nombre del archivo
|
||||
2. Terminen con el numero_edocument + .xml
|
||||
3. Pertenezcan a la misma organización
|
||||
"""
|
||||
if not obj or not getattr(obj, 'numero_edocument', None):
|
||||
return []
|
||||
|
||||
if not obj or not getattr(obj, 'pedimento', None):
|
||||
return []
|
||||
|
||||
# if not obj or not getattr(obj, 'pedimento_id', None):
|
||||
# return []
|
||||
|
||||
try:
|
||||
numero = str(obj.numero_edocument).strip()
|
||||
# id_pedimento = str(obj.pedimento_id).strip()
|
||||
|
||||
qs = Document.objects.filter(
|
||||
pedimento=obj.pedimento,
|
||||
archivo__icontains=numero,
|
||||
)
|
||||
|
||||
# Filtro por organización si aplica
|
||||
if hasattr(obj, 'organizacion') and obj.organizacion:
|
||||
qs = qs.filter(organizacion=obj.organizacion)
|
||||
|
||||
serializer = DocumentSerializer(qs, many=True, context=self.context)
|
||||
return serializer.data
|
||||
|
||||
except Exception:
|
||||
# En caso de cualquier error (por ejemplo, importaciones circulares), devolver lista vacía
|
||||
return []
|
||||
|
||||
class Meta:
|
||||
model = EDocument
|
||||
fields = '__all__'
|
||||
@@ -142,11 +237,48 @@ class EDocumentSerializer(serializers.ModelSerializer):
|
||||
self.fields['organizacion'].read_only = True
|
||||
|
||||
class CoveSerializer(serializers.ModelSerializer):
|
||||
documentos = serializers.SerializerMethodField()
|
||||
|
||||
class Meta:
|
||||
model = Cove
|
||||
fields = '__all__'
|
||||
read_only_fields = ('created_at', 'updated_at')
|
||||
|
||||
def get_documentos(self, obj):
|
||||
"""
|
||||
Busca documentos en la tabla `document` que coincidan con el
|
||||
`numero_cove` dentro del nombre del archivo (`archivo`). Se
|
||||
filtra por organización para evitar devolver documentos de otras orgs.
|
||||
Devuelve la serialización completa de los documentos encontrados:
|
||||
1. Empiecen con 'vu_COVE' en el nombre del archivo
|
||||
2. Terminen con el numero_cove + .xml
|
||||
3. Pertenezcan a la misma organización
|
||||
"""
|
||||
if not obj or not getattr(obj, 'numero_cove', None):
|
||||
return []
|
||||
|
||||
if not obj or not getattr(obj, 'pedimento', None):
|
||||
return []
|
||||
|
||||
try:
|
||||
numero = str(obj.numero_cove).strip()
|
||||
|
||||
qs = Document.objects.filter(
|
||||
pedimento=obj.pedimento,
|
||||
archivo__icontains=numero,
|
||||
)
|
||||
|
||||
# Filtro por organización si aplica
|
||||
if hasattr(obj, 'organizacion') and obj.organizacion:
|
||||
qs = qs.filter(organizacion=obj.organizacion)
|
||||
|
||||
serializer = DocumentSerializer(qs, many=True, context=self.context)
|
||||
return serializer.data
|
||||
|
||||
except Exception:
|
||||
# En caso de cualquier error (por ejemplo, importaciones circulares), devolver lista vacía
|
||||
return []
|
||||
|
||||
class ImportadorSerializer(serializers.ModelSerializer):
|
||||
class Meta:
|
||||
model = Importador
|
||||
|
||||
@@ -1,2 +1,3 @@
|
||||
from .microservice import *
|
||||
from .internal_services import *
|
||||
from .internal_services import *
|
||||
from .bulk_pedimentos import *
|
||||
@@ -1,3 +1,6 @@
|
||||
import os
|
||||
from datetime import datetime
|
||||
from django.db import models
|
||||
from celery import shared_task, group
|
||||
from api.customs.models import ProcesamientoPedimento, Pedimento, Cove, EDocument
|
||||
from core.utils import xml_controller
|
||||
@@ -198,7 +201,7 @@ def auditar_coves(organizacion_id):
|
||||
pedimento,
|
||||
servicio=8,
|
||||
related_name='coves',
|
||||
variable='acuse_descargado',
|
||||
variable='cove_descargado',
|
||||
mensaje='COVE'
|
||||
)
|
||||
|
||||
@@ -247,7 +250,7 @@ def auditar_cove_por_pedimento(pedimento_id):
|
||||
pedimento,
|
||||
servicio=8,
|
||||
related_name='coves',
|
||||
variable='acuse_descargado',
|
||||
variable='cove_descargado',
|
||||
mensaje='COVE'
|
||||
)
|
||||
return {'success': True, 'pedimento_id': str(pedimento_id)}
|
||||
@@ -302,3 +305,154 @@ def auditar_acuse_por_pedimento(pedimento_id):
|
||||
except Exception as e:
|
||||
return {'success': False, 'error': str(e), 'pedimento_id': str(pedimento_id)}
|
||||
|
||||
@shared_task
|
||||
def auditar_pedimento_por_id(pedimento_id):
|
||||
"""
|
||||
Tarea para auditar un pedimento específico verificando todos sus documentos y datos.
|
||||
"""
|
||||
try:
|
||||
pedimento = Pedimento.objects.get(id=pedimento_id)
|
||||
resultado = {
|
||||
'pedimento_id': str(pedimento_id),
|
||||
'pedimento': pedimento.pedimento,
|
||||
'pedimento_app': pedimento.pedimento_app,
|
||||
'organizacion': str(pedimento.organizacion.id),
|
||||
'fecha_auditoria': datetime.now().isoformat(),
|
||||
'estado_general': 'EN_PROGRESO',
|
||||
'detalles': {}
|
||||
}
|
||||
|
||||
# 1. Verificar documentos XML
|
||||
from api.record.models import Document
|
||||
documentos_xml = Document.objects.filter(
|
||||
pedimento=pedimento,
|
||||
archivo__endswith='.xml'
|
||||
)
|
||||
|
||||
resultado['detalles']['documentos_xml'] = {
|
||||
'total': documentos_xml.count(),
|
||||
'archivos': []
|
||||
}
|
||||
|
||||
for doc in documentos_xml:
|
||||
try:
|
||||
xml_info = {
|
||||
'id': str(doc.id),
|
||||
'nombre': os.path.basename(doc.archivo.name),
|
||||
'tamanio': doc.size,
|
||||
'extension': doc.extension,
|
||||
'tipo': doc.document_type.descripcion if doc.document_type else 'Desconocido'
|
||||
}
|
||||
|
||||
# Verificar si el archivo existe físicamente
|
||||
if os.path.exists(doc.archivo.path):
|
||||
xml_info['existe_fisicamente'] = True
|
||||
# Intentar leer el XML
|
||||
try:
|
||||
with open(doc.archivo.path, 'r', encoding='utf-8') as f:
|
||||
content = f.read()
|
||||
xml_info['es_xml_valido'] = '<?xml' in content[:100]
|
||||
xml_info['tamanio_bytes'] = len(content)
|
||||
except Exception as e:
|
||||
xml_info['error_lectura'] = str(e)
|
||||
else:
|
||||
xml_info['existe_fisicamente'] = False
|
||||
|
||||
except Exception as e:
|
||||
xml_info['error'] = str(e)
|
||||
|
||||
resultado['detalles']['documentos_xml']['archivos'].append(xml_info)
|
||||
|
||||
# 2. Verificar si hay documentos asociados
|
||||
resultado['detalles']['documentos_totales'] = {
|
||||
'total': pedimento.documents.count(),
|
||||
'por_tipo': {}
|
||||
}
|
||||
|
||||
for doc_type in pedimento.documents.values('document_type__descripcion').annotate(total=models.Count('id')):
|
||||
tipo = doc_type['document_type__descripcion'] or 'Sin tipo'
|
||||
resultado['detalles']['documentos_totales']['por_tipo'][tipo] = doc_type['total']
|
||||
|
||||
# 3. Verificar COVEs
|
||||
resultado['detalles']['coves'] = {
|
||||
'total': pedimento.coves.count(),
|
||||
'descargados': pedimento.coves.filter(cove_descargado=True).count(),
|
||||
'con_acuse': pedimento.coves.filter(acuse_cove_descargado=True).count()
|
||||
}
|
||||
|
||||
# 4. Verificar EDocuments
|
||||
resultado['detalles']['edocuments'] = {
|
||||
'total': pedimento.documentos.count(),
|
||||
'descargados': pedimento.documentos.filter(edocument_descargado=True).count(),
|
||||
'con_acuse': pedimento.documentos.filter(acuse_descargado=True).count()
|
||||
}
|
||||
|
||||
# 5. Verificar procesamientos
|
||||
resultado['detalles']['procesamientos'] = {
|
||||
'total': pedimento.procesamientos.count(),
|
||||
'por_estado': {}
|
||||
}
|
||||
|
||||
for proc in pedimento.procesamientos.values('estado__estado').annotate(total=models.Count('id')):
|
||||
estado = proc['estado__estado'] or 'Sin estado'
|
||||
resultado['detalles']['procesamientos']['por_estado'][estado] = proc['total']
|
||||
|
||||
# 6. Verificar campos importantes del pedimento
|
||||
campos_revisados = {
|
||||
'numero_operacion': bool(pedimento.numero_operacion),
|
||||
'numero_partidas': bool(pedimento.numero_partidas),
|
||||
'importe_total': bool(pedimento.importe_total),
|
||||
'contribuyente': bool(pedimento.contribuyente),
|
||||
'tiene_remesas': pedimento.remesas,
|
||||
'partidas_creadas': pedimento.partidas.count() > 0,
|
||||
'fecha_pago': bool(pedimento.fecha_pago)
|
||||
}
|
||||
|
||||
resultado['detalles']['campos_pedimento'] = campos_revisados
|
||||
resultado['detalles']['campos_completos'] = sum(campos_revisados.values())
|
||||
resultado['detalles']['campos_totales'] = len(campos_revisados)
|
||||
|
||||
# 7. Determinar estado general
|
||||
campos_completos = resultado['detalles']['campos_completos']
|
||||
total_campos = resultado['detalles']['campos_totales']
|
||||
|
||||
if documentos_xml.count() == 0:
|
||||
resultado['estado_general'] = 'SIN_XML'
|
||||
resultado['mensaje'] = 'No se encontraron documentos XML'
|
||||
elif campos_completos == total_campos:
|
||||
resultado['estado_general'] = 'COMPLETO'
|
||||
resultado['mensaje'] = 'Pedimento completamente procesado'
|
||||
elif campos_completos >= total_campos * 0.7:
|
||||
resultado['estado_general'] = 'PARCIAL'
|
||||
resultado['mensaje'] = 'Pedimento parcialmente procesado'
|
||||
else:
|
||||
resultado['estado_general'] = 'INCOMPLETO'
|
||||
resultado['mensaje'] = 'Pedimento con información incompleta'
|
||||
|
||||
resultado['porcentaje_completitud'] = (campos_completos / total_campos) * 100 if total_campos > 0 else 0
|
||||
|
||||
# 8. Sugerencias
|
||||
sugerencias = []
|
||||
if not pedimento.numero_operacion:
|
||||
sugerencias.append("Falta el número de operación")
|
||||
if not pedimento.numero_partidas:
|
||||
sugerencias.append("Falta el número de partidas")
|
||||
if pedimento.numero_partidas and pedimento.numero_partidas > pedimento.partidas.count():
|
||||
sugerencias.append(f"Faltan partidas: {pedimento.numero_partidas - pedimento.partidas.count()} de {pedimento.numero_partidas}")
|
||||
if not pedimento.contribuyente:
|
||||
sugerencias.append("Falta el contribuyente asociado")
|
||||
|
||||
resultado['sugerencias'] = sugerencias
|
||||
|
||||
return resultado
|
||||
|
||||
except Pedimento.DoesNotExist:
|
||||
return {
|
||||
'error': f'Pedimento con ID {pedimento_id} no encontrado',
|
||||
'pedimento_id': str(pedimento_id)
|
||||
}
|
||||
except Exception as e:
|
||||
return {
|
||||
'error': f'Error auditar pedimento {pedimento_id}: {str(e)}',
|
||||
'pedimento_id': str(pedimento_id)
|
||||
}
|
||||
194
api/customs/tasks/auditoria_xml.py
Normal file
194
api/customs/tasks/auditoria_xml.py
Normal file
@@ -0,0 +1,194 @@
|
||||
# auditoria_xml.py
|
||||
import xml.etree.ElementTree as ET
|
||||
from datetime import datetime
|
||||
|
||||
def extraer_info_pedimento_xml(xml_content):
|
||||
"""
|
||||
Extrae información específica de un XML de pedimento.
|
||||
"""
|
||||
try:
|
||||
# Parsear el XML
|
||||
root = ET.fromstring(xml_content)
|
||||
|
||||
# Buscar el namespace (puede variar)
|
||||
namespaces = {
|
||||
'S': 'http://schemas.xmlsoap.org/soap/envelope/',
|
||||
'ns2': 'http://www.ventanillaunica.gob.mx/pedimentos/ws/oxml/consultarpedimentocompleto',
|
||||
'ns3': 'http://www.ventanillaunica.gob.mx/common/ws/oxml/respuesta'
|
||||
}
|
||||
|
||||
resultado = {}
|
||||
|
||||
# Extraer número de operación
|
||||
num_op = root.find('.//ns2:numeroOperacion', namespaces)
|
||||
if num_op is not None and num_op.text:
|
||||
resultado['numero_operacion'] = num_op.text
|
||||
|
||||
# Extraer información del pedimento
|
||||
pedimento_elem = root.find('.//ns2:pedimento', namespaces)
|
||||
if pedimento_elem is not None:
|
||||
# Número de pedimento
|
||||
ped_num = pedimento_elem.find('ns2:pedimento', namespaces)
|
||||
if ped_num is not None and ped_num.text:
|
||||
resultado['numero_pedimento'] = ped_num.text
|
||||
|
||||
# Número de partidas
|
||||
partidas = pedimento_elem.find('ns2:partidas', namespaces)
|
||||
if partidas is not None and partidas.text:
|
||||
try:
|
||||
resultado['numero_partidas'] = int(partidas.text)
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
# Tipo de operación clave
|
||||
tipo_op_clave = pedimento_elem.find('.//ns2:tipoOperacion/ns2:clave', namespaces)
|
||||
if tipo_op_clave is not None and tipo_op_clave.text:
|
||||
if tipo_op_clave.text.strip() == '1':
|
||||
|
||||
resultado['tipo_operacion'] = 'Importacion'
|
||||
resultado['tipo_operacion_descripcion'] = 'Indica operacion como Importaciones'
|
||||
|
||||
elif tipo_op_clave.text.strip() == '2':
|
||||
|
||||
resultado['tipo_operacion'] = 'Exportacion'
|
||||
resultado['tipo_operacion_descripcion'] = 'Indica operacion de exportacion'
|
||||
|
||||
|
||||
# Clave del documento (clave_pedimento)
|
||||
clave_doc = pedimento_elem.find('.//ns2:claveDocumento/ns2:clave', namespaces)
|
||||
if clave_doc is not None and clave_doc.text:
|
||||
resultado['clave_pedimento'] = clave_doc.text.strip()
|
||||
|
||||
# Aduana (patente)
|
||||
aduana = pedimento_elem.find('.//ns2:aduanaEntradaSalida/ns2:clave', namespaces)
|
||||
if aduana is not None and aduana.text:
|
||||
resultado['aduana_clave'] = aduana.text.strip()
|
||||
|
||||
# Importador/Exportador
|
||||
importador = pedimento_elem.find('.//ns2:importadorExportador', namespaces)
|
||||
if importador is not None:
|
||||
rfc = importador.find('ns2:rfc', namespaces)
|
||||
if rfc is not None and rfc.text:
|
||||
resultado['contribuyente_rfc'] = rfc.text.strip()
|
||||
|
||||
razon_social = importador.find('ns2:razonSocial', namespaces)
|
||||
if razon_social is not None and razon_social.text:
|
||||
resultado['contribuyente_nombre'] = razon_social.text.strip()
|
||||
|
||||
# Valor en dólares
|
||||
valor_dolares = importador.find('ns2:valorDolares', namespaces)
|
||||
if valor_dolares is not None and valor_dolares.text:
|
||||
try:
|
||||
resultado['valor_dolares'] = float(valor_dolares.text)
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
# Aduana de despacho
|
||||
aduana_despacho = importador.find('ns2:aaduanaDespacho/ns2:clave', namespaces)
|
||||
if aduana_despacho is not None and aduana_despacho.text:
|
||||
resultado['aduana_despacho'] = aduana_despacho.text.strip()
|
||||
|
||||
# Encabezado del pedimento
|
||||
encabezado = pedimento_elem.find('ns2:encabezado', namespaces)
|
||||
if encabezado is not None:
|
||||
# Aduana
|
||||
aduana = encabezado.find('ns2:aduanaEntradaSalida/ns2:clave', namespaces)
|
||||
if aduana is not None and aduana.text:
|
||||
resultado['aduana_clave'] = aduana.text.strip()
|
||||
|
||||
# Tipo de cambio
|
||||
tipo_cambio = encabezado.find('ns2:tipoCambio', namespaces)
|
||||
if tipo_cambio is not None and tipo_cambio.text:
|
||||
try:
|
||||
resultado['tipo_cambio'] = float(tipo_cambio.text)
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
# RFC Agente Aduanal
|
||||
rfc_agente = encabezado.find('ns2:rfcAgenteAduanalSocFactura', namespaces)
|
||||
if rfc_agente is not None and rfc_agente.text:
|
||||
resultado['rfc_agente_aduanal'] = rfc_agente.text.strip()
|
||||
|
||||
# CURP Apoderado
|
||||
curp_apoderado = encabezado.find('ns2:curpApoderadomandatario', namespaces)
|
||||
if curp_apoderado is not None and curp_apoderado.text:
|
||||
resultado['curp_apoderado'] = curp_apoderado.text.strip()
|
||||
|
||||
# Valor Aduanal Total
|
||||
valor_aduanal = encabezado.find('ns2:valorAduanalTotal', namespaces)
|
||||
if valor_aduanal is not None and valor_aduanal.text:
|
||||
try:
|
||||
resultado['valor_aduanal_total'] = float(valor_aduanal.text)
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
# Valor Comercial Total
|
||||
valor_comercial = encabezado.find('ns2:valorComercialTotal', namespaces)
|
||||
if valor_comercial is not None and valor_comercial.text:
|
||||
try:
|
||||
resultado['valor_comercial_total'] = float(valor_comercial.text)
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
# Fechas
|
||||
fechas = pedimento_elem.findall('.//ns2:fechas', namespaces)
|
||||
for fecha_elem in fechas:
|
||||
fecha = fecha_elem.find('ns2:fecha', namespaces)
|
||||
clave_fecha = fecha_elem.find('ns2:tipo/ns2:clave', namespaces)
|
||||
|
||||
if fecha is not None and fecha.text and clave_fecha is not None and clave_fecha.text:
|
||||
|
||||
fecha_texto = fecha.text.strip()
|
||||
clave_fecha_texto = clave_fecha.text.strip()
|
||||
|
||||
# Mapeo de claves según especificación
|
||||
if clave_fecha_texto == '1': # Entrada
|
||||
resultado['fecha_entrada'] = fecha_texto
|
||||
elif clave_fecha_texto == '2': # Pago
|
||||
resultado['fecha_pago'] = fecha_texto
|
||||
elif clave_fecha_texto == '3': # Extracción
|
||||
resultado['fecha_extraccion'] = fecha_texto
|
||||
elif clave_fecha_texto == '5': # Presentación
|
||||
resultado['fecha_presentacion'] = fecha_texto
|
||||
elif clave_fecha_texto == '6': # Importación
|
||||
resultado['fecha_importacion'] = fecha_texto
|
||||
elif clave_fecha_texto == '7': # Original
|
||||
resultado['fecha_original'] = fecha_texto
|
||||
else:
|
||||
resultado[f'fecha_clave_{clave_fecha_texto}'] = fecha_texto
|
||||
|
||||
# Facturas (para COVEs)
|
||||
facturas = pedimento_elem.findall('.//ns2:facturas', namespaces)
|
||||
coves_encontrados = []
|
||||
for factura in facturas:
|
||||
numero = factura.find('ns2:numero', namespaces)
|
||||
if numero is not None and numero.text:
|
||||
coves_encontrados.append(numero.text.strip())
|
||||
|
||||
if coves_encontrados:
|
||||
resultado['coves_en_xml'] = coves_encontrados
|
||||
|
||||
# E-Documents
|
||||
identificadores = pedimento_elem.findall('.//ns2:identificadores/ns2:identificadores', namespaces)
|
||||
edocs_encontrados = []
|
||||
for ident in identificadores:
|
||||
clave = ident.find('claveIdentificador/descripcion', namespaces)
|
||||
complemento = ident.find('complemento1', namespaces)
|
||||
if clave is not None and clave.text and 'E_DOCUMENT' in clave.text:
|
||||
if complemento is not None and complemento.text:
|
||||
edocs_encontrados.append(complemento.text.strip())
|
||||
|
||||
if edocs_encontrados:
|
||||
resultado['edocuments_en_xml'] = edocs_encontrados
|
||||
|
||||
# Verificar si hay error en la respuesta
|
||||
tiene_error = root.find('.//ns3:tieneError', namespaces)
|
||||
if tiene_error is not None:
|
||||
resultado['tiene_error'] = tiene_error.text.lower() == 'true'
|
||||
|
||||
return resultado
|
||||
|
||||
except ET.ParseError as e:
|
||||
return {'error_parse': str(e)}
|
||||
except Exception as e:
|
||||
return {'error': str(e)}
|
||||
421
api/customs/tasks/bulk_pedimentos.py
Normal file
421
api/customs/tasks/bulk_pedimentos.py
Normal file
@@ -0,0 +1,421 @@
|
||||
# tasks/bulk_pedimentos.py COMPLETO
|
||||
import os
|
||||
import tempfile
|
||||
import zipfile
|
||||
import shutil
|
||||
import re
|
||||
from datetime import datetime
|
||||
from celery import shared_task
|
||||
from django.core.files.base import ContentFile
|
||||
from django.utils import timezone
|
||||
from django.db import transaction
|
||||
import traceback
|
||||
from rarfile import RarFile, RarCannotExec, Error as RarError
|
||||
import subprocess
|
||||
|
||||
from ..models import BulkUploadTask, Pedimento, Importador, TipoOperacion
|
||||
from ...record.models import DocumentType, Document, Fuente
|
||||
from django.contrib.auth import get_user_model
|
||||
from django.core.files.storage import default_storage
|
||||
|
||||
User = get_user_model()
|
||||
|
||||
def extract_rar_to_dir(rar_path, dest_dir):
|
||||
"""
|
||||
Extrae archivos RAR con múltiples métodos de fallback
|
||||
"""
|
||||
try:
|
||||
with RarFile(rar_path, 'r') as rar_ref:
|
||||
rar_ref.extractall(dest_dir)
|
||||
return True
|
||||
except (RarCannotExec, RarError):
|
||||
try:
|
||||
subprocess.run(['7z', 'x', rar_path, f'-o{dest_dir}'],
|
||||
check=True, capture_output=True)
|
||||
return True
|
||||
except (subprocess.CalledProcessError, FileNotFoundError):
|
||||
try:
|
||||
subprocess.run(['unrar', 'x', rar_path, dest_dir],
|
||||
check=True, capture_output=True)
|
||||
return True
|
||||
except (subprocess.CalledProcessError, FileNotFoundError):
|
||||
return False
|
||||
|
||||
def is_same_document(doc, file_name):
|
||||
"""
|
||||
Determina si un documento es el mismo basado en el nombre
|
||||
"""
|
||||
if not doc.archivo:
|
||||
return False
|
||||
|
||||
doc_name = os.path.basename(doc.archivo.name).lower()
|
||||
new_name = file_name.lower()
|
||||
|
||||
doc_base = os.path.splitext(doc_name)[0]
|
||||
new_base = os.path.splitext(new_name)[0]
|
||||
|
||||
return doc_base == new_base
|
||||
|
||||
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
|
||||
def process_bulk_upload(self, bulk_upload_id):
|
||||
"""
|
||||
Tarea principal para procesar bulk upload de forma asíncrona
|
||||
SOLO recibe el ID, obtiene todo de la base de datos
|
||||
"""
|
||||
try:
|
||||
|
||||
bulk_upload = BulkUploadTask.objects.get(id=bulk_upload_id)
|
||||
|
||||
bulk_upload.celery_task_id = self.request.id
|
||||
bulk_upload.status = 'processing'
|
||||
bulk_upload.started_at = timezone.now()
|
||||
bulk_upload.save(update_fields=['celery_task_id', 'status', 'started_at'])
|
||||
|
||||
if bulk_upload.task_type == 'bulk_create_pedimento_desk':
|
||||
result = _process_bulk_pedimento_desk(bulk_upload)
|
||||
else:
|
||||
result = _process_bulk_create(bulk_upload)
|
||||
|
||||
bulk_upload.status = 'completed' if not result['failed_files'] else 'partial'
|
||||
bulk_upload.finished_at = timezone.now()
|
||||
bulk_upload.result = result
|
||||
bulk_upload.created_pedimentos = result.get('created_count', 0)
|
||||
bulk_upload.created_documents = result.get('documents_created', 0)
|
||||
bulk_upload.failed_files = result.get('failed_files', [])
|
||||
bulk_upload.processed_files = result.get('processed_files', 0)
|
||||
bulk_upload.save()
|
||||
|
||||
temp_files_info = bulk_upload.result.get('temp_files', [])
|
||||
for file_info in temp_files_info:
|
||||
try:
|
||||
default_storage.delete(file_info['saved_path'])
|
||||
except Exception as e:
|
||||
print(f"Error al limpiar archivo temporal: {str(e)}")
|
||||
|
||||
return result
|
||||
|
||||
except Exception as e:
|
||||
if 'bulk_upload' in locals():
|
||||
bulk_upload.status = 'failed'
|
||||
bulk_upload.error_message = f"{str(e)}\n{traceback.format_exc()}"
|
||||
bulk_upload.finished_at = timezone.now()
|
||||
bulk_upload.save()
|
||||
|
||||
raise self.retry(exc=e, countdown=60)
|
||||
|
||||
def _process_bulk_create(bulk_upload):
|
||||
"""
|
||||
Procesa bulk_create normal - VERSIÓN CORREGIDA
|
||||
"""
|
||||
|
||||
created_pedimentos = []
|
||||
failed_files = []
|
||||
documents_created = 0
|
||||
nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
|
||||
nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
|
||||
|
||||
try:
|
||||
organizacion = bulk_upload.organizacion
|
||||
contribuyente = bulk_upload.contribuyente
|
||||
temp_files_info = bulk_upload.result.get('temp_files', [])
|
||||
|
||||
try:
|
||||
document_type = DocumentType.objects.get(nombre="Pedimento")
|
||||
except DocumentType.DoesNotExist:
|
||||
document_type = DocumentType.objects.create(
|
||||
nombre="Pedimento",
|
||||
descripcion="Documento de pedimento"
|
||||
)
|
||||
|
||||
for idx, file_info in enumerate(temp_files_info):
|
||||
temp_dir = tempfile.mkdtemp()
|
||||
|
||||
try:
|
||||
temp_file_path = os.path.join(temp_dir, file_info['original_name'])
|
||||
with default_storage.open(file_info['saved_path'], 'rb') as src:
|
||||
with open(temp_file_path, 'wb') as dst:
|
||||
dst.write(src.read())
|
||||
|
||||
archivo_name_sin_extension = os.path.splitext(file_info['original_name'])[0]
|
||||
sub_dir = os.path.join(temp_dir, archivo_name_sin_extension)
|
||||
os.makedirs(sub_dir, exist_ok=True)
|
||||
|
||||
archivo_name = file_info['original_name'].lower()
|
||||
|
||||
if archivo_name.endswith('.zip'):
|
||||
with zipfile.ZipFile(temp_file_path, 'r') as zip_ref:
|
||||
zip_ref.extractall(sub_dir)
|
||||
|
||||
elif archivo_name.endswith('.rar'):
|
||||
if not extract_rar_to_dir(temp_file_path, sub_dir):
|
||||
failed_files.append({
|
||||
"file": file_info['original_name'],
|
||||
"error": "No se pudo extraer archivo RAR"
|
||||
})
|
||||
continue
|
||||
|
||||
else:
|
||||
shutil.move(temp_file_path, os.path.join(sub_dir, file_info['original_name']))
|
||||
|
||||
for root, dirs, files in os.walk(sub_dir):
|
||||
for file_name in files:
|
||||
file_path = os.path.join(root, file_name)
|
||||
relative_path = os.path.relpath(file_path, sub_dir)
|
||||
folder_name = archivo_name_sin_extension
|
||||
|
||||
match = nomenclatura_pattern.match(folder_name)
|
||||
match_sin_anio = nomenclatura_pattern_sin_anio.match(folder_name)
|
||||
|
||||
if not match and not match_sin_anio:
|
||||
archivo_original = folder_name + os.path.splitext(file_info['original_name'])[1]
|
||||
failed_files.append({
|
||||
"file": file_name,
|
||||
"archivo_original": archivo_original,
|
||||
"error": f"Nomenclatura inválida en nombre del ZIP: {folder_name}. Esperado: anio-aduana-patente-pedimento"
|
||||
})
|
||||
continue
|
||||
|
||||
if match:
|
||||
anio, aduana, patente, pedimento_num = match.groups()
|
||||
|
||||
try:
|
||||
anio_completo = 2000 + int(anio) if int(anio) < 50 else 1900 + int(anio)
|
||||
fecha_pago = datetime(anio_completo, 1, 1).date()
|
||||
except ValueError:
|
||||
failed_files.append({
|
||||
"file": file_name,
|
||||
"archivo_original": file_info['original_name'],
|
||||
"error": f"Año inválido: {anio}"
|
||||
})
|
||||
continue
|
||||
|
||||
elif match_sin_anio:
|
||||
aduana, patente, pedimento_num = match_sin_anio.groups()
|
||||
primer_digito_pedimento = int(pedimento_num[0]) if pedimento_num else 0
|
||||
año_actual = datetime.now().year
|
||||
|
||||
año_con_digito = int(str(año_actual)[:-1] + str(primer_digito_pedimento))
|
||||
|
||||
if año_con_digito <= año_actual:
|
||||
año_final = año_con_digito
|
||||
else:
|
||||
año_final = año_con_digito - 10
|
||||
|
||||
anio = año_final % 100
|
||||
fecha_pago = datetime(año_final, 1, 1).date()
|
||||
|
||||
pedimento_app = f"{anio}-{aduana.zfill(2)}-{patente}-{pedimento_num}"
|
||||
|
||||
existing_pedimento = Pedimento.objects.filter(
|
||||
pedimento_app=pedimento_app,
|
||||
organizacion=organizacion
|
||||
).first()
|
||||
|
||||
if not existing_pedimento:
|
||||
|
||||
importador, created = Importador.objects.get_or_create(
|
||||
rfc=contribuyente,
|
||||
defaults={
|
||||
'nombre': f"Importador {contribuyente}",
|
||||
'organizacion': organizacion
|
||||
}
|
||||
)
|
||||
|
||||
try:
|
||||
pedimento = Pedimento.objects.create(
|
||||
organizacion=organizacion,
|
||||
contribuyente=importador,
|
||||
pedimento=int(pedimento_num),
|
||||
aduana=int(aduana),
|
||||
patente=int(patente),
|
||||
fecha_pago=fecha_pago,
|
||||
pedimento_app=pedimento_app,
|
||||
agente_aduanal=f"Agente {patente}",
|
||||
clave_pedimento="A1"
|
||||
)
|
||||
|
||||
created_pedimentos.append({
|
||||
"id": str(pedimento.id),
|
||||
"pedimento_app": pedimento_app,
|
||||
"contribuyente": importador.rfc,
|
||||
"contribuyente_nombre": importador.nombre
|
||||
})
|
||||
|
||||
except Exception as e:
|
||||
failed_files.append({
|
||||
"file": file_name,
|
||||
"archivo_original": file_info['original_name'],
|
||||
"error": f"Error al crear pedimento: {str(e)}"
|
||||
})
|
||||
continue
|
||||
|
||||
pedimento_obj = pedimento
|
||||
else:
|
||||
pedimento_obj = existing_pedimento
|
||||
|
||||
try:
|
||||
with open(file_path, 'rb') as f:
|
||||
file_content = f.read()
|
||||
|
||||
extension = os.path.splitext(file_name)[1].lower().lstrip('.')
|
||||
|
||||
existing_documents = Document.objects.filter(
|
||||
pedimento_id=pedimento_obj.id,
|
||||
organizacion=organizacion
|
||||
)
|
||||
|
||||
existing_document = None
|
||||
for doc in existing_documents:
|
||||
if is_same_document(doc, file_name):
|
||||
existing_document = doc
|
||||
break
|
||||
|
||||
django_file = ContentFile(file_content, name=file_name)
|
||||
|
||||
if existing_document:
|
||||
try:
|
||||
if existing_document.archivo and os.path.exists(existing_document.archivo.path):
|
||||
os.remove(existing_document.archivo.path)
|
||||
except (ValueError, OSError) as e:
|
||||
print(f"No se pudo eliminar archivo físico anterior: {str(e)}")
|
||||
|
||||
existing_document.archivo = django_file
|
||||
existing_document.size = len(file_content)
|
||||
existing_document.extension = extension
|
||||
existing_document.updated_at = timezone.now()
|
||||
existing_document.save()
|
||||
|
||||
else:
|
||||
document = Document.objects.create(
|
||||
organizacion=organizacion,
|
||||
pedimento_id=pedimento_obj.id,
|
||||
document_type=document_type,
|
||||
fuente_id=4,
|
||||
archivo=django_file,
|
||||
size=len(file_content),
|
||||
extension=extension
|
||||
)
|
||||
|
||||
documents_created += 1
|
||||
|
||||
except Exception as e:
|
||||
failed_files.append({
|
||||
"file": file_name,
|
||||
"archivo_original": file_info['original_name'],
|
||||
"error": f"Error al crear documento: {str(e)}"
|
||||
})
|
||||
continue
|
||||
|
||||
if os.path.exists(temp_file_path):
|
||||
os.remove(temp_file_path)
|
||||
|
||||
try:
|
||||
default_storage.delete(file_info['saved_path'])
|
||||
except:
|
||||
pass
|
||||
|
||||
bulk_upload.processed_files = idx + 1
|
||||
bulk_upload.save(update_fields=['processed_files'])
|
||||
|
||||
except Exception as e:
|
||||
failed_files.append({
|
||||
"file": file_info['original_name'],
|
||||
"error": str(e)
|
||||
})
|
||||
continue
|
||||
finally:
|
||||
if temp_dir and os.path.exists(temp_dir):
|
||||
try:
|
||||
shutil.rmtree(temp_dir, ignore_errors=True)
|
||||
except Exception as e:
|
||||
print(f"Error al eliminar directorio temporal: {str(e)}")
|
||||
|
||||
result = {
|
||||
"created_count": len(created_pedimentos),
|
||||
"created_pedimentos": created_pedimentos,
|
||||
"documents_created": documents_created,
|
||||
"failed_files": failed_files,
|
||||
"processed_files": len(temp_files_info),
|
||||
"summary": f"Procesados {len(temp_files_info)} archivo(s): {len(created_pedimentos)} pedimento(s) creado(s), {documents_created} documento(s) asociado(s)"
|
||||
}
|
||||
|
||||
return result
|
||||
|
||||
except Exception as e:
|
||||
failed_files.append({
|
||||
"file": "global",
|
||||
"error": f"Error global: {str(e)}"
|
||||
})
|
||||
|
||||
return {
|
||||
"created_count": 0,
|
||||
"created_pedimentos": [],
|
||||
"documents_created": 0,
|
||||
"failed_files": failed_files,
|
||||
"processed_files": 0,
|
||||
"summary": f"Error en procesamiento: {str(e)}"
|
||||
}
|
||||
|
||||
def _process_bulk_pedimento_desk(bulk_upload):
|
||||
"""
|
||||
Procesa bulk_create_pedimento_desk - OBTIENE DATOS DEL MODELO
|
||||
"""
|
||||
created_pedimentos = []
|
||||
failed_files = []
|
||||
documents_created = 0
|
||||
temp_dir = None
|
||||
|
||||
nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
|
||||
nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
|
||||
|
||||
try:
|
||||
organizacion = bulk_upload.organizacion
|
||||
contribuyente = bulk_upload.contribuyente
|
||||
temp_files_info = bulk_upload.result.get('temp_files', [])
|
||||
|
||||
fecha_pago_input = bulk_upload.fecha_pago
|
||||
clave_pedimento_input = bulk_upload.clave_pedimento
|
||||
tipo_operacion_id = bulk_upload.tipo_operacion_id
|
||||
curp_apoderado_input = bulk_upload.curp_apoderado
|
||||
partidas_input = bulk_upload.partidas
|
||||
|
||||
tipo_operacion_obj = None
|
||||
if tipo_operacion_id:
|
||||
try:
|
||||
tipo_operacion_obj = TipoOperacion.objects.get(id=tipo_operacion_id)
|
||||
except TipoOperacion.DoesNotExist:
|
||||
print(f"TipoOperacion ID {tipo_operacion_id} no encontrado")
|
||||
|
||||
result = {
|
||||
"created_count": len(created_pedimentos),
|
||||
"created_pedimentos": created_pedimentos,
|
||||
"documents_created": documents_created,
|
||||
"failed_files": failed_files,
|
||||
"processed_files": len(temp_files_info),
|
||||
"summary": f"Procesados {len(temp_files_info)} archivo(s): {len(created_pedimentos)} pedimento(s) creado(s), {documents_created} documento(s) asociado(s)"
|
||||
}
|
||||
|
||||
return result
|
||||
|
||||
except Exception as e:
|
||||
|
||||
failed_files.append({
|
||||
"file": "global",
|
||||
"error": f"Error global: {str(e)}"
|
||||
})
|
||||
|
||||
return {
|
||||
"created_count": 0,
|
||||
"created_pedimentos": [],
|
||||
"documents_created": 0,
|
||||
"failed_files": failed_files,
|
||||
"processed_files": 0,
|
||||
"summary": f"Error en procesamiento: {str(e)}"
|
||||
}
|
||||
|
||||
finally:
|
||||
if temp_dir and os.path.exists(temp_dir):
|
||||
try:
|
||||
shutil.rmtree(temp_dir, ignore_errors=True)
|
||||
except Exception as e:
|
||||
print(f"Error al eliminar directorio temporal: {str(e)}")
|
||||
@@ -42,7 +42,24 @@ from .views_auditor import (
|
||||
auditar_acuse_cove_pedimento_endpoint,
|
||||
auditar_edocument_pedimento_endpoint,
|
||||
auditar_acuse_pedimento_endpoint,
|
||||
auditor_procesar_pedimentos_organizacion
|
||||
auditar_procesamiento_remesa_pedimento_endpoint,
|
||||
auditor_procesar_pedimentos_organizacion,
|
||||
auditar_peticion_respuesta_pedimento_completo,
|
||||
auditor_obtener_peticion_pedimento_vu,
|
||||
auditor_obtener_respuesta_pedimento_vu,
|
||||
auditor_obtener_peticion_remesa_vu,
|
||||
auditor_obtener_respuesta_remesa_vu,
|
||||
auditor_obtener_peticion_partidas_vu,
|
||||
auditor_obtener_respuesta_partidas_vu,
|
||||
auditor_obtener_peticion_acuse_vu,
|
||||
auditor_obtener_respuesta_acuse_vu,
|
||||
auditor_obtener_peticion_cove_vu,
|
||||
auditor_obtener_respuesta_cove_vu,
|
||||
auditor_obtener_peticion_acuse_cove_vu,
|
||||
auditor_obtener_respuesta_acuse_cove_vu,
|
||||
auditor_obtener_peticion_edocument_vu,
|
||||
auditor_obtener_respuesta_edocument_vu,
|
||||
auditar_pedimento_endpoint,
|
||||
)
|
||||
|
||||
urlpatterns = [
|
||||
@@ -58,5 +75,24 @@ urlpatterns = [
|
||||
path('auditor/auditar-acuse-cove/pedimento/', auditar_acuse_cove_pedimento_endpoint, name='auditar-acuse-cove-pedimento'),
|
||||
path('auditor/auditar-edocument/pedimento/', auditar_edocument_pedimento_endpoint, name='auditar-edocument-pedimento'),
|
||||
path('auditor/auditar-acuse/pedimento/', auditar_acuse_pedimento_endpoint, name='auditar-acuse-pedimento'),
|
||||
path('auditor/auditar-remesa/pedimento/', auditar_procesamiento_remesa_pedimento_endpoint, name='auditar-remesa-pedimento'),
|
||||
path('auditor/auditar-pedimento/', auditar_pedimento_endpoint, name='auditar-pedimento'),
|
||||
|
||||
path('auditor/procesar-pedimentos/organizaciones/', auditor_procesar_pedimentos_organizacion, name='procesar-pedimentos-organizaciones'),
|
||||
path('auditor/peticion-respuesta/pedimento-vu/', auditar_peticion_respuesta_pedimento_completo, name='peticion-respuesta-pedimento-vu'),
|
||||
|
||||
path('auditor/obtener-peticion/pedimento-vu/', auditor_obtener_peticion_pedimento_vu, name='obtener-peticion-pedimento-vu'),
|
||||
path('auditor/obtener-respuesta/pedimento-vu/', auditor_obtener_respuesta_pedimento_vu, name='obtener-respuesta-pedimento-vu'),
|
||||
path('auditor/obtener-peticion/remesa-vu/', auditor_obtener_peticion_remesa_vu, name='obtener-peticion-remesa-vu'),
|
||||
path('auditor/obtener-respuesta/remesa-vu/', auditor_obtener_respuesta_remesa_vu, name='obtener-respuesta-remesa-vu'),
|
||||
path('auditor/obtener-peticion/partidas-vu/', auditor_obtener_peticion_partidas_vu, name='obtener-peticion-partidas-vu'),
|
||||
path('auditor/obtener-respuesta/partidas-vu/', auditor_obtener_respuesta_partidas_vu, name='obtener-respuesta-partidas-vu'),
|
||||
path('auditor/obtener-peticion/acuse-vu/', auditor_obtener_peticion_acuse_vu, name='obtener-peticion-acuse-vu'),
|
||||
path('auditor/obtener-respuesta/acuse-vu/', auditor_obtener_respuesta_acuse_vu, name='obtener-respuesta-acuse-vu'),
|
||||
path('auditor/obtener-peticion/cove-vu/', auditor_obtener_peticion_cove_vu, name='obtener-peticion-cove-vu'),
|
||||
path('auditor/obtener-respuesta/cove-vu/', auditor_obtener_respuesta_cove_vu, name='obtener-respuesta-cove-vu'),
|
||||
path('auditor/obtener-peticion/acuse-cove-vu/', auditor_obtener_peticion_acuse_cove_vu, name='obtener-peticion-acuse-cove-vu'),
|
||||
path('auditor/obtener-respuesta/acuse-cove-vu/', auditor_obtener_respuesta_acuse_cove_vu, name='obtener-respuesta-acuse-cove-vu'),
|
||||
path('auditor/obtener-peticion/edocument-vu/', auditor_obtener_peticion_edocument_vu, name='obtener-peticion-edocument-vu'),
|
||||
path('auditor/obtener-respuesta/edocument-vu/', auditor_obtener_respuesta_edocument_vu, name='obtener-respuesta-edocument-vu'),
|
||||
]
|
||||
@@ -9,6 +9,7 @@ from rest_framework.views import APIView
|
||||
from rest_framework.exceptions import PermissionDenied
|
||||
from rest_framework import status
|
||||
from django_filters.rest_framework import DjangoFilterBackend
|
||||
from django.core.files.storage import default_storage
|
||||
from rest_framework.filters import SearchFilter, OrderingFilter
|
||||
from core.permissions import (
|
||||
IsSameOrganization,
|
||||
@@ -23,7 +24,7 @@ from api.customs.models import (
|
||||
EDocument,
|
||||
Cove,
|
||||
Importador,
|
||||
Partida
|
||||
Partida,
|
||||
)
|
||||
from api.customs.serializers import (
|
||||
PedimentoSerializer,
|
||||
@@ -38,7 +39,137 @@ from api.customs.serializers import (
|
||||
from api.logger.mixins import LoggingMixin
|
||||
from mixins.filtrado_organizacion import OrganizacionFiltradaMixin, ProcesosPorOrganizacionMixin
|
||||
import requests
|
||||
import os
|
||||
import re
|
||||
import zipfile
|
||||
import tempfile
|
||||
import shutil
|
||||
import subprocess
|
||||
from datetime import date, datetime, time
|
||||
from django.core.files.base import ContentFile
|
||||
from django.db import transaction
|
||||
from rest_framework.parsers import MultiPartParser, FormParser
|
||||
from api.record.models import Document, DocumentType, Fuente
|
||||
from unicodedata import normalize
|
||||
from django.utils import timezone
|
||||
from .tasks.bulk_pedimentos import process_bulk_upload
|
||||
# Importar rarfile de manera opcional
|
||||
try:
|
||||
import rarfile
|
||||
RAR_SUPPORT = True
|
||||
except ImportError:
|
||||
RAR_SUPPORT = False
|
||||
|
||||
# Importar tarea de procesamiento de pedimento (Celery)
|
||||
from api.customs.tasks.microservice import procesar_pedimento_completo_individual
|
||||
|
||||
def get_available_extractors():
|
||||
"""
|
||||
Devuelve lista de extractores disponibles en orden de preferencia
|
||||
"""
|
||||
extractors = []
|
||||
if RAR_SUPPORT:
|
||||
extractors.append('rarfile')
|
||||
# Verificar si 'unrar' está disponible
|
||||
if shutil.which('unrar'):
|
||||
extractors.append('unrar')
|
||||
# Verificar si '7z' o '7za' están disponibles
|
||||
if shutil.which('7z'):
|
||||
extractors.append('7z')
|
||||
elif shutil.which('7za'):
|
||||
extractors.append('7za')
|
||||
return extractors
|
||||
|
||||
def extract_rar_to_dir(rar_path, dest_dir):
|
||||
"""
|
||||
Extrae un archivo RAR a `dest_dir` usando varios mecanismos de respaldo:
|
||||
1) intentará usar la librería `rarfile` si está disponible,
|
||||
2) intentará ejecutar la utilidad `unrar` si está instalada en el sistema,
|
||||
3) intentará ejecutar `7z`/`7za` (p7zip) si está instalada.
|
||||
|
||||
Lanza Exception con mensaje explicativo si falla.
|
||||
"""
|
||||
|
||||
# Versión que primero verifica herramientas disponibles
|
||||
available = get_available_extractors()
|
||||
if not available:
|
||||
raise Exception("No hay herramientas de extracción disponibles.")
|
||||
|
||||
print(f"Extractores disponibles (en orden de preferencia): {available}")
|
||||
|
||||
# Intento con rarfile primero si está disponible
|
||||
# if RAR_SUPPORT:
|
||||
if 'rarfile' in available and RAR_SUPPORT:
|
||||
try:
|
||||
# rarfile puede trabajar con rutas en disco mejor que con file-like
|
||||
with rarfile.RarFile(rar_path) as rf:
|
||||
rf.extractall(dest_dir)
|
||||
|
||||
try:
|
||||
if os.path.exists(rar_path):
|
||||
os.remove(rar_path)
|
||||
print(f"Archivo original eliminado: {rar_path}")
|
||||
except OSError as remove_error:
|
||||
print(f"Advertencia: No se pudo eliminar '{rar_path}': {remove_error}")
|
||||
|
||||
return
|
||||
except Exception as e:
|
||||
# Si rarfile falla (por ejemplo RarCannotExec), seguimos con herramientas externas
|
||||
# Hacer log para depuración
|
||||
print(f"rarfile extraction failed, will try external tools: {e}")
|
||||
|
||||
# Intento con comandos externos
|
||||
# Probar 'unrar' primero
|
||||
external_cmds = [
|
||||
['unrar', 'x', '-o+', rar_path, dest_dir],
|
||||
['7z', 'x', rar_path, f'-o{dest_dir}', '-y'],
|
||||
['7za', 'x', rar_path, f'-o{dest_dir}', '-y']
|
||||
]
|
||||
|
||||
# for cmd in external_cmds:
|
||||
# try:
|
||||
# subprocess.run(cmd, check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
|
||||
|
||||
# try:
|
||||
# if os.path.exists(rar_path):
|
||||
# os.remove(rar_path)
|
||||
# print(f"Archivo original eliminado: {rar_path}")
|
||||
# except OSError as remove_error:
|
||||
# print(f"Advertencia: No se pudo eliminar '{rar_path}': {remove_error}")
|
||||
|
||||
# return
|
||||
# except FileNotFoundError:
|
||||
# # El ejecutable no existe en PATH, intentar siguiente
|
||||
# continue
|
||||
# except subprocess.CalledProcessError as e:
|
||||
# # El comando falló en la extracción; intentar siguiente
|
||||
# print(f"External extractor failed ({cmd[0]}): {e}")
|
||||
# continue
|
||||
|
||||
for extractor_name in available:
|
||||
if extractor_name in external_cmds:
|
||||
cmd = external_cmds[extractor_name]
|
||||
try:
|
||||
subprocess.run(cmd, check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
|
||||
|
||||
try:
|
||||
if os.path.exists(rar_path):
|
||||
os.remove(rar_path)
|
||||
print(f"Archivo original eliminado: {rar_path}")
|
||||
except OSError as remove_error:
|
||||
print(f"Advertencia: No se pudo eliminar '{rar_path}': {remove_error}")
|
||||
|
||||
return
|
||||
except FileNotFoundError:
|
||||
# El ejecutable no existe en PATH, intentar siguiente
|
||||
continue
|
||||
except subprocess.CalledProcessError as e:
|
||||
# El comando falló en la extracción; intentar siguiente
|
||||
print(f"External extractor {extractor_name} failed ({cmd[0]}): {e}")
|
||||
continue
|
||||
|
||||
# Si llegamos aquí, ningún método funcionó
|
||||
raise Exception("No se encontró una herramienta válida para extraer RAR (rarfile sin backend, 'unrar' o '7z' no disponibles o extracción fallida). Instale 'unrar' o 'p7zip' y asegúrese de que estén en PATH, o configure rarfile con un backend.")
|
||||
|
||||
from .tasks.microservice_v2 import *
|
||||
from .tasks.auditoria import crear_partidas_por_pedimento
|
||||
@@ -151,9 +282,21 @@ class ViewSetPedimento(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
|
||||
|
||||
filterset_fields = ['patente', 'aduana', 'tipo_operacion', 'clave_pedimento', 'pedimento', 'existe_expediente', 'contribuyente', 'curp_apoderado', 'fecha_pago', 'pedimento_app']
|
||||
search_fields = ['pedimento', 'pedimento_app', 'agente_aduanal', 'clave_pedimento']
|
||||
# AGREGAR ESTOS CAMPOS PARA ORDENACIÓN
|
||||
ordering_fields = ['created_at', 'pedimento', 'fecha_pago', 'aduana', 'patente']
|
||||
ordering = ['-created_at'] # Orden descendente por fecha de creación por defecto
|
||||
|
||||
def get_queryset(self):
|
||||
return self.get_queryset_filtrado_por_organizacion() # Tambien filtra por importador
|
||||
|
||||
queryset = self.get_queryset_filtrado_por_organizacion() # Tambien filtra por importador
|
||||
|
||||
# pedimento_app_filter = self.request.GET.get('pedimento_app', None)
|
||||
|
||||
# if pedimento_app_filter:
|
||||
# print(f"Filtro por pedimento_app: {pedimento_app_filter}")
|
||||
# queryset = queryset.filter(pedimento_app__icontains=pedimento_app_filter)
|
||||
|
||||
return queryset
|
||||
|
||||
def perform_create(self, serializer):
|
||||
"""
|
||||
@@ -232,6 +375,25 @@ class ViewSetPedimento(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
|
||||
]
|
||||
}
|
||||
|
||||
@action(detail=True, methods=['post'], url_path='procesar-completo')
|
||||
def procesar_completo(self, request, pk=None):
|
||||
"""
|
||||
Acción para disparar el procesamiento completo de un pedimento existente.
|
||||
Dispara la tarea `procesar_pedimento_completo_individual` de forma asíncrona
|
||||
y devuelve el `task_id`.
|
||||
"""
|
||||
pedimento = self.get_object()
|
||||
try:
|
||||
# Usar el nombre del servicio de Docker Compose en lugar de localhost
|
||||
task = procesar_pedimento_completo_individual.delay(pedimento.id, pedimento.organizacion.id)
|
||||
# Verificar si la respuesta fue exitosa
|
||||
if task.id:
|
||||
return Response({"status": "Recurso creado exitosamente en API", "task_id": task.id}, status=status.HTTP_202_ACCEPTED)
|
||||
else:
|
||||
return Response({"status": "Servicio API respondió con error", "task_id": 0}, status=status.HTTP_202_ACCEPTED)
|
||||
except Exception as e:
|
||||
return Response({"error": f"Error inesperado al llamar al servicio API: {str(e)}"}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
@action(detail=False, methods=['post'], url_path='bulk-delete')
|
||||
def bulk_delete(self, request):
|
||||
"""
|
||||
@@ -324,6 +486,317 @@ class ViewSetPedimento(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
|
||||
|
||||
return Response(response_data, status=response_status)
|
||||
|
||||
@action(detail=False, methods=['post'], url_path='bulk-create', parser_classes=[MultiPartParser, FormParser])
|
||||
def bulk_create(self, request):
|
||||
"""
|
||||
Version asincrona con Celery
|
||||
"""
|
||||
|
||||
from django.utils import timezone
|
||||
import time as python_time
|
||||
|
||||
contribuyente = request.data.get('contribuyente')
|
||||
archivos = request.FILES.getlist('archivos')
|
||||
|
||||
if not archivos:
|
||||
return Response(
|
||||
{"error": "Se requiere al menos un archivo"},
|
||||
status=status.HTTP_400_BAD_REQUEST
|
||||
)
|
||||
|
||||
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||
return Response(
|
||||
{"error": "Usuario no autenticado o sin organización"},
|
||||
status=status.HTTP_400_BAD_REQUEST
|
||||
)
|
||||
|
||||
temp_files_info = []
|
||||
|
||||
try:
|
||||
for archivo in archivos:
|
||||
timestamp = int(timezone.now().timestamp() * 1000)
|
||||
unique_name = f"temp_{timestamp}_{archivo.name}"
|
||||
saved_path = f"temp_uploads/{unique_name}"
|
||||
default_storage.save(saved_path, ContentFile(archivo.read()))
|
||||
|
||||
temp_files_info.append({
|
||||
'original_name': archivo.name,
|
||||
'saved_path': saved_path,
|
||||
'size': archivo.size
|
||||
})
|
||||
|
||||
bulk_upload = BulkUploadTask.objects.create(
|
||||
user=request.user,
|
||||
organizacion=request.user.organizacion,
|
||||
contribuyente=contribuyente,
|
||||
task_type='bulk_create',
|
||||
total_files=len(archivos),
|
||||
status='pending',
|
||||
result={
|
||||
'temp_files': temp_files_info,
|
||||
'original_filenames': [archivo.name for archivo in archivos]
|
||||
}
|
||||
)
|
||||
|
||||
process_bulk_upload.delay(
|
||||
bulk_upload_id=bulk_upload.id
|
||||
)
|
||||
|
||||
return Response({
|
||||
"message": "Procesamiento iniciado en segundo plano",
|
||||
"task_id": bulk_upload.id,
|
||||
"status": "pending",
|
||||
"check_status_url": f"/api/pedimentos/bulk-upload-status/{bulk_upload.id}/"
|
||||
}, status=status.HTTP_202_ACCEPTED)
|
||||
|
||||
except Exception as e:
|
||||
for file_info in temp_files_info:
|
||||
try:
|
||||
default_storage.delete(file_info['saved_path'])
|
||||
except:
|
||||
pass
|
||||
return Response(
|
||||
{"error": f"Error al iniciar procesamiento: {str(e)}"},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
|
||||
@action(detail=False, methods=['post'], url_path='bulk-create-pedimento_desk', parser_classes=[MultiPartParser, FormParser])
|
||||
def bulk_create_pedimento_desk(self, request):
|
||||
"""
|
||||
Versión asíncrona para EFC APP Desk
|
||||
"""
|
||||
print("🔧 Iniciando bulk-create-pedimento_desk asíncrono...")
|
||||
|
||||
from django.utils import timezone
|
||||
|
||||
archivos = request.FILES.getlist('archivos')
|
||||
|
||||
if not archivos:
|
||||
return Response(
|
||||
{"tieneError": True, "error": "Se requiere al menos un archivo"},
|
||||
status=status.HTTP_400_BAD_REQUEST
|
||||
)
|
||||
|
||||
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||
return Response(
|
||||
{"tieneError": True, "error": "Usuario no autenticado o sin organización"},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
|
||||
temp_files_info = []
|
||||
|
||||
try:
|
||||
for archivo in archivos:
|
||||
timestamp = int(timezone.now().timestamp() * 1000)
|
||||
|
||||
unique_name = f"temp_{timestamp}_{archivo.name}"
|
||||
|
||||
saved_path = f"temp_uploads/{unique_name}"
|
||||
default_storage.save(saved_path, ContentFile(archivo.read()))
|
||||
|
||||
temp_files_info.append({
|
||||
'original_name': archivo.name,
|
||||
'saved_path': saved_path,
|
||||
'size': archivo.size
|
||||
})
|
||||
|
||||
bulk_upload = BulkUploadTask.objects.create(
|
||||
user=request.user,
|
||||
organizacion=request.user.organizacion,
|
||||
contribuyente=request.data.get('contribuyente'),
|
||||
task_type='bulk_create_pedimento_desk',
|
||||
total_files=len(archivos),
|
||||
status='pending',
|
||||
fecha_pago=request.data.get('fecha_pago'),
|
||||
clave_pedimento=request.data.get('clave_pedimento'),
|
||||
tipo_operacion_id=request.data.get('tipo_operacion'),
|
||||
curp_apoderado=request.data.get('curp_apoderado'),
|
||||
partidas=request.data.get('partidas', 0),
|
||||
result={
|
||||
'temp_files': temp_files_info,
|
||||
'original_filenames': [archivo.name for archivo in archivos]
|
||||
}
|
||||
)
|
||||
|
||||
process_bulk_upload.delay(
|
||||
bulk_upload_id=bulk_upload.id
|
||||
)
|
||||
|
||||
return Response({
|
||||
"tieneError": False,
|
||||
"message": "Procesamiento iniciado en segundo plano",
|
||||
"task_id": bulk_upload.id,
|
||||
"status": "pending",
|
||||
"check_status_url": f"/api/pedimentos/bulk-upload-status/{bulk_upload.id}/"
|
||||
}, status=status.HTTP_202_ACCEPTED)
|
||||
|
||||
except Exception as e:
|
||||
for file_info in temp_files_info:
|
||||
try:
|
||||
default_storage.delete(file_info['saved_path'])
|
||||
except:
|
||||
pass
|
||||
return Response(
|
||||
{"tieneError": True, "error": f"Error al iniciar procesamiento: {str(e)}"},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
|
||||
@action(detail=False, methods=['get'], url_path='bulk-upload-status(?:/(?P<task_id>[^/.]+))?')
|
||||
def bulk_upload_status(self, request, task_id=None):
|
||||
"""
|
||||
Endpoint que puede manejar:
|
||||
1. Un task_id específico: /bulk-upload-status/<task_id>/
|
||||
2. Todos los tasks pendientes del usuario: /bulk-upload-status/
|
||||
|
||||
Respuestas:
|
||||
- Con task_id: Información detallada de una tarea específica
|
||||
- Sin task_id: Lista de todas las tareas del usuario con status != 'completed'
|
||||
"""
|
||||
try:
|
||||
if task_id:
|
||||
bulk_upload = BulkUploadTask.objects.get(id=task_id, user=request.user)
|
||||
|
||||
estimated_documents = bulk_upload.created_documents
|
||||
estimated_percentage = 0
|
||||
|
||||
if bulk_upload.status == 'processing' and bulk_upload.started_at:
|
||||
elapsed = (timezone.now() - bulk_upload.started_at).total_seconds()
|
||||
|
||||
if elapsed > 10 and bulk_upload.created_documents > 0:
|
||||
docs_per_second = bulk_upload.created_documents / elapsed
|
||||
estimated_total_seconds = 300 # 5 minutos para 1000 docs
|
||||
estimated_documents = int(docs_per_second * min(elapsed, estimated_total_seconds))
|
||||
estimated_percentage = min(95, (elapsed / estimated_total_seconds) * 100)
|
||||
|
||||
elif bulk_upload.status == 'completed' and bulk_upload.result:
|
||||
estimated_documents = bulk_upload.created_documents
|
||||
estimated_percentage = 100
|
||||
|
||||
response_data = {
|
||||
"task_id": bulk_upload.id,
|
||||
"status": bulk_upload.status,
|
||||
"celery_status": {
|
||||
'state': 'PROCESSING' if bulk_upload.status == 'processing' else bulk_upload.status.upper(),
|
||||
'info': bulk_upload.result if bulk_upload.status == 'completed' else None
|
||||
},
|
||||
"progress": {
|
||||
"total_files": bulk_upload.total_files,
|
||||
"processed_files": bulk_upload.processed_files,
|
||||
"created_pedimentos": bulk_upload.created_pedimentos,
|
||||
"created_documents": bulk_upload.created_documents,
|
||||
"estimated_documents": estimated_documents,
|
||||
"percentage_files": (bulk_upload.processed_files / bulk_upload.total_files * 100) if bulk_upload.total_files > 0 else 0,
|
||||
"percentage_documents_estimated": estimated_percentage,
|
||||
"batch_info": {
|
||||
"batch_size": 50,
|
||||
"current_batch": (bulk_upload.created_documents // 50) + 1,
|
||||
"next_update_at": bulk_upload.created_documents + (50 - (bulk_upload.created_documents % 50))
|
||||
}
|
||||
},
|
||||
"metadata": {
|
||||
"task_type": bulk_upload.task_type,
|
||||
"contribuyente": bulk_upload.contribuyente,
|
||||
"created_at": bulk_upload.created_at,
|
||||
"started_at": bulk_upload.started_at,
|
||||
"finished_at": bulk_upload.finished_at,
|
||||
"elapsed_seconds": (timezone.now() - bulk_upload.started_at).total_seconds() if bulk_upload.started_at else 0
|
||||
}
|
||||
}
|
||||
|
||||
if bulk_upload.status in ['completed', 'partial', 'failed']:
|
||||
response_data.update({
|
||||
"result": bulk_upload.result,
|
||||
"failed_files": bulk_upload.failed_files,
|
||||
"error_message": bulk_upload.error_message
|
||||
})
|
||||
|
||||
if bulk_upload.status == 'processing':
|
||||
response_data["note"] = "El progreso se actualiza cada 50 documentos para optimizar rendimiento"
|
||||
response_data["next_update_in"] = 50 - (bulk_upload.created_documents % 50)
|
||||
|
||||
return Response(response_data)
|
||||
|
||||
else:
|
||||
pending_tasks = BulkUploadTask.objects.filter(
|
||||
user=request.user
|
||||
).exclude(
|
||||
status='completed'
|
||||
).order_by('-created_at')
|
||||
|
||||
if not pending_tasks.exists():
|
||||
return Response({
|
||||
"pending_tasks": [],
|
||||
"total_pending": 0,
|
||||
"message": "No hay tareas de carga pendientes"
|
||||
})
|
||||
|
||||
tasks_list = []
|
||||
for task in pending_tasks:
|
||||
estimated_documents = task.created_documents
|
||||
estimated_percentage = 0
|
||||
|
||||
if task.status == 'processing' and task.started_at:
|
||||
elapsed = (timezone.now() - task.started_at).total_seconds()
|
||||
|
||||
if elapsed > 10 and task.created_documents > 0:
|
||||
docs_per_second = task.created_documents / elapsed
|
||||
estimated_total_seconds = 300
|
||||
estimated_documents = int(docs_per_second * min(elapsed, estimated_total_seconds))
|
||||
estimated_percentage = min(95, (elapsed / estimated_total_seconds) * 100)
|
||||
elif task.status == 'completed':
|
||||
estimated_percentage = 100
|
||||
|
||||
task_data = {
|
||||
"task_id": task.id,
|
||||
"status": task.status,
|
||||
"task_type": task.task_type,
|
||||
"contribuyente": task.contribuyente,
|
||||
"total_files": task.total_files,
|
||||
"created_at": task.created_at,
|
||||
"started_at": task.started_at,
|
||||
"finished_at": task.finished_at,
|
||||
"progress": {
|
||||
"processed_files": task.processed_files,
|
||||
"created_pedimentos": task.created_pedimentos,
|
||||
"created_documents": task.created_documents,
|
||||
"estimated_documents": estimated_documents,
|
||||
"percentage_files": (task.processed_files / task.total_files * 100) if task.total_files > 0 else 0,
|
||||
"percentage_documents_estimated": estimated_percentage,
|
||||
},
|
||||
"metadata": {
|
||||
"elapsed_seconds": (timezone.now() - task.started_at).total_seconds() if task.started_at else 0,
|
||||
"batch_size": 50,
|
||||
"next_batch_update": task.created_documents + (50 - (task.created_documents % 50))
|
||||
}
|
||||
}
|
||||
|
||||
if task.error_message:
|
||||
task_data["error_message"] = task.error_message
|
||||
|
||||
tasks_list.append(task_data)
|
||||
|
||||
return Response({
|
||||
"pending_tasks": tasks_list,
|
||||
"total_pending": len(tasks_list),
|
||||
"summary": {
|
||||
"processing": len([t for t in tasks_list if t["status"] == "processing"]),
|
||||
"pending": len([t for t in tasks_list if t["status"] == "pending"]),
|
||||
"partial": len([t for t in tasks_list if t["status"] == "partial"]),
|
||||
"failed": len([t for t in tasks_list if t["status"] == "failed"]),
|
||||
}
|
||||
})
|
||||
|
||||
except BulkUploadTask.DoesNotExist:
|
||||
return Response(
|
||||
{"error": "Task no encontrada"},
|
||||
status=status.HTTP_404_NOT_FOUND
|
||||
)
|
||||
except Exception as e:
|
||||
return Response(
|
||||
{"error": f"Error interno: {str(e)}"},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
|
||||
my_tags = ['Pedimentos']
|
||||
|
||||
class PartidaViewSet(viewsets.ModelViewSet):
|
||||
@@ -639,4 +1112,85 @@ class ImportadorViewSet(viewsets.ModelViewSet, OrganizacionFiltradaMixin):
|
||||
|
||||
raise ValueError("Usuario no autenticado o sin permisos para actualizar Importador")
|
||||
|
||||
my_tags = ['Importadores']
|
||||
my_tags = ['Importadores']
|
||||
|
||||
# helper | reglas para formato de docuemnto antes de cargarlo
|
||||
def normalize_filename(filename):
|
||||
"""
|
||||
Normaliza el nombre del archivo removiendo caracteres especiales,
|
||||
espacios y asegurando consistencia.
|
||||
"""
|
||||
filename = normalize('NFKD', filename).encode('ASCII', 'ignore').decode('ASCII')
|
||||
|
||||
filename = re.sub(r'[^\w\s.-]', '_', filename) # Remover caracteres no alfanuméricos
|
||||
filename = re.sub(r'[\s()]+', '_', filename) # Reemplazar espacios y paréntesis
|
||||
filename = re.sub(r'_+', '_', filename) # Consolidar múltiples _
|
||||
filename = filename.strip('_') # Remover _ al inicio/final
|
||||
|
||||
return filename
|
||||
|
||||
def get_clean_base_filename(filename):
|
||||
"""
|
||||
Obtiene el nombre base limpio sin el sufijo de Django.
|
||||
"""
|
||||
normalized = normalize_filename(filename)
|
||||
name_without_ext, ext = os.path.splitext(normalized)
|
||||
|
||||
django_suffix = extract_django_suffix(name_without_ext)
|
||||
if django_suffix:
|
||||
base_name = name_without_ext[:-8]
|
||||
else:
|
||||
base_name = name_without_ext
|
||||
|
||||
base_name = re.sub(r'(_copy|_copia|_-_copia|_-_copy)(_\d+)?$', '', base_name)
|
||||
|
||||
return base_name.lower().strip('_')
|
||||
|
||||
def is_same_document(existing_doc, new_filename):
|
||||
"""
|
||||
Compara si un documento existente y un nuevo archivo son el mismo documento.
|
||||
|
||||
Args:
|
||||
existing_doc: Objeto Document existente
|
||||
new_filename: Nombre del nuevo archivo a subir
|
||||
|
||||
Returns:
|
||||
bool: True si son el mismo documento
|
||||
"""
|
||||
existing_basename = os.path.basename(existing_doc.archivo.name)
|
||||
existing_base = get_clean_base_filename(existing_basename)
|
||||
|
||||
new_base = get_clean_base_filename(new_filename)
|
||||
|
||||
existing_ext = existing_doc.extension.lower()
|
||||
new_ext = os.path.splitext(new_filename)[1].lower().lstrip('.')
|
||||
|
||||
return existing_base == new_base and existing_ext == new_ext
|
||||
|
||||
def extract_django_suffix(filename):
|
||||
"""
|
||||
Extrae el sufijo único que Django añade a los archivos.
|
||||
"""
|
||||
name_without_ext = os.path.splitext(filename)[0]
|
||||
|
||||
match = re.search(r'_([a-zA-Z0-9]{7})$', name_without_ext)
|
||||
if match:
|
||||
return match.group(1)
|
||||
return None
|
||||
|
||||
def get_clean_base_filename(filename):
|
||||
"""
|
||||
Obtiene el nombre base limpio sin el sufijo de Django.
|
||||
"""
|
||||
normalized = normalize_filename(filename)
|
||||
name_without_ext, ext = os.path.splitext(normalized)
|
||||
|
||||
django_suffix = extract_django_suffix(name_without_ext)
|
||||
if django_suffix:
|
||||
base_name = name_without_ext[:-8]
|
||||
else:
|
||||
base_name = name_without_ext
|
||||
|
||||
base_name = re.sub(r'(_copy|_copia|_-_copia|_-_copy)(_\d+)?$', '', base_name)
|
||||
|
||||
return base_name.lower().strip('_')
|
||||
File diff suppressed because it is too large
Load Diff
@@ -9,10 +9,11 @@ from api.customs.models import Pedimento
|
||||
class DocumentSerializer(serializers.ModelSerializer):
|
||||
pedimento_numero = serializers.SerializerMethodField(read_only=True)
|
||||
pedimento = serializers.PrimaryKeyRelatedField(queryset=Pedimento.objects.all())
|
||||
|
||||
fuente_nombre = serializers.SerializerMethodField()
|
||||
fuente = serializers.PrimaryKeyRelatedField(queryset=Fuente.objects.all())
|
||||
class Meta:
|
||||
model = Document
|
||||
fields = ('id', 'organizacion', 'pedimento', 'pedimento_numero', 'archivo', 'document_type', 'size', 'extension', 'fuente','created_at', 'updated_at')
|
||||
fields = ('id', 'organizacion', 'pedimento', 'pedimento_numero', 'archivo', 'document_type', 'size', 'extension', 'fuente','fuente_nombre','created_at', 'updated_at')
|
||||
read_only_fields = ('id', 'size', 'extension', 'created_at', 'updated_at', 'pedimento_numero')
|
||||
|
||||
def get_pedimento_numero(self, obj):
|
||||
@@ -26,6 +27,12 @@ class DocumentSerializer(serializers.ModelSerializer):
|
||||
raise serializers.ValidationError("Se requiere un archivo para subir")
|
||||
return value
|
||||
|
||||
def get_fuente_nombre(self, obj):
|
||||
# Método 1: Si la fuente está precargada con select_related
|
||||
if obj.fuente:
|
||||
return obj.fuente.nombre
|
||||
return "Desconocido"
|
||||
|
||||
class FuenteSerializer(serializers.ModelSerializer):
|
||||
class Meta:
|
||||
model = Fuente
|
||||
|
||||
@@ -4,12 +4,22 @@ from rest_framework.routers import DefaultRouter
|
||||
|
||||
# import necessary viewsets
|
||||
# from .views import YourViewSet # Import your viewsets here
|
||||
from .views import DocumentViewSet, ProtectedDocumentDownloadView, BulkDownloadZipView, GetFuenteView, DocumentTypeView
|
||||
from .views import (DocumentViewSet
|
||||
, ProtectedDocumentDownloadView
|
||||
, BulkDownloadZipView
|
||||
, GetFuenteView
|
||||
, DocumentTypeView
|
||||
, ExpedienteZipDownloadView
|
||||
, MultiPedimentoZipDownloadView
|
||||
, PedimentoDocumentViewSet
|
||||
, TriggerPedimentoCompletoView)
|
||||
|
||||
|
||||
# Create a router and register your viewsets with it
|
||||
|
||||
router = DefaultRouter()
|
||||
|
||||
# Register your viewsets with the router here
|
||||
# Register your viewsets with the router he -fre
|
||||
# Example:
|
||||
# from .views import MyViewSet
|
||||
# router.register(r'myviewset', MyViewSet, basename='myviewset')
|
||||
@@ -23,5 +33,9 @@ urlpatterns = [
|
||||
path('documents/descargar/<uuid:pk>/', ProtectedDocumentDownloadView.as_view(), name='descargar-documento'),
|
||||
path('fuente/', GetFuenteView.as_view(), name='get-fuente'),
|
||||
path('document-type/', DocumentTypeView.as_view(), name='document-type-list-create'),
|
||||
path('documents/expediente-zip/', ExpedienteZipDownloadView.as_view(), name='expediente-zip-download'),
|
||||
path('documents/multi-pedimento-zip/', MultiPedimentoZipDownloadView.as_view(), name='multi-pedimento-zip-download'),
|
||||
path('pedimento-documents/', PedimentoDocumentViewSet.as_view({'get': 'list'}), name='pedimento-document-list'),
|
||||
path('microservice/pedimento-completo/', TriggerPedimentoCompletoView.as_view(), name='trigger-pedimento-completo'),
|
||||
path('', include(router.urls)),
|
||||
]
|
||||
1367
api/record/views.py
1367
api/record/views.py
File diff suppressed because it is too large
Load Diff
@@ -1,4 +1,5 @@
|
||||
from celery import shared_task
|
||||
from api.organization.models import Organizacion
|
||||
from django.core.files.base import ContentFile
|
||||
from django.utils import timezone
|
||||
from api.reports.models import ReportDocument
|
||||
@@ -112,12 +113,39 @@ def generate_report_control_pedimento(report_id):
|
||||
|
||||
|
||||
pedimento_ids = list(pedimentos_qs.values_list('id', flat=True))
|
||||
rfcs_raw = list(pedimentos_qs.values_list('agente_aduanal', flat=True))
|
||||
|
||||
# inicializar totales
|
||||
pedimentos_completos = 0
|
||||
total_documentos = 0
|
||||
documentos_sin_descargar = 0
|
||||
|
||||
nombre_organizacion = ''
|
||||
if filters.get('organizacion_id'):
|
||||
try:
|
||||
# Asumo que tienes un modelo Organizacion - ajusta según tu modelo real
|
||||
organizacion = Organizacion.objects.get(id=filters['organizacion_id'])
|
||||
nombre_organizacion = organizacion.nombre # ajusta el campo según tu modelo
|
||||
except Organizacion.DoesNotExist:
|
||||
nombre_organizacion = f"ID: {filters['organizacion_id']}"
|
||||
except Exception as e:
|
||||
nombre_organizacion = f"Error: {str(e)}"
|
||||
|
||||
# lista de rfc
|
||||
rfc_list = ', '.join(sorted(set([rfc for rfc in rfcs_raw if rfc])))
|
||||
|
||||
fecha_inicio = ''
|
||||
fecha_fin = ''
|
||||
|
||||
if pedimentos_qs.exists():
|
||||
primer_pedimento = pedimentos_qs.order_by('fecha_pago').first()
|
||||
if primer_pedimento and primer_pedimento.fecha_pago:
|
||||
fecha_inicio = primer_pedimento.fecha_pago.strftime('%Y-%m-%d')
|
||||
|
||||
ultimo_pedimento = pedimentos_qs.order_by('-fecha_pago').first()
|
||||
if ultimo_pedimento and ultimo_pedimento.fecha_pago:
|
||||
fecha_fin = ultimo_pedimento.fecha_pago.strftime('%Y-%m-%d')
|
||||
|
||||
# Para cada pedimento, verificar si está completo
|
||||
for pedimento in pedimentos_qs:
|
||||
# Contar documentos de este pedimento
|
||||
@@ -216,12 +244,15 @@ def generate_report_control_pedimento(report_id):
|
||||
|
||||
# SECCIÓN DE TOTALES
|
||||
writer.writerow(['RESUMEN DEL REPORTE - CONTROL DE PEDIMENTOS'])
|
||||
writer.writerow(['ORGANIZACION:', nombre_organizacion])
|
||||
writer.writerow([])
|
||||
writer.writerow(['TOTAL DE EXPEDIENTES:', pedimentos_total])
|
||||
writer.writerow(['TOTAL DE EXPEDIENTES COMPLETOS:', pedimentos_completos])
|
||||
writer.writerow(['TOTAL DE DOCUMENTOS:', total_documentos])
|
||||
writer.writerow(['DOCUMENTOS SIN DESCARGAR:', documentos_sin_descargar])
|
||||
writer.writerow(['PORCENTAJE DE DOCUMENTOS FALTANTES (%):', f"{porcentaje_faltantes:.2f}%"])
|
||||
writer.writerow(['DESDE: ', fecha_inicio, ' HASTA: ', fecha_fin])
|
||||
writer.writerow(['LISTA RFC:', rfc_list])
|
||||
writer.writerow([])
|
||||
writer.writerow([])
|
||||
|
||||
|
||||
@@ -114,7 +114,7 @@ class ExportDataStageView(APIView):
|
||||
|
||||
# Constantes para partición
|
||||
# MAX_RECORDS_PER_FILE = 100 # Límite seguro por archivo
|
||||
MAX_RECORDS_PER_FILE = 50000 # Límite seguro por archivo
|
||||
MAX_RECORDS_PER_FILE = 120000 # Límite seguro por archivo
|
||||
|
||||
def safe_excel_value(self, value):
|
||||
"""
|
||||
@@ -191,16 +191,15 @@ class ExportDataStageView(APIView):
|
||||
return Response({'error': 'models are required for multiple export'}, status=status.HTTP_400_BAD_REQUEST)
|
||||
|
||||
related_keys = self.get_related_keys_from_filters(global_filters, models_data, request.user)
|
||||
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
||||
|
||||
if total_estimated_records > self.MAX_RECORDS_PER_FILE:
|
||||
if export_type == 'excel':
|
||||
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
||||
else:
|
||||
return self.export_datastage_multiple_partitioned_csv(request, models_data, global_filters, related_keys)
|
||||
|
||||
if export_type == 'excel':
|
||||
# Siempre usar el método particionado inteligente para Excel
|
||||
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
||||
else:
|
||||
if export_type == 'excel':
|
||||
return self.export_datastage_multiple_to_excel(request, models_data, global_filters, related_keys)
|
||||
# Para CSV, podemos mantener la lógica actual o mejorarla
|
||||
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
||||
if total_estimated_records > self.MAX_RECORDS_PER_FILE:
|
||||
return self.export_datastage_multiple_partitioned_csv(request, models_data, global_filters, related_keys)
|
||||
else:
|
||||
return self.export_datastage_multiple_to_csv(request, models_data, global_filters, related_keys)
|
||||
|
||||
@@ -281,11 +280,15 @@ class ExportDataStageView(APIView):
|
||||
return response
|
||||
|
||||
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
||||
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados"""
|
||||
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados inteligentemente"""
|
||||
try:
|
||||
zip_buffer = io.BytesIO()
|
||||
|
||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
file_counter = 1
|
||||
current_wb = None
|
||||
current_file_records_count = 0
|
||||
MAX_SHEETS_PER_FILE = 10 # Límite de hojas por archivo Excel
|
||||
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
@@ -298,17 +301,17 @@ class ExportDataStageView(APIView):
|
||||
model = apps.get_model('datastage', model_name)
|
||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||
|
||||
# Si hay filtros, aplicarlos; si no, obtener todos los registros
|
||||
if filters:
|
||||
queryset = model.objects.filter(**filters).values(*fields)
|
||||
else:
|
||||
queryset = model.objects.none() # No obtener nada si no hay filtros
|
||||
queryset = model.objects.none()
|
||||
|
||||
total_records = queryset.count()
|
||||
|
||||
if total_records == 0:
|
||||
continue
|
||||
|
||||
# Si el modelo necesita particionarse (más de MAX_RECORDS_PER_FILE)
|
||||
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||
from django.core.paginator import Paginator
|
||||
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||
@@ -316,29 +319,62 @@ class ExportDataStageView(APIView):
|
||||
for page_num in paginator.page_range:
|
||||
page = paginator.page(page_num)
|
||||
|
||||
wb = openpyxl.Workbook()
|
||||
ws = wb.active
|
||||
ws.title = f"Parte_{page_num}"[:31]
|
||||
# Verificar si necesitamos crear nuevo archivo
|
||||
# 1. Si no hay archivo actual
|
||||
# 2. Si ya tenemos muchas hojas en este archivo
|
||||
# 3. Si este archivo ya está "lleno" (muchos registros)
|
||||
if (current_wb is None or
|
||||
len(current_wb.sheetnames) >= MAX_SHEETS_PER_FILE or
|
||||
current_file_records_count > self.MAX_RECORDS_PER_FILE * 3): # ~150K registros
|
||||
|
||||
if current_wb is not None:
|
||||
# Guardar archivo actual en ZIP
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||
file_counter += 1
|
||||
|
||||
# Crear nuevo workbook
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_wb.remove(current_wb.active) # Remover hoja por defecto
|
||||
current_file_records_count = 0
|
||||
|
||||
# Crear hoja para esta parte del modelo
|
||||
sheet_name = f"{model_name[:25]}_p{page_num}"
|
||||
ws = current_wb.create_sheet(title=sheet_name[:31])
|
||||
ws.append(fields)
|
||||
|
||||
# Escribir datos
|
||||
for row in page.object_list:
|
||||
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||
ws.append(row_values)
|
||||
|
||||
# Guardar parte en ZIP
|
||||
part_buffer = io.BytesIO()
|
||||
wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
|
||||
filename = f"{model_name}_part{page_num}.xlsx"
|
||||
zip_file.writestr(filename, part_buffer.getvalue())
|
||||
current_file_records_count += len(page.object_list)
|
||||
|
||||
else:
|
||||
wb = openpyxl.Workbook()
|
||||
ws = wb.active
|
||||
ws.title = "Datos"[:31]
|
||||
# Modelo pequeño (≤ MAX_RECORDS_PER_FILE)
|
||||
# Verificar si necesitamos nuevo archivo
|
||||
if (current_wb is None or
|
||||
len(current_wb.sheetnames) >= MAX_SHEETS_PER_FILE or
|
||||
current_file_records_count + total_records > self.MAX_RECORDS_PER_FILE * 3):
|
||||
|
||||
if current_wb is not None:
|
||||
# Guardar archivo actual
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||
file_counter += 1
|
||||
|
||||
# Crear nuevo workbook
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_wb.remove(current_wb.active)
|
||||
current_file_records_count = 0
|
||||
|
||||
# Crear hoja para este modelo
|
||||
sheet_name = model_name[:31]
|
||||
ws = current_wb.create_sheet(title=sheet_name)
|
||||
ws.append(fields)
|
||||
|
||||
# Escribir datos
|
||||
@@ -346,25 +382,22 @@ class ExportDataStageView(APIView):
|
||||
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||
ws.append(row_values)
|
||||
|
||||
part_buffer = io.BytesIO()
|
||||
wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
current_file_records_count += total_records
|
||||
|
||||
filename = f"{model_name}.xlsx"
|
||||
zip_file.writestr(filename, part_buffer.getvalue())
|
||||
|
||||
except LookupError as e:
|
||||
except LookupError:
|
||||
continue
|
||||
except Exception as e:
|
||||
continue
|
||||
|
||||
|
||||
# Guardar el último workbook si existe
|
||||
if current_wb is not None:
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||
|
||||
zip_buffer.seek(0)
|
||||
zip_content = zip_buffer.getvalue()
|
||||
|
||||
response = HttpResponse(zip_content, content_type='application/zip')
|
||||
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||
response['Content-Length'] = len(zip_content)
|
||||
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
@@ -488,7 +521,7 @@ class ExportDataStageView(APIView):
|
||||
|
||||
except Exception as e:
|
||||
return Response({'error': f'Error en exportación CSV particionada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
|
||||
def export_single_model_partitioned(self, request, model_name, fields, filters, total_records):
|
||||
"""Exporta un solo modelo particionado a ZIP"""
|
||||
try:
|
||||
@@ -578,62 +611,50 @@ class ExportDataStageView(APIView):
|
||||
def get_related_keys_from_filters(self, global_filters, models_data, user):
|
||||
"""
|
||||
Obtiene patentes, pedimentos y datastages que cumplen EXACTAMENTE con TODOS los filtros globales
|
||||
para usarlos como relación entre modelos
|
||||
VERSIÓN SIMPLIFICADA - Usa la MISMA lógica que apply_global_filters_to_model
|
||||
"""
|
||||
|
||||
related_keys = {
|
||||
'patentes': set(),
|
||||
'pedimentos': set(),
|
||||
'datastage_ids': set()
|
||||
}
|
||||
|
||||
# Si no hay filtros globales, retornar vacío (no hay relación)
|
||||
if not any(global_filters.values()):
|
||||
# Si no hay filtros, retornar vacío
|
||||
if not any(v for v in global_filters.values() if v not in [None, '']):
|
||||
return {}
|
||||
|
||||
all_records_with_filters = []
|
||||
|
||||
# Buscar en TODOS los modelos que puedan tener los campos de filtro
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
|
||||
try:
|
||||
model = apps.get_model('datastage', model_name)
|
||||
model_fields = [f.name for f in model._meta.get_fields()]
|
||||
|
||||
# Construir filtros EXACTOS con TODOS los campos disponibles
|
||||
filters = {}
|
||||
has_any_filter = False
|
||||
# ¡USAR LA MISMA FUNCIÓN QUE EN MODO SINGULAR!
|
||||
filters = self.apply_global_filters_to_model(global_filters, model, user)
|
||||
|
||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
||||
filters['organizacion'] = global_filters['organizacion']
|
||||
has_any_filter = True
|
||||
|
||||
if 'patente' in model_fields and global_filters.get('patente'):
|
||||
filters['patente'] = global_filters['patente']
|
||||
has_any_filter = True
|
||||
|
||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
||||
filters['pedimento'] = global_filters['pedimento']
|
||||
has_any_filter = True
|
||||
|
||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
||||
filters['rfc'] = global_filters['rfc']
|
||||
has_any_filter = True
|
||||
|
||||
if 'fecha_pago_real' in model_fields:
|
||||
if global_filters.get('fecha_pago_desde'):
|
||||
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||
has_any_filter = True
|
||||
|
||||
if global_filters.get('fecha_pago_hasta'):
|
||||
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
||||
has_any_filter = True
|
||||
|
||||
if has_any_filter:
|
||||
records = model.objects.filter(**filters).values('patente', 'pedimento', 'datastage_id')
|
||||
record_count = records.count()
|
||||
all_records_with_filters.extend(list(records))
|
||||
if filters:
|
||||
# EJECUTAR CONSULTA - IDÉNTICO A MODO SINGULAR
|
||||
queryset = model.objects.filter(**filters)
|
||||
total = queryset.count()
|
||||
|
||||
# VERIFICACIÓN ESPECIAL PARA RFC
|
||||
if 'rfc' in filters:
|
||||
rfc_value = filters['rfc']
|
||||
# Doble verificación: contar registros con ese RFC exacto
|
||||
rfc_exact_count = queryset.filter(rfc=rfc_value).count()
|
||||
|
||||
if rfc_exact_count != total:
|
||||
try:
|
||||
other_rfcs = queryset.exclude(rfc=rfc_value).values_list('rfc', flat=True).distinct()[:5]
|
||||
except:
|
||||
pass
|
||||
|
||||
# Obtener registros
|
||||
records = queryset.values('patente', 'pedimento', 'datastage_id')
|
||||
all_records_with_filters.extend(list(records))
|
||||
|
||||
except LookupError:
|
||||
continue
|
||||
|
||||
@@ -648,95 +669,214 @@ class ExportDataStageView(APIView):
|
||||
if record.get('datastage_id'):
|
||||
related_keys['datastage_ids'].add(record['datastage_id'])
|
||||
|
||||
related_keys = {k: list(v) for k, v in related_keys.items() if v}
|
||||
|
||||
return related_keys
|
||||
return {k: list(v) for k, v in related_keys.items() if v}
|
||||
|
||||
def apply_global_filters_to_model(self, global_filters, model, user):
|
||||
"""
|
||||
Aplica filtros globales específicamente para modelos DataStage (modo simple)
|
||||
Aplica filtros globales - VERSIÓN CORREGIDA CON UUID
|
||||
"""
|
||||
|
||||
filters = {}
|
||||
model_fields = [f.name for f in model._meta.get_fields()]
|
||||
|
||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
||||
filters['organizacion'] = global_filters['organizacion']
|
||||
# ORGANIZACIÓN - Manejar como UUID
|
||||
org_value = global_filters.get('organizacion')
|
||||
if org_value and org_value != '' and 'organizacion' in model_fields:
|
||||
field = model._meta.get_field('organizacion')
|
||||
|
||||
if hasattr(field, 'related_model'): # Es ForeignKey
|
||||
# Convertir string a UUID
|
||||
try:
|
||||
import uuid
|
||||
org_uuid = uuid.UUID(org_value)
|
||||
filters['organizacion_id'] = org_uuid
|
||||
except Exception as e:
|
||||
# Fallback: dejar como string (puede no funcionar)
|
||||
filters['organizacion_id'] = org_value
|
||||
else: # Es CharField
|
||||
filters['organizacion'] = org_value
|
||||
|
||||
if 'patente' in model_fields and global_filters.get('patente'):
|
||||
# RFC - Manejar normalmente
|
||||
rfc_value = global_filters.get('rfc')
|
||||
if rfc_value and rfc_value != '' and 'rfc' in model_fields:
|
||||
filters['rfc'] = rfc_value
|
||||
|
||||
# PATENTE
|
||||
if global_filters.get('patente'):
|
||||
filters['patente'] = global_filters['patente']
|
||||
|
||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
||||
# PEDIMENTO
|
||||
if global_filters.get('pedimento'):
|
||||
filters['pedimento'] = global_filters['pedimento']
|
||||
|
||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
||||
filters['rfc'] = global_filters['rfc']
|
||||
|
||||
# FECHAS
|
||||
if 'fecha_pago_real' in model_fields:
|
||||
if global_filters.get('fecha_pago_desde'):
|
||||
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||
|
||||
if global_filters.get('fecha_pago_hasta'):
|
||||
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
||||
|
||||
|
||||
return filters
|
||||
|
||||
def apply_related_filters(self, global_filters, model, related_keys, user):
|
||||
"""
|
||||
Aplica filtros relacionados basados en campos comunes de manera ESTRICTA - VERSIÓN CORREGIDA
|
||||
"""
|
||||
filters = {}
|
||||
model_fields = [f.name for f in model._meta.get_fields()]
|
||||
|
||||
|
||||
# 🔥 ESTRATEGIA MEJORADA: Usar claves relacionadas SI HAY, sino aplicar filtros directos SOLO si existen
|
||||
has_related_keys = any(related_keys.values())
|
||||
|
||||
if has_related_keys:
|
||||
# 🔥 MODO RELACIONADO ESTRICTO: Usar SOLO las claves obtenidas
|
||||
|
||||
# Crear condiciones para las claves relacionadas
|
||||
from django.db.models import Q
|
||||
related_conditions = Q()
|
||||
has_related_conditions = False
|
||||
|
||||
if related_keys.get('patentes') and 'patente' in model_fields:
|
||||
filters['patente__in'] = related_keys['patentes']
|
||||
has_related_conditions = True
|
||||
|
||||
if related_keys.get('pedimentos') and 'pedimento' in model_fields:
|
||||
filters['pedimento__in'] = related_keys['pedimentos']
|
||||
has_related_conditions = True
|
||||
|
||||
if related_keys.get('datastage_ids') and 'datastage_id' in model_fields:
|
||||
filters['datastage_id__in'] = related_keys['datastage_ids']
|
||||
has_related_conditions = True
|
||||
|
||||
# Si NO HAY condiciones relacionadas para este modelo (no tiene los campos)
|
||||
if not has_related_conditions:
|
||||
return {} # Retornar filtro vacío hará que no se obtengan registros
|
||||
|
||||
else:
|
||||
# 🔥 MODO DIRECTO: No hay claves relacionadas, aplicar filtros directos SOLO si existen
|
||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
||||
filters['organizacion'] = global_filters['organizacion']
|
||||
if 'patente' in model_fields and global_filters.get('patente'):
|
||||
filters['patente'] = global_filters['patente']
|
||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
||||
filters['pedimento'] = global_filters['pedimento']
|
||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
||||
filters['rfc'] = global_filters['rfc']
|
||||
# 🔥 APLICAR ORGANIZACIÓN SIEMPRE si existe (en ambos modos)
|
||||
# 1. Organización
|
||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
||||
filters['organizacion'] = global_filters['organizacion']
|
||||
# 🔥 APLICAR FILTROS DE FECHA SIEMPRE (si el campo existe)
|
||||
|
||||
# 2. RFC (¡ESTO ES LO QUE FALTA!)
|
||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
||||
filters['rfc'] = global_filters['rfc']
|
||||
|
||||
# 3. Fechas (SIEMPRE se aplican)
|
||||
if 'fecha_pago_real' in model_fields:
|
||||
if global_filters.get('fecha_pago_desde'):
|
||||
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||
|
||||
if global_filters.get('fecha_pago_hasta'):
|
||||
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
||||
|
||||
|
||||
# 🔥 SEGUNDO: Si hay related_keys, AÑADIRLAS a los filtros existentes
|
||||
if any(related_keys.values()):
|
||||
|
||||
# Añadir patentes si existen
|
||||
if related_keys.get('patentes') and 'patente' in model_fields:
|
||||
filters['patente__in'] = related_keys['patentes']
|
||||
|
||||
# Añadir pedimentos si existen
|
||||
if related_keys.get('pedimentos') and 'pedimento' in model_fields:
|
||||
filters['pedimento__in'] = related_keys['pedimentos']
|
||||
|
||||
# Añadir datastage_ids si existen
|
||||
if related_keys.get('datastage_ids') and 'datastage_id' in model_fields:
|
||||
filters['datastage_id__in'] = related_keys['datastage_ids']
|
||||
|
||||
else:
|
||||
# Solo patente y pedimento específicos (no listas)
|
||||
if 'patente' in model_fields and global_filters.get('patente'):
|
||||
filters['patente'] = global_filters['patente']
|
||||
|
||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
||||
filters['pedimento'] = global_filters['pedimento']
|
||||
|
||||
return filters
|
||||
|
||||
def estimate_excel_file_size(self, num_records, num_columns):
|
||||
"""Estima tamaño aproximado del archivo Excel"""
|
||||
# Estimación aproximada: 100 bytes por celda
|
||||
return num_records * num_columns * 100
|
||||
|
||||
def export_with_size_control(self, request, models_data, global_filters, related_keys):
|
||||
"""Versión con control de tamaño de archivo"""
|
||||
try:
|
||||
zip_buffer = io.BytesIO()
|
||||
|
||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
file_counter = 1
|
||||
current_wb = None
|
||||
current_file_size_estimate = 0
|
||||
MAX_FILE_SIZE_ESTIMATE = 50 * 1024 * 1024 # 50MB estimado
|
||||
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
fields = model_data.get('fields', [])
|
||||
|
||||
if not model_name or not fields:
|
||||
continue
|
||||
|
||||
try:
|
||||
model = apps.get_model('datastage', model_name)
|
||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||
|
||||
if filters:
|
||||
queryset = model.objects.filter(**filters).values(*fields)
|
||||
else:
|
||||
queryset = model.objects.none()
|
||||
|
||||
total_records = queryset.count()
|
||||
|
||||
if total_records == 0:
|
||||
continue
|
||||
|
||||
# Calcular tamaño estimado para este modelo
|
||||
model_size_estimate = self.estimate_excel_file_size(total_records, len(fields))
|
||||
|
||||
# Si el modelo es muy grande o no cabe en el archivo actual
|
||||
needs_new_file = (
|
||||
current_wb is None or
|
||||
current_file_size_estimate + model_size_estimate > MAX_FILE_SIZE_ESTIMATE or
|
||||
(total_records > self.MAX_RECORDS_PER_FILE and current_file_size_estimate > 0)
|
||||
)
|
||||
|
||||
if needs_new_file and current_wb is not None:
|
||||
# Guardar archivo actual
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||
file_counter += 1
|
||||
current_wb = None
|
||||
current_file_size_estimate = 0
|
||||
|
||||
if current_wb is None:
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_wb.remove(current_wb.active)
|
||||
|
||||
# Manejar modelos que exceden el límite por hoja
|
||||
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||
from django.core.paginator import Paginator
|
||||
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||
|
||||
for page_num in paginator.page_range:
|
||||
page = paginator.page(page_num)
|
||||
|
||||
# Crear hoja para esta parte
|
||||
sheet_name = f"{model_name[:20]}_p{page_num}"[:31]
|
||||
ws = current_wb.create_sheet(title=sheet_name)
|
||||
ws.append(fields)
|
||||
|
||||
for row in page.object_list:
|
||||
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||
ws.append(row_values)
|
||||
|
||||
# Actualizar tamaño estimado
|
||||
page_size = self.estimate_excel_file_size(len(page.object_list), len(fields))
|
||||
current_file_size_estimate += page_size
|
||||
|
||||
else:
|
||||
# Modelo pequeño, una hoja
|
||||
sheet_name = model_name[:31]
|
||||
ws = current_wb.create_sheet(title=sheet_name)
|
||||
ws.append(fields)
|
||||
|
||||
for row in queryset:
|
||||
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||
ws.append(row_values)
|
||||
|
||||
current_file_size_estimate += model_size_estimate
|
||||
|
||||
except LookupError:
|
||||
continue
|
||||
|
||||
# Guardar último archivo si existe
|
||||
if current_wb is not None:
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||
|
||||
zip_buffer.seek(0)
|
||||
|
||||
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
return Response({'error': f'Error: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
class ExportModelView(APIView):
|
||||
my_tags = ['Reportes']
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
|
||||
@@ -1,4 +1,5 @@
|
||||
from django.shortcuts import render
|
||||
from ..organization.models import Organizacion
|
||||
from rest_framework import viewsets
|
||||
from rest_framework.pagination import PageNumberPagination
|
||||
from django_filters.rest_framework import DjangoFilterBackend
|
||||
@@ -93,7 +94,23 @@ class VucemView(viewsets.ModelViewSet):
|
||||
if not self.request.user.is_authenticated or not hasattr(self.request.user, 'organizacion'):
|
||||
raise ValueError("El usuario debe estar autenticado y tener una organización asignada.")
|
||||
if self.request.user.is_superuser:
|
||||
serializer.save(created_by=self.request.user, updated_by=self.request.user)
|
||||
organizacion_id = self.request.data.get('organizacion_id')
|
||||
|
||||
if not organizacion_id:
|
||||
raise ValueError("Los superusuarios deben especificar una organización")
|
||||
|
||||
try:
|
||||
# Importa el modelo Organizacion
|
||||
# from ..organization.models import Organizacion
|
||||
organizacion = Organizacion.objects.get(id=organizacion_id)
|
||||
except Organizacion.DoesNotExist:
|
||||
raise ValueError({"organizacion": "Organización no encontrada"})
|
||||
|
||||
serializer.save(
|
||||
organizacion=organizacion,
|
||||
created_by=self.request.user,
|
||||
updated_by=self.request.user
|
||||
)
|
||||
return
|
||||
else:
|
||||
serializer.save(
|
||||
|
||||
Reference in New Issue
Block a user