agregar expedientes mediante celery

Reviewed-on: #12

api/customs/models.py

@@ -1,5 +1,6 @@
 import uuid
 from django.db import models
+from django.contrib.auth import get_user_model
 
 # Create your models here.
 
@@ -211,3 +212,44 @@ class Importador(models.Model):
 
     def __str__(self):
         return f"{self.rfc} - {self.nombre}"
+    
+# bulk de datos 
+class BulkUploadTask(models.Model):
+    STATUS_CHOICES = [
+        ('pending', 'Pendiente'),
+        ('processing', 'Procesando'),
+        ('completed', 'Completado'),
+        ('failed', 'Fallido'),
+        ('partial', 'Parcialmente completado'),
+    ]
+    
+    user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='bulk_upload_tasks')
+    organizacion = models.ForeignKey('organization.Organizacion', on_delete=models.CASCADE)
+    contribuyente = models.CharField(max_length=255, blank=True, null=True)
+    status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
+    task_type = models.CharField(max_length=50, default='bulk_create')
+    total_files = models.IntegerField(default=0)
+    processed_files = models.IntegerField(default=0)
+    created_pedimentos = models.IntegerField(default=0)
+    created_documents = models.IntegerField(default=0)
+    result = models.JSONField(default=dict, blank=True)
+    failed_files = models.JSONField(default=list, blank=True)
+    error_message = models.TextField(blank=True, null=True)
+    created_at = models.DateTimeField(auto_now_add=True)
+    started_at = models.DateTimeField(null=True, blank=True)
+    finished_at = models.DateTimeField(null=True, blank=True)
+    fecha_pago = models.DateField(null=True, blank=True)
+    clave_pedimento = models.CharField(max_length=50, blank=True, null=True)
+    tipo_operacion_id = models.IntegerField(null=True, blank=True)
+    curp_apoderado = models.CharField(max_length=50, blank=True, null=True)
+    partidas = models.IntegerField(default=0)
+    celery_task_id = models.CharField(max_length=255, blank=True, null=True)
+    
+    def __str__(self):
+        return f"BulkUpload {self.id} - {self.status}"
+    
+    class Meta:
+        verbose_name = "Tarea de Carga Masiva"
+        verbose_name_plural = "Tareas de Carga Masiva"
+        db_table = 'bulk_upload_task'
+        ordering = ['-created_at']

api/customs/tasks/__init__.py

@@ -1,2 +1,3 @@
 from .microservice import * 
 from .internal_services import *
+from .bulk_pedimentos import *

api/customs/tasks/auditoria.py

@@ -1,3 +1,6 @@
+import os
+from datetime import datetime
+from django.db import models
 from celery import shared_task, group
 from api.customs.models import ProcesamientoPedimento, Pedimento, Cove, EDocument
 from core.utils import xml_controller
@@ -198,7 +201,7 @@ def auditar_coves(organizacion_id):
             pedimento, 
             servicio=8, 
             related_name='coves', 
-            variable='acuse_descargado', 
+            variable='cove_descargado', 
             mensaje='COVE'
         )
 
@@ -247,7 +250,7 @@ def auditar_cove_por_pedimento(pedimento_id):
             pedimento,
             servicio=8,
             related_name='coves',
-            variable='acuse_descargado',
+            variable='cove_descargado',
             mensaje='COVE'
         )
         return {'success': True, 'pedimento_id': str(pedimento_id)}
@@ -302,3 +305,154 @@ def auditar_acuse_por_pedimento(pedimento_id):
     except Exception as e:
         return {'success': False, 'error': str(e), 'pedimento_id': str(pedimento_id)}
 
+@shared_task
+def auditar_pedimento_por_id(pedimento_id):
+    """
+    Tarea para auditar un pedimento específico verificando todos sus documentos y datos.
+    """
+    try:
+        pedimento = Pedimento.objects.get(id=pedimento_id)
+        resultado = {
+            'pedimento_id': str(pedimento_id),
+            'pedimento': pedimento.pedimento,
+            'pedimento_app': pedimento.pedimento_app,
+            'organizacion': str(pedimento.organizacion.id),
+            'fecha_auditoria': datetime.now().isoformat(),
+            'estado_general': 'EN_PROGRESO',
+            'detalles': {}
+        }
+        
+        # 1. Verificar documentos XML
+        from api.record.models import Document
+        documentos_xml = Document.objects.filter(
+            pedimento=pedimento,
+            archivo__endswith='.xml'
+        )
+        
+        resultado['detalles']['documentos_xml'] = {
+            'total': documentos_xml.count(),
+            'archivos': []
+        }
+        
+        for doc in documentos_xml:
+            try:
+                xml_info = {
+                    'id': str(doc.id),
+                    'nombre': os.path.basename(doc.archivo.name),
+                    'tamanio': doc.size,
+                    'extension': doc.extension,
+                    'tipo': doc.document_type.descripcion if doc.document_type else 'Desconocido'
+                }
+                
+                # Verificar si el archivo existe físicamente
+                if os.path.exists(doc.archivo.path):
+                    xml_info['existe_fisicamente'] = True
+                    # Intentar leer el XML
+                    try:
+                        with open(doc.archivo.path, 'r', encoding='utf-8') as f:
+                            content = f.read()
+                        xml_info['es_xml_valido'] = '<?xml' in content[:100]
+                        xml_info['tamanio_bytes'] = len(content)
+                    except Exception as e:
+                        xml_info['error_lectura'] = str(e)
+                else:
+                    xml_info['existe_fisicamente'] = False
+                    
+            except Exception as e:
+                xml_info['error'] = str(e)
+                
+            resultado['detalles']['documentos_xml']['archivos'].append(xml_info)
+        
+        # 2. Verificar si hay documentos asociados
+        resultado['detalles']['documentos_totales'] = {
+            'total': pedimento.documents.count(),
+            'por_tipo': {}
+        }
+        
+        for doc_type in pedimento.documents.values('document_type__descripcion').annotate(total=models.Count('id')):
+            tipo = doc_type['document_type__descripcion'] or 'Sin tipo'
+            resultado['detalles']['documentos_totales']['por_tipo'][tipo] = doc_type['total']
+        
+        # 3. Verificar COVEs
+        resultado['detalles']['coves'] = {
+            'total': pedimento.coves.count(),
+            'descargados': pedimento.coves.filter(cove_descargado=True).count(),
+            'con_acuse': pedimento.coves.filter(acuse_cove_descargado=True).count()
+        }
+        
+        # 4. Verificar EDocuments
+        resultado['detalles']['edocuments'] = {
+            'total': pedimento.documentos.count(),
+            'descargados': pedimento.documentos.filter(edocument_descargado=True).count(),
+            'con_acuse': pedimento.documentos.filter(acuse_descargado=True).count()
+        }
+        
+        # 5. Verificar procesamientos
+        resultado['detalles']['procesamientos'] = {
+            'total': pedimento.procesamientos.count(),
+            'por_estado': {}
+        }
+        
+        for proc in pedimento.procesamientos.values('estado__estado').annotate(total=models.Count('id')):
+            estado = proc['estado__estado'] or 'Sin estado'
+            resultado['detalles']['procesamientos']['por_estado'][estado] = proc['total']
+        
+        # 6. Verificar campos importantes del pedimento
+        campos_revisados = {
+            'numero_operacion': bool(pedimento.numero_operacion),
+            'numero_partidas': bool(pedimento.numero_partidas),
+            'importe_total': bool(pedimento.importe_total),
+            'contribuyente': bool(pedimento.contribuyente),
+            'tiene_remesas': pedimento.remesas,
+            'partidas_creadas': pedimento.partidas.count() > 0,
+            'fecha_pago': bool(pedimento.fecha_pago)
+        }
+        
+        resultado['detalles']['campos_pedimento'] = campos_revisados
+        resultado['detalles']['campos_completos'] = sum(campos_revisados.values())
+        resultado['detalles']['campos_totales'] = len(campos_revisados)
+        
+        # 7. Determinar estado general
+        campos_completos = resultado['detalles']['campos_completos']
+        total_campos = resultado['detalles']['campos_totales']
+        
+        if documentos_xml.count() == 0:
+            resultado['estado_general'] = 'SIN_XML'
+            resultado['mensaje'] = 'No se encontraron documentos XML'
+        elif campos_completos == total_campos:
+            resultado['estado_general'] = 'COMPLETO'
+            resultado['mensaje'] = 'Pedimento completamente procesado'
+        elif campos_completos >= total_campos * 0.7:
+            resultado['estado_general'] = 'PARCIAL'
+            resultado['mensaje'] = 'Pedimento parcialmente procesado'
+        else:
+            resultado['estado_general'] = 'INCOMPLETO'
+            resultado['mensaje'] = 'Pedimento con información incompleta'
+        
+        resultado['porcentaje_completitud'] = (campos_completos / total_campos) * 100 if total_campos > 0 else 0
+        
+        # 8. Sugerencias
+        sugerencias = []
+        if not pedimento.numero_operacion:
+            sugerencias.append("Falta el número de operación")
+        if not pedimento.numero_partidas:
+            sugerencias.append("Falta el número de partidas")
+        if pedimento.numero_partidas and pedimento.numero_partidas > pedimento.partidas.count():
+            sugerencias.append(f"Faltan partidas: {pedimento.numero_partidas - pedimento.partidas.count()} de {pedimento.numero_partidas}")
+        if not pedimento.contribuyente:
+            sugerencias.append("Falta el contribuyente asociado")
+        
+        resultado['sugerencias'] = sugerencias
+        
+        return resultado
+        
+    except Pedimento.DoesNotExist:
+        return {
+            'error': f'Pedimento con ID {pedimento_id} no encontrado',
+            'pedimento_id': str(pedimento_id)
+        }
+    except Exception as e:
+        return {
+            'error': f'Error auditar pedimento {pedimento_id}: {str(e)}',
+            'pedimento_id': str(pedimento_id)
+        }

api/customs/tasks/auditoria_xml.py

@@ -0,0 +1,194 @@
+# auditoria_xml.py
+import xml.etree.ElementTree as ET
+from datetime import datetime
+
+def extraer_info_pedimento_xml(xml_content):
+    """
+    Extrae información específica de un XML de pedimento.
+    """
+    try:
+        # Parsear el XML
+        root = ET.fromstring(xml_content)
+        
+        # Buscar el namespace (puede variar)
+        namespaces = {
+            'S': 'http://schemas.xmlsoap.org/soap/envelope/',
+            'ns2': 'http://www.ventanillaunica.gob.mx/pedimentos/ws/oxml/consultarpedimentocompleto',
+            'ns3': 'http://www.ventanillaunica.gob.mx/common/ws/oxml/respuesta'
+        }
+        
+        resultado = {}
+        
+        # Extraer número de operación
+        num_op = root.find('.//ns2:numeroOperacion', namespaces)
+        if num_op is not None and num_op.text:
+            resultado['numero_operacion'] = num_op.text
+        
+        # Extraer información del pedimento
+        pedimento_elem = root.find('.//ns2:pedimento', namespaces)
+        if pedimento_elem is not None:
+            # Número de pedimento
+            ped_num = pedimento_elem.find('ns2:pedimento', namespaces)
+            if ped_num is not None and ped_num.text:
+                resultado['numero_pedimento'] = ped_num.text
+            
+            # Número de partidas
+            partidas = pedimento_elem.find('ns2:partidas', namespaces)
+            if partidas is not None and partidas.text:
+                try:
+                    resultado['numero_partidas'] = int(partidas.text)
+                except (ValueError, TypeError):
+                    pass
+            
+            # Tipo de operación clave
+            tipo_op_clave = pedimento_elem.find('.//ns2:tipoOperacion/ns2:clave', namespaces)
+            if tipo_op_clave is not None and tipo_op_clave.text:
+                if tipo_op_clave.text.strip() == '1':
+
+                    resultado['tipo_operacion'] = 'Importacion'
+                    resultado['tipo_operacion_descripcion'] = 'Indica operacion como Importaciones'
+
+                elif tipo_op_clave.text.strip() == '2':
+                    
+                    resultado['tipo_operacion'] = 'Exportacion'
+                    resultado['tipo_operacion_descripcion'] = 'Indica operacion de exportacion' 
+
+
+             # Clave del documento (clave_pedimento)
+            clave_doc = pedimento_elem.find('.//ns2:claveDocumento/ns2:clave', namespaces)
+            if clave_doc is not None and clave_doc.text:
+                resultado['clave_pedimento'] = clave_doc.text.strip()
+
+            # Aduana (patente)
+            aduana = pedimento_elem.find('.//ns2:aduanaEntradaSalida/ns2:clave', namespaces)
+            if aduana is not None and aduana.text:
+                resultado['aduana_clave'] = aduana.text.strip()
+
+            # Importador/Exportador
+            importador = pedimento_elem.find('.//ns2:importadorExportador', namespaces)
+            if importador is not None:
+                rfc = importador.find('ns2:rfc', namespaces)
+                if rfc is not None and rfc.text:
+                    resultado['contribuyente_rfc'] = rfc.text.strip()
+                
+                razon_social = importador.find('ns2:razonSocial', namespaces)
+                if razon_social is not None and razon_social.text:
+                    resultado['contribuyente_nombre'] = razon_social.text.strip()
+                
+                # Valor en dólares
+                valor_dolares = importador.find('ns2:valorDolares', namespaces)
+                if valor_dolares is not None and valor_dolares.text:
+                    try:
+                        resultado['valor_dolares'] = float(valor_dolares.text)
+                    except (ValueError, TypeError):
+                        pass
+
+                # Aduana de despacho
+                aduana_despacho = importador.find('ns2:aaduanaDespacho/ns2:clave', namespaces)
+                if aduana_despacho is not None and aduana_despacho.text:
+                    resultado['aduana_despacho'] = aduana_despacho.text.strip()
+            
+            # Encabezado del pedimento
+            encabezado = pedimento_elem.find('ns2:encabezado', namespaces)
+            if encabezado is not None:
+                # Aduana
+                aduana = encabezado.find('ns2:aduanaEntradaSalida/ns2:clave', namespaces)
+                if aduana is not None and aduana.text:
+                    resultado['aduana_clave'] = aduana.text.strip()
+                
+                # Tipo de cambio
+                tipo_cambio = encabezado.find('ns2:tipoCambio', namespaces)
+                if tipo_cambio is not None and tipo_cambio.text:
+                    try:
+                        resultado['tipo_cambio'] = float(tipo_cambio.text)
+                    except (ValueError, TypeError):
+                        pass
+                
+                # RFC Agente Aduanal
+                rfc_agente = encabezado.find('ns2:rfcAgenteAduanalSocFactura', namespaces)
+                if rfc_agente is not None and rfc_agente.text:
+                    resultado['rfc_agente_aduanal'] = rfc_agente.text.strip()
+
+                # CURP Apoderado
+                curp_apoderado = encabezado.find('ns2:curpApoderadomandatario', namespaces)
+                if curp_apoderado is not None and curp_apoderado.text:
+                    resultado['curp_apoderado'] = curp_apoderado.text.strip()
+
+                # Valor Aduanal Total
+                valor_aduanal = encabezado.find('ns2:valorAduanalTotal', namespaces)
+                if valor_aduanal is not None and valor_aduanal.text:
+                    try:
+                        resultado['valor_aduanal_total'] = float(valor_aduanal.text)
+                    except (ValueError, TypeError):
+                        pass
+
+                # Valor Comercial Total
+                valor_comercial = encabezado.find('ns2:valorComercialTotal', namespaces)
+                if valor_comercial is not None and valor_comercial.text:
+                    try:
+                        resultado['valor_comercial_total'] = float(valor_comercial.text)
+                    except (ValueError, TypeError):
+                        pass
+                    
+            # Fechas
+            fechas = pedimento_elem.findall('.//ns2:fechas', namespaces)
+            for fecha_elem in fechas:
+                fecha = fecha_elem.find('ns2:fecha', namespaces)
+                clave_fecha = fecha_elem.find('ns2:tipo/ns2:clave', namespaces)
+
+                if fecha is not None and fecha.text and clave_fecha is not None and clave_fecha.text:
+
+                    fecha_texto = fecha.text.strip()
+                    clave_fecha_texto = clave_fecha.text.strip()
+
+                    # Mapeo de claves según especificación
+                    if clave_fecha_texto == '1':  # Entrada
+                        resultado['fecha_entrada'] = fecha_texto
+                    elif clave_fecha_texto == '2':  # Pago
+                        resultado['fecha_pago'] = fecha_texto
+                    elif clave_fecha_texto == '3':  # Extracción
+                        resultado['fecha_extraccion'] = fecha_texto
+                    elif clave_fecha_texto == '5':  # Presentación
+                        resultado['fecha_presentacion'] = fecha_texto
+                    elif clave_fecha_texto == '6':  # Importación
+                        resultado['fecha_importacion'] = fecha_texto
+                    elif clave_fecha_texto == '7':  # Original
+                        resultado['fecha_original'] = fecha_texto
+                    else:
+                        resultado[f'fecha_clave_{clave_fecha_texto}'] = fecha_texto
+
+            # Facturas (para COVEs)
+            facturas = pedimento_elem.findall('.//ns2:facturas', namespaces)
+            coves_encontrados = []
+            for factura in facturas:
+                numero = factura.find('ns2:numero', namespaces)
+                if numero is not None and numero.text:
+                    coves_encontrados.append(numero.text.strip())
+            
+            if coves_encontrados:
+                resultado['coves_en_xml'] = coves_encontrados
+            
+            # E-Documents
+            identificadores = pedimento_elem.findall('.//ns2:identificadores/ns2:identificadores', namespaces)
+            edocs_encontrados = []
+            for ident in identificadores:
+                clave = ident.find('claveIdentificador/descripcion', namespaces)
+                complemento = ident.find('complemento1', namespaces)
+                if clave is not None and clave.text and 'E_DOCUMENT' in clave.text:
+                    if complemento is not None and complemento.text:
+                        edocs_encontrados.append(complemento.text.strip())
+            
+            if edocs_encontrados:
+                resultado['edocuments_en_xml'] = edocs_encontrados
+        
+        # Verificar si hay error en la respuesta
+        tiene_error = root.find('.//ns3:tieneError', namespaces)
+        if tiene_error is not None:
+            resultado['tiene_error'] = tiene_error.text.lower() == 'true'
+        
+        return resultado
+        
+    except ET.ParseError as e:
+        return {'error_parse': str(e)}
+    except Exception as e:
+        return {'error': str(e)}

api/customs/tasks/bulk_pedimentos.py

@@ -0,0 +1,421 @@
+# tasks/bulk_pedimentos.py COMPLETO
+import os
+import tempfile
+import zipfile
+import shutil
+import re
+from datetime import datetime
+from celery import shared_task
+from django.core.files.base import ContentFile
+from django.utils import timezone
+from django.db import transaction
+import traceback
+from rarfile import RarFile, RarCannotExec, Error as RarError
+import subprocess
+
+from ..models import BulkUploadTask, Pedimento, Importador, TipoOperacion
+from ...record.models import DocumentType, Document, Fuente
+from django.contrib.auth import get_user_model
+from django.core.files.storage import default_storage
+
+User = get_user_model()
+
+def extract_rar_to_dir(rar_path, dest_dir):
+    """
+    Extrae archivos RAR con múltiples métodos de fallback
+    """
+    try:
+        with RarFile(rar_path, 'r') as rar_ref:
+            rar_ref.extractall(dest_dir)
+        return True
+    except (RarCannotExec, RarError):
+        try:
+            subprocess.run(['7z', 'x', rar_path, f'-o{dest_dir}'], 
+                          check=True, capture_output=True)
+            return True
+        except (subprocess.CalledProcessError, FileNotFoundError):
+            try:
+                subprocess.run(['unrar', 'x', rar_path, dest_dir], 
+                              check=True, capture_output=True)
+                return True
+            except (subprocess.CalledProcessError, FileNotFoundError):
+                return False
+
+def is_same_document(doc, file_name):
+    """
+    Determina si un documento es el mismo basado en el nombre
+    """
+    if not doc.archivo:
+        return False
+    
+    doc_name = os.path.basename(doc.archivo.name).lower()
+    new_name = file_name.lower()
+    
+    doc_base = os.path.splitext(doc_name)[0]
+    new_base = os.path.splitext(new_name)[0]
+    
+    return doc_base == new_base
+
+@shared_task(bind=True, max_retries=3, default_retry_delay=60)
+def process_bulk_upload(self, bulk_upload_id):
+    """
+    Tarea principal para procesar bulk upload de forma asíncrona
+    SOLO recibe el ID, obtiene todo de la base de datos
+    """
+    try:
+        
+        bulk_upload = BulkUploadTask.objects.get(id=bulk_upload_id)
+        
+        bulk_upload.celery_task_id = self.request.id
+        bulk_upload.status = 'processing'
+        bulk_upload.started_at = timezone.now()
+        bulk_upload.save(update_fields=['celery_task_id', 'status', 'started_at'])
+        
+        if bulk_upload.task_type == 'bulk_create_pedimento_desk':
+            result = _process_bulk_pedimento_desk(bulk_upload)
+        else:
+            result = _process_bulk_create(bulk_upload)
+        
+        bulk_upload.status = 'completed' if not result['failed_files'] else 'partial'
+        bulk_upload.finished_at = timezone.now()
+        bulk_upload.result = result
+        bulk_upload.created_pedimentos = result.get('created_count', 0)
+        bulk_upload.created_documents = result.get('documents_created', 0)
+        bulk_upload.failed_files = result.get('failed_files', [])
+        bulk_upload.processed_files = result.get('processed_files', 0)
+        bulk_upload.save()
+        
+        temp_files_info = bulk_upload.result.get('temp_files', [])
+        for file_info in temp_files_info:
+            try:
+                default_storage.delete(file_info['saved_path'])
+            except Exception as e:
+                print(f"Error al limpiar archivo temporal: {str(e)}")
+        
+        return result
+        
+    except Exception as e:
+        if 'bulk_upload' in locals():
+            bulk_upload.status = 'failed'
+            bulk_upload.error_message = f"{str(e)}\n{traceback.format_exc()}"
+            bulk_upload.finished_at = timezone.now()
+            bulk_upload.save()
+        
+        raise self.retry(exc=e, countdown=60)
+
+def _process_bulk_create(bulk_upload):
+    """
+    Procesa bulk_create normal - VERSIÓN CORREGIDA
+    """
+    
+    created_pedimentos = []
+    failed_files = []
+    documents_created = 0
+    nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
+    nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
+    
+    try:
+        organizacion = bulk_upload.organizacion
+        contribuyente = bulk_upload.contribuyente
+        temp_files_info = bulk_upload.result.get('temp_files', [])
+        
+        try:
+            document_type = DocumentType.objects.get(nombre="Pedimento")
+        except DocumentType.DoesNotExist:
+            document_type = DocumentType.objects.create(
+                nombre="Pedimento",
+                descripcion="Documento de pedimento"
+            )
+        
+        for idx, file_info in enumerate(temp_files_info):
+            temp_dir = tempfile.mkdtemp()
+            
+            try:
+                temp_file_path = os.path.join(temp_dir, file_info['original_name'])
+                with default_storage.open(file_info['saved_path'], 'rb') as src:
+                    with open(temp_file_path, 'wb') as dst:
+                        dst.write(src.read())
+                
+                archivo_name_sin_extension = os.path.splitext(file_info['original_name'])[0]
+                sub_dir = os.path.join(temp_dir, archivo_name_sin_extension)
+                os.makedirs(sub_dir, exist_ok=True)
+                
+                archivo_name = file_info['original_name'].lower()
+                
+                if archivo_name.endswith('.zip'):
+                    with zipfile.ZipFile(temp_file_path, 'r') as zip_ref:
+                        zip_ref.extractall(sub_dir)
+                    
+                elif archivo_name.endswith('.rar'):
+                    if not extract_rar_to_dir(temp_file_path, sub_dir):
+                        failed_files.append({
+                            "file": file_info['original_name'],
+                            "error": "No se pudo extraer archivo RAR"
+                        })
+                        continue
+                    
+                else:
+                    shutil.move(temp_file_path, os.path.join(sub_dir, file_info['original_name']))
+                
+                for root, dirs, files in os.walk(sub_dir):
+                    for file_name in files:
+                        file_path = os.path.join(root, file_name)
+                        relative_path = os.path.relpath(file_path, sub_dir)
+                        folder_name = archivo_name_sin_extension
+                        
+                        match = nomenclatura_pattern.match(folder_name)
+                        match_sin_anio = nomenclatura_pattern_sin_anio.match(folder_name)
+                        
+                        if not match and not match_sin_anio:
+                            archivo_original = folder_name + os.path.splitext(file_info['original_name'])[1]
+                            failed_files.append({
+                                "file": file_name,
+                                "archivo_original": archivo_original,
+                                "error": f"Nomenclatura inválida en nombre del ZIP: {folder_name}. Esperado: anio-aduana-patente-pedimento"
+                            })
+                            continue
+                        
+                        if match:
+                            anio, aduana, patente, pedimento_num = match.groups()
+                            
+                            try:
+                                anio_completo = 2000 + int(anio) if int(anio) < 50 else 1900 + int(anio)
+                                fecha_pago = datetime(anio_completo, 1, 1).date()
+                            except ValueError:
+                                failed_files.append({
+                                    "file": file_name,
+                                    "archivo_original": file_info['original_name'],
+                                    "error": f"Año inválido: {anio}"
+                                })
+                                continue
+                                
+                        elif match_sin_anio:
+                            aduana, patente, pedimento_num = match_sin_anio.groups()
+                            primer_digito_pedimento = int(pedimento_num[0]) if pedimento_num else 0
+                            año_actual = datetime.now().year
+                            
+                            año_con_digito = int(str(año_actual)[:-1] + str(primer_digito_pedimento))
+                            
+                            if año_con_digito <= año_actual:
+                                año_final = año_con_digito
+                            else:
+                                año_final = año_con_digito - 10
+                            
+                            anio = año_final % 100
+                            fecha_pago = datetime(año_final, 1, 1).date()
+                        
+                        pedimento_app = f"{anio}-{aduana.zfill(2)}-{patente}-{pedimento_num}"
+                        
+                        existing_pedimento = Pedimento.objects.filter(
+                            pedimento_app=pedimento_app,
+                            organizacion=organizacion
+                        ).first()
+                        
+                        if not existing_pedimento:
+                            
+                            importador, created = Importador.objects.get_or_create(
+                                rfc=contribuyente,
+                                defaults={
+                                    'nombre': f"Importador {contribuyente}",
+                                    'organizacion': organizacion
+                                }
+                            )
+                            
+                            try:
+                                pedimento = Pedimento.objects.create(
+                                    organizacion=organizacion,
+                                    contribuyente=importador,
+                                    pedimento=int(pedimento_num),
+                                    aduana=int(aduana),
+                                    patente=int(patente),
+                                    fecha_pago=fecha_pago,
+                                    pedimento_app=pedimento_app,
+                                    agente_aduanal=f"Agente {patente}",
+                                    clave_pedimento="A1"
+                                )
+                                
+                                created_pedimentos.append({
+                                    "id": str(pedimento.id),
+                                    "pedimento_app": pedimento_app,
+                                    "contribuyente": importador.rfc,
+                                    "contribuyente_nombre": importador.nombre
+                                })
+                                
+                            except Exception as e:
+                                failed_files.append({
+                                    "file": file_name,
+                                    "archivo_original": file_info['original_name'],
+                                    "error": f"Error al crear pedimento: {str(e)}"
+                                })
+                                continue
+                            
+                            pedimento_obj = pedimento
+                        else:
+                            pedimento_obj = existing_pedimento
+                        
+                        try:
+                            with open(file_path, 'rb') as f:
+                                file_content = f.read()
+                            
+                            extension = os.path.splitext(file_name)[1].lower().lstrip('.')
+                            
+                            existing_documents = Document.objects.filter(
+                                pedimento_id=pedimento_obj.id,
+                                organizacion=organizacion
+                            )
+                            
+                            existing_document = None
+                            for doc in existing_documents:
+                                if is_same_document(doc, file_name):
+                                    existing_document = doc
+                                    break
+                            
+                            django_file = ContentFile(file_content, name=file_name)
+                            
+                            if existing_document:
+                                try:
+                                    if existing_document.archivo and os.path.exists(existing_document.archivo.path):
+                                        os.remove(existing_document.archivo.path)
+                                except (ValueError, OSError) as e:
+                                    print(f"No se pudo eliminar archivo físico anterior: {str(e)}")
+                                
+                                existing_document.archivo = django_file
+                                existing_document.size = len(file_content)
+                                existing_document.extension = extension
+                                existing_document.updated_at = timezone.now()
+                                existing_document.save()
+                                
+                            else:
+                                document = Document.objects.create(
+                                    organizacion=organizacion,
+                                    pedimento_id=pedimento_obj.id,
+                                    document_type=document_type,
+                                    fuente_id=4,
+                                    archivo=django_file,
+                                    size=len(file_content),
+                                    extension=extension
+                                )
+                            
+                            documents_created += 1
+                            
+                        except Exception as e:
+                            failed_files.append({
+                                "file": file_name,
+                                "archivo_original": file_info['original_name'],
+                                "error": f"Error al crear documento: {str(e)}"
+                            })
+                            continue
+                
+                if os.path.exists(temp_file_path):
+                    os.remove(temp_file_path)
+                
+                try:
+                    default_storage.delete(file_info['saved_path'])
+                except:
+                    pass
+                
+                bulk_upload.processed_files = idx + 1
+                bulk_upload.save(update_fields=['processed_files'])
+                
+            except Exception as e:
+                failed_files.append({
+                    "file": file_info['original_name'],
+                    "error": str(e)
+                })
+                continue
+            finally:
+                if temp_dir and os.path.exists(temp_dir):
+                    try:
+                        shutil.rmtree(temp_dir, ignore_errors=True)
+                    except Exception as e:
+                        print(f"Error al eliminar directorio temporal: {str(e)}")
+        
+        result = {
+            "created_count": len(created_pedimentos),
+            "created_pedimentos": created_pedimentos,
+            "documents_created": documents_created,
+            "failed_files": failed_files,
+            "processed_files": len(temp_files_info),
+            "summary": f"Procesados {len(temp_files_info)} archivo(s): {len(created_pedimentos)} pedimento(s) creado(s), {documents_created} documento(s) asociado(s)"
+        }
+        
+        return result
+        
+    except Exception as e:
+        failed_files.append({
+            "file": "global",
+            "error": f"Error global: {str(e)}"
+        })
+        
+        return {
+            "created_count": 0,
+            "created_pedimentos": [],
+            "documents_created": 0,
+            "failed_files": failed_files,
+            "processed_files": 0,
+            "summary": f"Error en procesamiento: {str(e)}"
+        }
+
+def _process_bulk_pedimento_desk(bulk_upload):
+    """
+    Procesa bulk_create_pedimento_desk - OBTIENE DATOS DEL MODELO
+    """
+    created_pedimentos = []
+    failed_files = []
+    documents_created = 0
+    temp_dir = None
+    
+    nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
+    nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
+    
+    try:
+        organizacion = bulk_upload.organizacion
+        contribuyente = bulk_upload.contribuyente
+        temp_files_info = bulk_upload.result.get('temp_files', [])
+        
+        fecha_pago_input = bulk_upload.fecha_pago  
+        clave_pedimento_input = bulk_upload.clave_pedimento
+        tipo_operacion_id = bulk_upload.tipo_operacion_id
+        curp_apoderado_input = bulk_upload.curp_apoderado
+        partidas_input = bulk_upload.partidas
+        
+        tipo_operacion_obj = None
+        if tipo_operacion_id:
+            try:
+                tipo_operacion_obj = TipoOperacion.objects.get(id=tipo_operacion_id)
+            except TipoOperacion.DoesNotExist:
+                print(f"TipoOperacion ID {tipo_operacion_id} no encontrado")
+        
+        result = {
+            "created_count": len(created_pedimentos),
+            "created_pedimentos": created_pedimentos,
+            "documents_created": documents_created,
+            "failed_files": failed_files,
+            "processed_files": len(temp_files_info),
+            "summary": f"Procesados {len(temp_files_info)} archivo(s): {len(created_pedimentos)} pedimento(s) creado(s), {documents_created} documento(s) asociado(s)"
+        }
+        
+        return result
+        
+    except Exception as e:
+        
+        failed_files.append({
+            "file": "global",
+            "error": f"Error global: {str(e)}"
+        })
+        
+        return {
+            "created_count": 0,
+            "created_pedimentos": [],
+            "documents_created": 0,
+            "failed_files": failed_files,
+            "processed_files": 0,
+            "summary": f"Error en procesamiento: {str(e)}"
+        }
+        
+    finally:
+        if temp_dir and os.path.exists(temp_dir):
+            try:
+                shutil.rmtree(temp_dir, ignore_errors=True)
+            except Exception as e:
+                print(f"Error al eliminar directorio temporal: {str(e)}")

api/customs/urls.py

@@ -42,7 +42,24 @@ from .views_auditor import (
     auditar_acuse_cove_pedimento_endpoint,
     auditar_edocument_pedimento_endpoint,
     auditar_acuse_pedimento_endpoint,
-    auditor_procesar_pedimentos_organizacion
+    auditar_procesamiento_remesa_pedimento_endpoint,
+    auditor_procesar_pedimentos_organizacion,
+    auditar_peticion_respuesta_pedimento_completo,
+    auditor_obtener_peticion_pedimento_vu,
+    auditor_obtener_respuesta_pedimento_vu,
+    auditor_obtener_peticion_remesa_vu,
+    auditor_obtener_respuesta_remesa_vu,
+    auditor_obtener_peticion_partidas_vu,
+    auditor_obtener_respuesta_partidas_vu,
+    auditor_obtener_peticion_acuse_vu,
+    auditor_obtener_respuesta_acuse_vu,
+    auditor_obtener_peticion_cove_vu,
+    auditor_obtener_respuesta_cove_vu,
+    auditor_obtener_peticion_acuse_cove_vu,
+    auditor_obtener_respuesta_acuse_cove_vu,
+    auditor_obtener_peticion_edocument_vu,
+    auditor_obtener_respuesta_edocument_vu,
+    auditar_pedimento_endpoint,
 )
 
 urlpatterns = [
@@ -58,5 +75,24 @@ urlpatterns = [
     path('auditor/auditar-acuse-cove/pedimento/', auditar_acuse_cove_pedimento_endpoint, name='auditar-acuse-cove-pedimento'),
     path('auditor/auditar-edocument/pedimento/', auditar_edocument_pedimento_endpoint, name='auditar-edocument-pedimento'),
     path('auditor/auditar-acuse/pedimento/', auditar_acuse_pedimento_endpoint, name='auditar-acuse-pedimento'),
+    path('auditor/auditar-remesa/pedimento/', auditar_procesamiento_remesa_pedimento_endpoint, name='auditar-remesa-pedimento'),
+    path('auditor/auditar-pedimento/', auditar_pedimento_endpoint, name='auditar-pedimento'),
+
     path('auditor/procesar-pedimentos/organizaciones/', auditor_procesar_pedimentos_organizacion, name='procesar-pedimentos-organizaciones'),
+    path('auditor/peticion-respuesta/pedimento-vu/', auditar_peticion_respuesta_pedimento_completo, name='peticion-respuesta-pedimento-vu'),
+
+    path('auditor/obtener-peticion/pedimento-vu/', auditor_obtener_peticion_pedimento_vu, name='obtener-peticion-pedimento-vu'),
+    path('auditor/obtener-respuesta/pedimento-vu/', auditor_obtener_respuesta_pedimento_vu, name='obtener-respuesta-pedimento-vu'),
+    path('auditor/obtener-peticion/remesa-vu/', auditor_obtener_peticion_remesa_vu, name='obtener-peticion-remesa-vu'),
+    path('auditor/obtener-respuesta/remesa-vu/', auditor_obtener_respuesta_remesa_vu, name='obtener-respuesta-remesa-vu'),
+    path('auditor/obtener-peticion/partidas-vu/', auditor_obtener_peticion_partidas_vu, name='obtener-peticion-partidas-vu'),
+    path('auditor/obtener-respuesta/partidas-vu/', auditor_obtener_respuesta_partidas_vu, name='obtener-respuesta-partidas-vu'),
+    path('auditor/obtener-peticion/acuse-vu/', auditor_obtener_peticion_acuse_vu, name='obtener-peticion-acuse-vu'),
+    path('auditor/obtener-respuesta/acuse-vu/', auditor_obtener_respuesta_acuse_vu, name='obtener-respuesta-acuse-vu'),
+    path('auditor/obtener-peticion/cove-vu/', auditor_obtener_peticion_cove_vu, name='obtener-peticion-cove-vu'),
+    path('auditor/obtener-respuesta/cove-vu/', auditor_obtener_respuesta_cove_vu, name='obtener-respuesta-cove-vu'),
+    path('auditor/obtener-peticion/acuse-cove-vu/', auditor_obtener_peticion_acuse_cove_vu, name='obtener-peticion-acuse-cove-vu'),
+    path('auditor/obtener-respuesta/acuse-cove-vu/', auditor_obtener_respuesta_acuse_cove_vu, name='obtener-respuesta-acuse-cove-vu'),
+    path('auditor/obtener-peticion/edocument-vu/', auditor_obtener_peticion_edocument_vu, name='obtener-peticion-edocument-vu'),
+    path('auditor/obtener-respuesta/edocument-vu/', auditor_obtener_respuesta_edocument_vu, name='obtener-respuesta-edocument-vu'),
 ]

api/record/urls.py

@@ -11,7 +11,8 @@ from .views import  (DocumentViewSet
                      , DocumentTypeView
                      , ExpedienteZipDownloadView
                      , MultiPedimentoZipDownloadView
-                     , PedimentoDocumentViewSet)
+                     , PedimentoDocumentViewSet
+                     , TriggerPedimentoCompletoView)
 
 
 # Create a router and register your viewsets with it
@@ -35,5 +36,6 @@ urlpatterns = [
     path('documents/expediente-zip/', ExpedienteZipDownloadView.as_view(), name='expediente-zip-download'),
     path('documents/multi-pedimento-zip/', MultiPedimentoZipDownloadView.as_view(), name='multi-pedimento-zip-download'),
     path('pedimento-documents/', PedimentoDocumentViewSet.as_view({'get': 'list'}), name='pedimento-document-list'),
+    path('microservice/pedimento-completo/', TriggerPedimentoCompletoView.as_view(), name='trigger-pedimento-completo'),
     path('', include(router.urls)),
 ]

api/vucem/views.py

@@ -1,4 +1,5 @@
 from django.shortcuts import render
+from ..organization.models import Organizacion
 from rest_framework import viewsets
 from rest_framework.pagination import PageNumberPagination
 from django_filters.rest_framework import DjangoFilterBackend
@@ -93,7 +94,23 @@ class VucemView(viewsets.ModelViewSet):
         if not self.request.user.is_authenticated or not hasattr(self.request.user, 'organizacion'):
             raise ValueError("El usuario debe estar autenticado y tener una organización asignada.")
         if self.request.user.is_superuser:
-            serializer.save(created_by=self.request.user, updated_by=self.request.user)
+            organizacion_id = self.request.data.get('organizacion_id')
+
+            if not organizacion_id:
+                raise ValueError("Los superusuarios deben especificar una organización")
+            
+            try:
+                # Importa el modelo Organizacion
+                # from ..organization.models import Organizacion
+                organizacion = Organizacion.objects.get(id=organizacion_id)
+            except Organizacion.DoesNotExist:
+                raise ValueError({"organizacion": "Organización no encontrada"})
+            
+            serializer.save(
+                organizacion=organizacion,
+                created_by=self.request.user, 
+                updated_by=self.request.user
+            )
             return        
         else:
             serializer.save(