Merge pull request 'feature/implementacion de gestor de informacion y archivos minIO' (#27) from feature/minio-implementation into main

Reviewed-on: #27

.env.example

@@ -17,4 +17,7 @@ EMAIL_HOST_PASSWORD=N036p7y!
 EMAIL_PORT=587
 EMAIL_HOST=secure.emailsrvr.com
 
-SERVICE_API_URL=http://localhost:8001/api/v1
+SERVICE_API_URL=http://host.docker.internal:8001/api/v1
+SERVICE_API_URL_V2=http://host.docker.internal:8001/api/v2
+CELERY_BROKER_URL=redis://redis_backend_dev:6379/0
+CELERY_RESULT_BACKEND=redis://redis_backend_dev:6379/0

.gitignore

@@ -178,4 +178,5 @@ cython_debug/
 #.idea/
 
 # End of https://www.toptal.com/developers/gitignore/api/django
-
+*.bak
+.vscode/

Dockerfile

@@ -3,12 +3,17 @@ FROM python:3.11-slim
 
 WORKDIR /app
 
+# Instalar dependencias del sistema necesarias
+RUN apt-get update && apt-get install -y --no-install-recommends wget && \
+    wget https://www.rarlab.com/rar/rarlinux-x64-621.tar.gz && \
+    tar -xzvf rarlinux*.tar.gz && \
+    cp rar/unrar /usr/bin/unrar && \
+    rm -rf rarlinux*.tar.gz rar
+
 COPY requirements.txt ./
 RUN pip install --no-cache-dir -r requirements.txt
-
 RUN pip install flower
 
-
 COPY . .
 
 

Dockerfile.prod

@@ -3,8 +3,16 @@ FROM python:3.11-slim
 WORKDIR /app
 
 # Instalar dependencias del sistema
-RUN apt-get update && apt-get install -y \
+# RUN apt-get update && apt-get install -y \
+#     supervisor \
+#     && rm -rf /var/lib/apt/lists/*
+RUN apt-get update && apt-get install -y --no-install-recommends \
     supervisor \
+    wget \
+    && wget https://www.rarlab.com/rar/rarlinux-x64-621.tar.gz \
+    && tar -xzvf rarlinux*.tar.gz \
+    && cp rar/unrar /usr/bin/unrar \
+    && rm -rf rarlinux*.tar.gz rar \
     && rm -rf /var/lib/apt/lists/*
 
 # Copiar e instalar dependencias de Python

api/customs/apps.py

@@ -6,4 +6,5 @@ class CustomsConfig(AppConfig):
     name = 'api.customs'
 
     def ready(self):
-        import api.customs.signals
+        # corregir el import aqui
+        import api.customs.signals.procesamiento

api/customs/management/commands/auditor.py

@@ -1,6 +1,5 @@
 from django.core.management.base import BaseCommand
 from api.customs.tasks.auditoria import (
-    auditar_procesamiento_remesas,
     auditar_coves,
     auditar_acuse_cove,
     auditar_edocuments,
@@ -15,7 +14,6 @@ class Command(BaseCommand):
 
     # Definir las tareas disponibles
     TAREAS_DISPONIBLES = {
-        'remesas': (auditar_procesamiento_remesas, "Auditoría de remesas"),
         'partidas': (crear_partidas, "Creación de partidas"),
         'coves': (auditar_coves, "Auditoría de COVEs"),
         'acuse-cove': (auditar_acuse_cove, "Auditoría de acuses de COVEs"),

api/customs/management/commands/microservicios.py

@@ -0,0 +1,45 @@
+from django.core.management.base import BaseCommand
+from api.organization.models import Organizacion
+from api.customs.tasks import microservice_v2
+
+class Command(BaseCommand):
+    help = 'Ejecuta tareas de microservicio por organización y procesamiento.'
+
+    def add_arguments(self, parser):
+        parser.add_argument(
+            '--organizacion_id',
+            type=str,
+            help='ID de la organización a procesar (opcional, si no se envía se procesan todas)'
+        )
+        parser.add_argument(
+            '--procesamiento',
+            type=str,
+            help='Tipo de procesamiento a ejecutar (opcional, si no se envía se ejecutan todos)'
+        )
+        parser.add_argument(
+            '--todos',
+            type=bool,
+            help='Ejecutar todos los procesos (opcional)'
+        )
+
+    def handle(self, *args, **options):
+        
+        todos = options.get('todos', False)
+        organizacion_id = options.get('organizacion_id')
+        procesamiento = options.get('procesamiento')
+        if todos:
+            organizaciones = Organizacion.objects.all()
+            for org in organizaciones:
+                microservice_v2.ejecutar_todos_por_organizacion(org.id)
+            self.stdout.write(self.style.SUCCESS('Se ejecutaron todos los procesos para todas las organizaciones.'))
+            return
+        
+        if organizacion_id:
+            if procesamiento:
+                # microservice_v2.ejecutar_procesamiento_por_organizacion(organizacion_id, procesamiento)
+                microservice_v2.ejecutar_por_organizacion_y_procesamiento(organizacion_id, procesamiento)
+                self.stdout.write(self.style.SUCCESS(f'Se ejecutó el procesamiento {procesamiento} para la organización {organizacion_id}.'))
+            else:
+                microservice_v2.ejecutar_todos_por_organizacion(organizacion_id)
+                self.stdout.write(self.style.SUCCESS(f'Se ejecutaron todos los procesos para la organización {organizacion_id}.'))
+                

api/customs/models.py

@@ -61,7 +61,7 @@ class Pedimento(models.Model):
         db_table = 'pedimento'
         ordering = ['pedimento']
         unique_together = [
-            ['organizacion', 'pedimento'],
+           # ['organizacion', 'pedimento'],
             ['organizacion', 'pedimento_app']
         ]
 

api/customs/serializers.py

@@ -9,6 +9,7 @@ from api.customs.models import (
     Partida
 )
 from django.db import models
+from django.db.models import Q
 from api.record.models import Document  # Asegúrate de importar el modelo Documento
 from api.record.serializers import DocumentSerializer  
 from api.vucem.serializers import VucemSerializer
@@ -43,6 +44,59 @@ class PedimentoSerializer(serializers.ModelSerializer):
         return rep
 
 class PartidaSerializer(serializers.ModelSerializer):
+    documentos = serializers.SerializerMethodField()
+
+    def get_documentos(self, obj):
+        """
+        Busca documentos en la tabla `document` que coincidan EXACTAMENTE con:
+        'documents/vu_PT_{pedimentoApp}_{numero}' al inicio del nombre del archivo.
+        """
+
+        if not obj or not getattr(obj, 'pedimento', None):
+            return []
+
+        if not obj or not getattr(obj, 'numero_partida', None):
+            return []
+
+        try:
+            pedimentoApp = str(obj.pedimento.pedimento_app).strip()
+            numero = str(obj.numero_partida).strip()
+
+            # Construir el patrón exacto de búsqueda
+            patron_exacto = f'documents/vu_PT_{pedimentoApp}_{numero}.xml'
+
+            # Buscar documentos que empiecen EXACTAMENTE con ese patrón
+            qs = Document.objects.filter(
+                archivo=patron_exacto
+            )
+
+            # Opción 2: Si puede tener diferentes extensiones
+            # patron_base = f'documents/vu_PT_{pedimentoApp}_{numero}'
+            # qs = Document.objects.filter(
+            #     archivo__startswith=patron_base
+            # ).filter(
+            #     archivo__in=[
+            #         f'{patron_base}.xml',
+            #         f'{patron_base}.pdf',
+            #         f'{patron_base}.zip'
+            #     ]
+            # )
+
+            # Filtro adicional por pedimento si el modelo Document tiene este campo
+            if hasattr(Document, 'pedimento'):
+                qs = qs.filter(pedimento=obj.pedimento)
+
+            # Filtro por organización
+            if hasattr(obj, 'organizacion') and obj.organizacion:
+                qs = qs.filter(organizacion=obj.organizacion)
+            
+            serializer = DocumentSerializer(qs, many=True, context=self.context)
+            return serializer.data
+            
+            #return []
+        except Exception:
+            # En caso de cualquier error (por ejemplo, importaciones circulares), devolver lista vacía
+            return []
     class Meta:
         model = Partida
         fields = '__all__'
@@ -129,6 +183,47 @@ class ProcesamientoPedimentoSerializer(serializers.ModelSerializer):
         return representation
     
 class EDocumentSerializer(serializers.ModelSerializer):
+    documentos = serializers.SerializerMethodField()
+
+    def get_documentos(self, obj):
+        """
+        Busca documentos en la tabla `document` que coincidan con el
+        `numero_edocument` dentro del nombre del archivo (`archivo`). Se
+        filtra por organización para evitar devolver documentos de otras orgs.
+        Devuelve la serialización completa de los documentos encontrados:
+        1. Empiecen con 'vu_EDOCUMENT' en el nombre del archivo
+        2. Terminen con el numero_edocument + .xml
+        3. Pertenezcan a la misma organización
+        """
+        if not obj or not getattr(obj, 'numero_edocument', None):
+            return []
+
+        if not obj or not getattr(obj, 'pedimento', None):
+            return []
+
+        # if not obj or not getattr(obj, 'pedimento_id', None):
+        #     return []
+
+        try:
+            numero = str(obj.numero_edocument).strip()
+            # id_pedimento = str(obj.pedimento_id).strip()
+
+            qs = Document.objects.filter(
+                pedimento=obj.pedimento,
+                archivo__icontains=numero,
+            )
+
+            # Filtro por organización si aplica
+            if hasattr(obj, 'organizacion') and obj.organizacion:
+                qs = qs.filter(organizacion=obj.organizacion)
+            
+            serializer = DocumentSerializer(qs, many=True, context=self.context)
+            return serializer.data
+        
+        except Exception:
+            # En caso de cualquier error (por ejemplo, importaciones circulares), devolver lista vacía
+            return []
+
     class Meta:
         model = EDocument
         fields = '__all__'
@@ -142,11 +237,48 @@ class EDocumentSerializer(serializers.ModelSerializer):
             self.fields['organizacion'].read_only = True
 
 class CoveSerializer(serializers.ModelSerializer):
+    documentos = serializers.SerializerMethodField()
+
     class Meta:
         model = Cove
         fields = '__all__'
         read_only_fields = ('created_at', 'updated_at')
 
+    def get_documentos(self, obj):
+        """
+        Busca documentos en la tabla `document` que coincidan con el
+        `numero_cove` dentro del nombre del archivo (`archivo`). Se
+        filtra por organización para evitar devolver documentos de otras orgs.
+        Devuelve la serialización completa de los documentos encontrados:
+        1. Empiecen con 'vu_COVE' en el nombre del archivo
+        2. Terminen con el numero_cove + .xml
+        3. Pertenezcan a la misma organización
+        """
+        if not obj or not getattr(obj, 'numero_cove', None):
+            return []
+
+        if not obj or not getattr(obj, 'pedimento', None):
+            return []
+
+        try:
+            numero = str(obj.numero_cove).strip()
+
+            qs = Document.objects.filter(
+                pedimento=obj.pedimento,
+                archivo__icontains=numero,
+            )
+
+            # Filtro por organización si aplica
+            if hasattr(obj, 'organizacion') and obj.organizacion:
+                qs = qs.filter(organizacion=obj.organizacion)
+            
+            serializer = DocumentSerializer(qs, many=True, context=self.context)
+            return serializer.data
+        
+        except Exception:
+            # En caso de cualquier error (por ejemplo, importaciones circulares), devolver lista vacía
+            return []
+
 class ImportadorSerializer(serializers.ModelSerializer):
     class Meta:
         model = Importador

api/customs/signals/procesamiento.py

@@ -3,7 +3,7 @@ from django.dispatch import receiver
 from django.db import transaction
 from time import sleep
 
-from api.customs.models import Pedimento, ProcesamientoPedimento, Cove, EDocument
+from api.customs.models import EstadoDeProcesamiento, Pedimento, ProcesamientoPedimento, Cove, EDocument
 from api.customs.tasks.internal_services import (
     crear_procesamiento_remesa, 
     crear_procesamiento_partida, 
@@ -20,8 +20,49 @@ from api.customs.tasks.microservice import (
 
 @receiver(post_save, sender=Pedimento)
 def trigger_celery_task_on_create(sender, instance, created, **kwargs):
-    if created:
+ 
-        procesar_pedimento_completo_individual.apply_async(args=[instance.id, instance.organizacion.id])
+    if not created:
+        import logging
+        logger = logging.getLogger('api.customs.async_operations')
+        logger.info("NO es creación de pedimento, no se crea procesamiento.")
+        return
+ 
+    def crear_procesamiento():
+        import logging
+        logger = logging.getLogger('api.customs.async_operations')
+        logger.info(f"Pedimento confirmado en BD: {instance.id}, creando procesamiento...")
+ 
+        try:
+            estado, _ = EstadoDeProcesamiento.objects.get_or_create(
+                    estado='En Espera'
+                    )
+        except Exception:
+            estado = EstadoDeProcesamiento.objects.first()
+ 
+        try:
+            ProcesamientoPedimento.objects.get_or_create(
+                pedimento=instance,
+                organizacion=instance.organizacion,
+                defaults={
+                    'estado': estado,
+                    'servicio_id': 3,
+                    'tipo_procesamiento_id': 2,
+                }
+            )
+        except Exception as e:
+            logger.exception(
+                f"No se pudo crear ProcesamientoPedimento "
+                f"para pedimento {instance.id}: {e}"
+            )
+ 
+        # Disparar la tarea asíncrona existente
+        try:
+            procesar_pedimento_completo_individual.apply_async(args=[instance.id, instance.organizacion.id])
+        except Exception as e:
+            logger.exception(f"Error al encolar procesar_pedimento_completo_individual: {e}")
+ 
+    transaction.on_commit(crear_procesamiento)
+
 
 @receiver(post_save, sender=Pedimento)
 def trigger_celery_task_on_update(sender, instance, created,**kwargs):

api/customs/tasks/__init__.py

@@ -1,2 +1,3 @@
 from .microservice import * 
-from .internal_services import *
+from .internal_services import *
+from .bulk_upload import *

api/customs/tasks/auditoria.py

@@ -1,3 +1,6 @@
+import os
+from datetime import datetime
+from django.db import models
 from celery import shared_task, group
 from api.customs.models import ProcesamientoPedimento, Pedimento, Cove, EDocument
 from core.utils import xml_controller
@@ -198,7 +201,7 @@ def auditar_coves(organizacion_id):
             pedimento, 
             servicio=8, 
             related_name='coves', 
-            variable='acuse_descargado', 
+            variable='cove_descargado', 
             mensaje='COVE'
         )
 
@@ -247,7 +250,7 @@ def auditar_cove_por_pedimento(pedimento_id):
             pedimento,
             servicio=8,
             related_name='coves',
-            variable='acuse_descargado',
+            variable='cove_descargado',
             mensaje='COVE'
         )
         return {'success': True, 'pedimento_id': str(pedimento_id)}
@@ -302,3 +305,154 @@ def auditar_acuse_por_pedimento(pedimento_id):
     except Exception as e:
         return {'success': False, 'error': str(e), 'pedimento_id': str(pedimento_id)}
 
+@shared_task
+def auditar_pedimento_por_id(pedimento_id):
+    """
+    Tarea para auditar un pedimento específico verificando todos sus documentos y datos.
+    """
+    try:
+        pedimento = Pedimento.objects.get(id=pedimento_id)
+        resultado = {
+            'pedimento_id': str(pedimento_id),
+            'pedimento': pedimento.pedimento,
+            'pedimento_app': pedimento.pedimento_app,
+            'organizacion': str(pedimento.organizacion.id),
+            'fecha_auditoria': datetime.now().isoformat(),
+            'estado_general': 'EN_PROGRESO',
+            'detalles': {}
+        }
+        
+        # 1. Verificar documentos XML
+        from api.record.models import Document
+        documentos_xml = Document.objects.filter(
+            pedimento=pedimento,
+            archivo__endswith='.xml'
+        )
+        
+        resultado['detalles']['documentos_xml'] = {
+            'total': documentos_xml.count(),
+            'archivos': []
+        }
+        
+        for doc in documentos_xml:
+            try:
+                xml_info = {
+                    'id': str(doc.id),
+                    'nombre': os.path.basename(doc.archivo.name),
+                    'tamanio': doc.size,
+                    'extension': doc.extension,
+                    'tipo': doc.document_type.descripcion if doc.document_type else 'Desconocido'
+                }
+                
+                # Verificar si el archivo existe físicamente
+                if os.path.exists(doc.archivo.path):
+                    xml_info['existe_fisicamente'] = True
+                    # Intentar leer el XML
+                    try:
+                        with open(doc.archivo.path, 'r', encoding='utf-8') as f:
+                            content = f.read()
+                        xml_info['es_xml_valido'] = '<?xml' in content[:100]
+                        xml_info['tamanio_bytes'] = len(content)
+                    except Exception as e:
+                        xml_info['error_lectura'] = str(e)
+                else:
+                    xml_info['existe_fisicamente'] = False
+                    
+            except Exception as e:
+                xml_info['error'] = str(e)
+                
+            resultado['detalles']['documentos_xml']['archivos'].append(xml_info)
+        
+        # 2. Verificar si hay documentos asociados
+        resultado['detalles']['documentos_totales'] = {
+            'total': pedimento.documents.count(),
+            'por_tipo': {}
+        }
+        
+        for doc_type in pedimento.documents.values('document_type__descripcion').annotate(total=models.Count('id')):
+            tipo = doc_type['document_type__descripcion'] or 'Sin tipo'
+            resultado['detalles']['documentos_totales']['por_tipo'][tipo] = doc_type['total']
+        
+        # 3. Verificar COVEs
+        resultado['detalles']['coves'] = {
+            'total': pedimento.coves.count(),
+            'descargados': pedimento.coves.filter(cove_descargado=True).count(),
+            'con_acuse': pedimento.coves.filter(acuse_cove_descargado=True).count()
+        }
+        
+        # 4. Verificar EDocuments
+        resultado['detalles']['edocuments'] = {
+            'total': pedimento.documentos.count(),
+            'descargados': pedimento.documentos.filter(edocument_descargado=True).count(),
+            'con_acuse': pedimento.documentos.filter(acuse_descargado=True).count()
+        }
+        
+        # 5. Verificar procesamientos
+        resultado['detalles']['procesamientos'] = {
+            'total': pedimento.procesamientos.count(),
+            'por_estado': {}
+        }
+        
+        for proc in pedimento.procesamientos.values('estado__estado').annotate(total=models.Count('id')):
+            estado = proc['estado__estado'] or 'Sin estado'
+            resultado['detalles']['procesamientos']['por_estado'][estado] = proc['total']
+        
+        # 6. Verificar campos importantes del pedimento
+        campos_revisados = {
+            'numero_operacion': bool(pedimento.numero_operacion),
+            'numero_partidas': bool(pedimento.numero_partidas),
+            'importe_total': bool(pedimento.importe_total),
+            'contribuyente': bool(pedimento.contribuyente),
+            'tiene_remesas': pedimento.remesas,
+            'partidas_creadas': pedimento.partidas.count() > 0,
+            'fecha_pago': bool(pedimento.fecha_pago)
+        }
+        
+        resultado['detalles']['campos_pedimento'] = campos_revisados
+        resultado['detalles']['campos_completos'] = sum(campos_revisados.values())
+        resultado['detalles']['campos_totales'] = len(campos_revisados)
+        
+        # 7. Determinar estado general
+        campos_completos = resultado['detalles']['campos_completos']
+        total_campos = resultado['detalles']['campos_totales']
+        
+        if documentos_xml.count() == 0:
+            resultado['estado_general'] = 'SIN_XML'
+            resultado['mensaje'] = 'No se encontraron documentos XML'
+        elif campos_completos == total_campos:
+            resultado['estado_general'] = 'COMPLETO'
+            resultado['mensaje'] = 'Pedimento completamente procesado'
+        elif campos_completos >= total_campos * 0.7:
+            resultado['estado_general'] = 'PARCIAL'
+            resultado['mensaje'] = 'Pedimento parcialmente procesado'
+        else:
+            resultado['estado_general'] = 'INCOMPLETO'
+            resultado['mensaje'] = 'Pedimento con información incompleta'
+        
+        resultado['porcentaje_completitud'] = (campos_completos / total_campos) * 100 if total_campos > 0 else 0
+        
+        # 8. Sugerencias
+        sugerencias = []
+        if not pedimento.numero_operacion:
+            sugerencias.append("Falta el número de operación")
+        if not pedimento.numero_partidas:
+            sugerencias.append("Falta el número de partidas")
+        if pedimento.numero_partidas and pedimento.numero_partidas > pedimento.partidas.count():
+            sugerencias.append(f"Faltan partidas: {pedimento.numero_partidas - pedimento.partidas.count()} de {pedimento.numero_partidas}")
+        if not pedimento.contribuyente:
+            sugerencias.append("Falta el contribuyente asociado")
+        
+        resultado['sugerencias'] = sugerencias
+        
+        return resultado
+        
+    except Pedimento.DoesNotExist:
+        return {
+            'error': f'Pedimento con ID {pedimento_id} no encontrado',
+            'pedimento_id': str(pedimento_id)
+        }
+    except Exception as e:
+        return {
+            'error': f'Error auditar pedimento {pedimento_id}: {str(e)}',
+            'pedimento_id': str(pedimento_id)
+        }

api/customs/tasks/auditoria_xml.py

@@ -0,0 +1,194 @@
+# auditoria_xml.py
+import xml.etree.ElementTree as ET
+from datetime import datetime
+
+def extraer_info_pedimento_xml(xml_content):
+    """
+    Extrae información específica de un XML de pedimento.
+    """
+    try:
+        # Parsear el XML
+        root = ET.fromstring(xml_content)
+        
+        # Buscar el namespace (puede variar)
+        namespaces = {
+            'S': 'http://schemas.xmlsoap.org/soap/envelope/',
+            'ns2': 'http://www.ventanillaunica.gob.mx/pedimentos/ws/oxml/consultarpedimentocompleto',
+            'ns3': 'http://www.ventanillaunica.gob.mx/common/ws/oxml/respuesta'
+        }
+        
+        resultado = {}
+        
+        # Extraer número de operación
+        num_op = root.find('.//ns2:numeroOperacion', namespaces)
+        if num_op is not None and num_op.text:
+            resultado['numero_operacion'] = num_op.text
+        
+        # Extraer información del pedimento
+        pedimento_elem = root.find('.//ns2:pedimento', namespaces)
+        if pedimento_elem is not None:
+            # Número de pedimento
+            ped_num = pedimento_elem.find('ns2:pedimento', namespaces)
+            if ped_num is not None and ped_num.text:
+                resultado['numero_pedimento'] = ped_num.text
+            
+            # Número de partidas
+            partidas = pedimento_elem.find('ns2:partidas', namespaces)
+            if partidas is not None and partidas.text:
+                try:
+                    resultado['numero_partidas'] = int(partidas.text)
+                except (ValueError, TypeError):
+                    pass
+            
+            # Tipo de operación clave
+            tipo_op_clave = pedimento_elem.find('.//ns2:tipoOperacion/ns2:clave', namespaces)
+            if tipo_op_clave is not None and tipo_op_clave.text:
+                if tipo_op_clave.text.strip() == '1':
+
+                    resultado['tipo_operacion'] = 'Importacion'
+                    resultado['tipo_operacion_descripcion'] = 'Indica operacion como Importaciones'
+
+                elif tipo_op_clave.text.strip() == '2':
+                    
+                    resultado['tipo_operacion'] = 'Exportacion'
+                    resultado['tipo_operacion_descripcion'] = 'Indica operacion de exportacion' 
+
+
+             # Clave del documento (clave_pedimento)
+            clave_doc = pedimento_elem.find('.//ns2:claveDocumento/ns2:clave', namespaces)
+            if clave_doc is not None and clave_doc.text:
+                resultado['clave_pedimento'] = clave_doc.text.strip()
+
+            # Aduana (patente)
+            aduana = pedimento_elem.find('.//ns2:aduanaEntradaSalida/ns2:clave', namespaces)
+            if aduana is not None and aduana.text:
+                resultado['aduana_clave'] = aduana.text.strip()
+
+            # Importador/Exportador
+            importador = pedimento_elem.find('.//ns2:importadorExportador', namespaces)
+            if importador is not None:
+                rfc = importador.find('ns2:rfc', namespaces)
+                if rfc is not None and rfc.text:
+                    resultado['contribuyente_rfc'] = rfc.text.strip()
+                
+                razon_social = importador.find('ns2:razonSocial', namespaces)
+                if razon_social is not None and razon_social.text:
+                    resultado['contribuyente_nombre'] = razon_social.text.strip()
+                
+                # Valor en dólares
+                valor_dolares = importador.find('ns2:valorDolares', namespaces)
+                if valor_dolares is not None and valor_dolares.text:
+                    try:
+                        resultado['valor_dolares'] = float(valor_dolares.text)
+                    except (ValueError, TypeError):
+                        pass
+
+                # Aduana de despacho
+                aduana_despacho = importador.find('ns2:aaduanaDespacho/ns2:clave', namespaces)
+                if aduana_despacho is not None and aduana_despacho.text:
+                    resultado['aduana_despacho'] = aduana_despacho.text.strip()
+            
+            # Encabezado del pedimento
+            encabezado = pedimento_elem.find('ns2:encabezado', namespaces)
+            if encabezado is not None:
+                # Aduana
+                aduana = encabezado.find('ns2:aduanaEntradaSalida/ns2:clave', namespaces)
+                if aduana is not None and aduana.text:
+                    resultado['aduana_clave'] = aduana.text.strip()
+                
+                # Tipo de cambio
+                tipo_cambio = encabezado.find('ns2:tipoCambio', namespaces)
+                if tipo_cambio is not None and tipo_cambio.text:
+                    try:
+                        resultado['tipo_cambio'] = float(tipo_cambio.text)
+                    except (ValueError, TypeError):
+                        pass
+                
+                # RFC Agente Aduanal
+                rfc_agente = encabezado.find('ns2:rfcAgenteAduanalSocFactura', namespaces)
+                if rfc_agente is not None and rfc_agente.text:
+                    resultado['rfc_agente_aduanal'] = rfc_agente.text.strip()
+
+                # CURP Apoderado
+                curp_apoderado = encabezado.find('ns2:curpApoderadomandatario', namespaces)
+                if curp_apoderado is not None and curp_apoderado.text:
+                    resultado['curp_apoderado'] = curp_apoderado.text.strip()
+
+                # Valor Aduanal Total
+                valor_aduanal = encabezado.find('ns2:valorAduanalTotal', namespaces)
+                if valor_aduanal is not None and valor_aduanal.text:
+                    try:
+                        resultado['valor_aduanal_total'] = float(valor_aduanal.text)
+                    except (ValueError, TypeError):
+                        pass
+
+                # Valor Comercial Total
+                valor_comercial = encabezado.find('ns2:valorComercialTotal', namespaces)
+                if valor_comercial is not None and valor_comercial.text:
+                    try:
+                        resultado['valor_comercial_total'] = float(valor_comercial.text)
+                    except (ValueError, TypeError):
+                        pass
+                    
+            # Fechas
+            fechas = pedimento_elem.findall('.//ns2:fechas', namespaces)
+            for fecha_elem in fechas:
+                fecha = fecha_elem.find('ns2:fecha', namespaces)
+                clave_fecha = fecha_elem.find('ns2:tipo/ns2:clave', namespaces)
+
+                if fecha is not None and fecha.text and clave_fecha is not None and clave_fecha.text:
+
+                    fecha_texto = fecha.text.strip()
+                    clave_fecha_texto = clave_fecha.text.strip()
+
+                    # Mapeo de claves según especificación
+                    if clave_fecha_texto == '1':  # Entrada
+                        resultado['fecha_entrada'] = fecha_texto
+                    elif clave_fecha_texto == '2':  # Pago
+                        resultado['fecha_pago'] = fecha_texto
+                    elif clave_fecha_texto == '3':  # Extracción
+                        resultado['fecha_extraccion'] = fecha_texto
+                    elif clave_fecha_texto == '5':  # Presentación
+                        resultado['fecha_presentacion'] = fecha_texto
+                    elif clave_fecha_texto == '6':  # Importación
+                        resultado['fecha_importacion'] = fecha_texto
+                    elif clave_fecha_texto == '7':  # Original
+                        resultado['fecha_original'] = fecha_texto
+                    else:
+                        resultado[f'fecha_clave_{clave_fecha_texto}'] = fecha_texto
+
+            # Facturas (para COVEs)
+            facturas = pedimento_elem.findall('.//ns2:facturas', namespaces)
+            coves_encontrados = []
+            for factura in facturas:
+                numero = factura.find('ns2:numero', namespaces)
+                if numero is not None and numero.text:
+                    coves_encontrados.append(numero.text.strip())
+            
+            if coves_encontrados:
+                resultado['coves_en_xml'] = coves_encontrados
+            
+            # E-Documents
+            identificadores = pedimento_elem.findall('.//ns2:identificadores/ns2:identificadores', namespaces)
+            edocs_encontrados = []
+            for ident in identificadores:
+                clave = ident.find('claveIdentificador/descripcion', namespaces)
+                complemento = ident.find('complemento1', namespaces)
+                if clave is not None and clave.text and 'E_DOCUMENT' in clave.text:
+                    if complemento is not None and complemento.text:
+                        edocs_encontrados.append(complemento.text.strip())
+            
+            if edocs_encontrados:
+                resultado['edocuments_en_xml'] = edocs_encontrados
+        
+        # Verificar si hay error en la respuesta
+        tiene_error = root.find('.//ns3:tieneError', namespaces)
+        if tiene_error is not None:
+            resultado['tiene_error'] = tiene_error.text.lower() == 'true'
+        
+        return resultado
+        
+    except ET.ParseError as e:
+        return {'error_parse': str(e)}
+    except Exception as e:
+        return {'error': str(e)}

api/customs/tasks/bulk_upload.py

@@ -0,0 +1,711 @@
+from celery import shared_task
+from django.core.files.base import ContentFile
+from django.utils import timezone
+import os
+import zipfile
+import tempfile
+import shutil
+import logging
+import re
+import uuid
+from datetime import datetime
+
+logger = logging.getLogger(__name__)
+
+
+def normalize_filename(filename):
+    """
+    Normaliza el nombre del archivo removiendo caracteres especiales,
+    espacios y asegurando consistencia.
+    """
+    from unicodedata import normalize
+    filename = normalize('NFKD', filename).encode('ASCII', 'ignore').decode('ASCII')
+    filename = re.sub(r'[^\w\s.-]', '_', filename)
+    filename = re.sub(r'[\s()]+', '_', filename)
+    filename = re.sub(r'_+', '_', filename)
+    filename = filename.strip('_')
+    return filename
+
+
+def get_clean_base_filename(filename):
+    """
+    Obtiene el nombre base limpio sin el sufijo de Django.
+    """
+    normalized = normalize_filename(filename)
+    name_without_ext, ext = os.path.splitext(normalized)
+    
+    django_suffix = extract_django_suffix(name_without_ext)
+    if django_suffix:
+        base_name = name_without_ext[:-8]
+    else:
+        base_name = name_without_ext
+    
+    base_name = re.sub(r'(_copy|_copia|_-_copia|_-_copy)(_\d+)?$', '', base_name)
+    
+    return base_name.lower().strip('_')
+
+
+def extract_django_suffix(filename):
+    """
+    Extrae el sufijo único que Django añade a los archivos.
+    """
+    name_without_ext = os.path.splitext(filename)[0]
+    match = re.search(r'_([a-zA-Z0-9]{7})$', name_without_ext)
+    if match:
+        return match.group(1)
+    return None
+
+
+def is_same_document(existing_doc, new_filename):
+    """
+    Compara si un documento existente y un nuevo archivo son el mismo documento.
+    """
+    existing_basename = os.path.basename(existing_doc.archivo.name)
+    existing_base = get_clean_base_filename(existing_basename)
+    
+    new_base = get_clean_base_filename(new_filename)
+    
+    existing_ext = existing_doc.extension.lower()
+    new_ext = os.path.splitext(new_filename)[1].lower().lstrip('.')
+    
+    return existing_base == new_base and existing_ext == new_ext
+
+
+def procesar_archivo_m_con_nomenclatura(content, pedimento_instance):
+    """
+    Procesa archivos con nomenclatura M8988852.300 (7 dígitos, punto, 3 dígitos)
+    y extrae información de registros específicos para actualizar el pedimento.
+    
+    Args:
+        content: bytes del contenido del archivo
+        pedimento_instance: instancia del modelo Pedimento
+    
+    Returns:
+        dict: Diccionario con información extraída
+    """
+    try:
+        content_text = content.decode('utf-8', errors='ignore')
+        
+        registros = {}
+        
+        for line in content_text.splitlines():
+            line = line.strip()
+            if not line:
+                continue
+            
+            parts = line.split('|')
+            if len(parts) < 2:
+                continue
+            
+            tipo_registro = parts[0]
+            
+            if tipo_registro not in registros:
+                registros[tipo_registro] = []
+            registros[tipo_registro].append(parts)
+        
+        info_extraida = {
+            'tiene_nomenclatura_especial': False,
+            'registros_encontrados': list(registros.keys()),
+            'detalles_registro_500': [],
+            'detalles_registro_506': [],
+            'detalles_registro_501': [],
+            'detalles_registro_551': [],
+            'detalles_registro_800': [],
+            'detalles_registro_801': [],
+            'actualizaciones_aplicadas': []
+        }
+        
+        if '500' in registros:
+            info_extraida['tiene_nomenclatura_especial'] = True
+            
+            for reg_500 in registros['500']:
+                if len(reg_500) >= 1:
+                    info_extraida['detalles_registro_500'].append({
+                        'tipo_movimiento': reg_500[1] if len(reg_500) > 1 else None,
+                        'patente': reg_500[2] if len(reg_500) > 1 else None,
+                        'numero_pedimento': reg_500[3] if len(reg_500) > 1 else None,
+                        'aduana_seccion': reg_500[4] if len(reg_500) > 1 else None,
+                        'acuse_electronico': reg_500[5] if len(reg_500) > 1 else None,
+                    })
+            
+            for reg_506 in registros.get('506', []):
+                if len(reg_506) >= 1:
+                    info_extraida['detalles_registro_506'].append({
+                        'numero_pedimento': reg_506[1] if len(reg_506) > 1 else None,
+                        'tipo_fecha': reg_506[2] if len(reg_506) > 1 else None,
+                        'fecha': reg_506[3] if len(reg_506) > 1 else None
+                    })
+            
+            for reg_501 in registros.get('501', []):
+                if len(reg_501) >= 1:
+                    info_extraida['detalles_registro_501'].append({
+                        'patente': reg_501[1] if len(reg_501) > 1 else None,
+                        'numero_pedimento': reg_501[2] if len(reg_501) > 1 else None,
+                        'aduana_seccion': reg_501[3] if len(reg_501) > 1 else None,
+                        'rfc': reg_501[8] if len(reg_501) > 1 else None,
+                        'curp': reg_501[9] if len(reg_501) > 1 else None
+                    })
+            
+            for reg_551 in registros.get('551', []):
+                if len(reg_551) >= 1:
+                    info_extraida['detalles_registro_551'].append({
+                        'numero_pedimento': reg_501[1] if len(reg_501) > 1 else None,
+                        'fraccion_arancelaria': reg_551[2] if len(reg_551) > 1 else None,
+                        'partida': reg_551[3] if len(reg_551) > 1 else None,
+                        'subfraccion': reg_551[4] if len(reg_551) > 1 else None
+                    })
+            
+            for reg_801 in registros.get('800', []):
+                if len(reg_801) >= 1:
+                    info_extraida['detalles_registro_800'].append({
+                        'numero_pedimento': reg_801[1] if len(reg_801) > 1 else None
+                    })
+
+            for reg_801 in registros.get('801', []):
+                if len(reg_801) >= 1:
+                    info_extraida['detalles_registro_801'].append({
+                        'total_partidas': reg_801[1] if len(reg_801) > 1 else None
+                    })
+            
+            actualizaciones = actualizar_pedimento_con_registros(pedimento_instance, registros)
+            info_extraida['actualizaciones_aplicadas'] = actualizaciones
+        
+        return info_extraida
+        
+    except Exception as e:
+        logger.error(f"Error al procesar archivo con nomenclatura especial: {str(e)}")
+        return {
+            'tiene_nomenclatura_especial': False,
+            'error': str(e),
+            'registros_encontrados': []
+        }
+
+
+def actualizar_pedimento_con_registros(pedimento_instance, registros):
+    """
+    Actualiza el pedimento con información extraída de los registros.
+    
+    Args:
+        pedimento_instance: Instancia del pedimento a actualizar
+        registros: Diccionario con registros parseados
+    
+    Returns:
+        list: Lista de actualizaciones aplicadas
+    """
+    actualizaciones = []
+    
+    try:
+        if '500' in registros and registros['500']:
+            for reg_500 in registros['500']:
+                if len(reg_500) >= 1:
+                    if pedimento_instance.pedimento == reg_500[3]:
+                        try:
+                            pedimento_instance.aduana = reg_500[4]
+                            actualizaciones.append(f"aduana actualizada a {reg_500[4]}")
+                        except ValueError:
+                            pass
+        
+        if '501' in registros and registros['501']:
+            for reg_501 in registros['501']:
+                if len(reg_501) >= 1:
+                    rfc = reg_501[8] if len(reg_501) > 1 else None
+                    
+                    if rfc and not pedimento_instance.contribuyente and pedimento_instance.pedimento == reg_501[2]:
+                        try:
+                            from api.customs.models import Importador
+                            importador, created = Importador.objects.get_or_create(
+                                rfc=rfc,
+                                defaults={
+                                    'nombre': f"Importador {rfc}",
+                                    'organizacion': pedimento_instance.organizacion
+                                }
+                            )
+                            pedimento_instance.contribuyente = importador
+                            if created:
+                                actualizaciones.append(f"importador creado con RFC {rfc}")
+                            else:
+                                actualizaciones.append(f"importador asociado con RFC {rfc}")
+                        except Exception as e:
+                            logger.error(f"Error al crear/obtener importador: {str(e)}")
+        
+        if '501' in registros and registros['501']:
+            for reg_501 in registros['501']:
+                if len(reg_501) >= 1:
+                    curp = reg_501[9] if len(reg_501) > 1 else None
+                    if curp and not pedimento_instance.curp_apoderado and pedimento_instance.pedimento == reg_501[2]:
+                        pedimento_instance.curp_apoderado = curp
+                        actualizaciones.append(f"curp_apoderado actualizado a {curp}")
+
+        if '501' in registros and registros['501']:
+            for reg_501 in registros['501']:
+                if len(reg_501) >= 1:
+                    tipo_operacion = reg_501[4] if len(reg_501) > 1 else None
+                    if tipo_operacion and pedimento_instance.pedimento == reg_501[2]:
+
+                        if tipo_operacion=='1':
+                            nombre_tipo_op = "Importacion"
+                        elif tipo_operacion=='2':
+                            nombre_tipo_op = "Exportacion"
+                        else:
+                            nombre_tipo_op = f"Tipo {tipo_operacion}"
+
+                        try:
+                            from api.customs.models import TipoOperacion
+                            tipo_op_obj, created = TipoOperacion.objects.get_or_create(
+                                id=tipo_operacion,
+                                tipo=nombre_tipo_op,
+                                defaults={'descripcion': f"Tipo de Operación {tipo_operacion}"}
+                            )
+                            pedimento_instance.tipo_operacion = tipo_op_obj
+                            if created:
+                                actualizaciones.append(f"tipo_operacion creado con tipo {tipo_operacion}")
+                            else:
+                                actualizaciones.append(f"tipo_operacion asociado con tipo {tipo_operacion}")
+                        except Exception as e:
+                            logger.error(f"Error al crear/obtener tipo de operación: {str(e)}")
+        
+        if '501' in registros and registros['501']:
+            for reg_501 in registros['501']:
+                if len(reg_501) >= 1:
+                    clave = reg_501[5] if len(reg_501) > 1 else None
+                    if clave and pedimento_instance.pedimento == reg_501[2]:
+                        pedimento_instance.clave_pedimento = clave
+                        actualizaciones.append(f"clave pedimento actualizada a {clave}")
+
+        if '506' in registros and registros['506']:
+            for reg_506 in registros['506']:
+
+                if not pedimento_instance.pedimento == reg_506[1]:
+                    continue
+
+                if len(reg_506) >= 1:
+                    tipo_fecha = reg_506[2] if len(reg_506) > 1 else None
+                    fecha_str = reg_506[3] if len(reg_506) > 1 else None
+                    
+                    if not tipo_fecha == '2':
+                        continue
+
+                    if fecha_str:
+                        try:
+                            if len(fecha_str) == 8:
+                                fecha = datetime.strptime(fecha_str, '%d%m%Y').date()
+                            elif len(fecha_str) == 6:
+                                fecha = datetime.strptime(fecha_str, '%d%m%y').date()
+                            else:
+                                continue
+                            
+                            pedimento_instance.fecha_pago = fecha
+                            actualizaciones.append(f"fecha_pago actualizada a {fecha}")
+                        except (ValueError, TypeError):
+                            pass
+                        
+        num_partidas = 0
+        if '551' in registros and registros['551']:
+            for reg_551 in registros['551']:
+                if not pedimento_instance.pedimento == reg_551[1]:
+                    continue
+
+                num_partidas += 1 
+                pedimento_instance.numero_partidas = num_partidas
+                actualizaciones.append(f"numero_partidas actualizado a {num_partidas}")
+                
+        
+        if actualizaciones:
+            pedimento_instance.save()
+            
+    except Exception as e:
+        logger.error(f"Error al actualizar pedimento con registros: {str(e)}")
+        actualizaciones.append(f"error: {str(e)}")
+    
+    return actualizaciones
+
+
+@shared_task(bind=True, max_retries=3, time_limit=600)
+def bulk_upload_record_task(self, organizacion_id, parametros, archivo_paths):
+    """
+    Procesa archivos ZIP de pedimentos en segundo plano.
+    
+    Args:
+        organizacion_id: UUID de la organización
+        parametros: dict con keys:
+            - contribuyente
+            - fecha_pago_input
+            - clave_pedimento_input
+            - patente_input
+            - tipo_operacion_input
+            - aduana_input
+            - curp_apoderado_input
+            - partidas_input
+        archivo_paths: lista de rutas temporales de archivos ZIP
+    """
+    from api.organization.models import Organizacion
+    from api.customs.models import Pedimento, Importador, TipoOperacion
+    from api.record.models import Document, DocumentType, Fuente
+    
+    created_pedimentos = []
+    updated_pedimentos = []
+    failed_records = []
+    documents_created = 0
+    temp_dir = None
+    
+    try:
+        organizacion = Organizacion.objects.get(id=organizacion_id)
+        
+        # Extraer parámetros
+        contribuyente = parametros.get('contribuyente', None)
+        fecha_pago_input = parametros.get('fecha_pago_input', None)
+        clave_pedimento_input = parametros.get('clave_pedimento_input', None)
+        patente_input = parametros.get('patente_input', None)
+        tipo_operacion_input = parametros.get('tipo_operacion_input', None)
+        aduana_input = parametros.get('aduana_input', None)
+        curp_apoderado_input = parametros.get('curp_apoderado_input', None)
+        partidas_input = parametros.get('partidas_input', None)
+        
+        # Regex patterns
+        nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
+        nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
+        
+        # Obtener DocumentType
+        try:
+            document_type = DocumentType.objects.get(nombre="Pedimento")
+        except DocumentType.DoesNotExist:
+            document_type = DocumentType.objects.create(
+                nombre="Pedimento",
+                descripcion="Documento de pedimento"
+            )
+        
+        # Fuente
+        fuente, _ = Fuente.objects.get_or_create(
+            nombre="APP-EFC",
+            descripcion='Transmitido por la app de escritorio'
+        )
+        
+        # Usar el directorio donde están los archivos (ya guardado en MEDIA_ROOT)
+        # El directorio base es el padre del primer archivo
+        if archivo_paths:
+            temp_dir = os.path.dirname(archivo_paths[0])
+        else:
+            temp_dir = tempfile.mkdtemp()
+        
+        # Patrón para nomenclatura especial M8988852.300
+        patron_nomenclatura = re.compile(r'^[m|M]\d{7}\.\d{3}$', re.IGNORECASE)
+        
+        existing_pedimento = None
+        
+        for archivo_path in archivo_paths:
+            archivo_name = os.path.basename(archivo_path).lower()
+            archivo_name_sin_extension = os.path.splitext(os.path.basename(archivo_path))[0]
+            
+            sub_dir = os.path.join(temp_dir, archivo_name_sin_extension)
+            os.makedirs(sub_dir, exist_ok=True)
+            
+            print(f"Procesando archivo: {archivo_name} en ruta temporal: {archivo_path}")
+
+            if archivo_name.endswith('.zip'):
+                try:
+                    with zipfile.ZipFile(archivo_path, 'r') as zip_ref:
+                        zip_ref.extractall(sub_dir)
+                        os.remove(archivo_path)  # Eliminar el archivo ZIP después de extraerlo
+                except zipfile.BadZipFile as e:
+                    failed_records.append({
+                        "file": archivo_path,
+                        "archivo_original": archivo_name,
+                        "error": f"Archivo ZIP corrupto o inválido: {str(e)}"
+                    })
+                    continue
+                except Exception as e:
+                    failed_records.append({
+                        "file": archivo_path,
+                        "archivo_original": archivo_name,
+                        "error": f"Error al extraer ZIP: {str(e)}"
+                    })
+                    continue
+            else:
+                failed_records.append({
+                    "file": archivo_path,
+                    "archivo_original": archivo_name,
+                    "error": "Solo se admiten archivos ZIP"
+                })
+                continue
+            
+            # Procesar archivos extraídos
+            for root, dirs, files in os.walk(temp_dir):
+                for file_name in files:
+                    file_path = os.path.join(root, file_name)
+                    relative_path = os.path.relpath(file_path, temp_dir)
+                    
+                    # Determinar folder_name
+                    folder_name = None
+                    if os.path.dirname(relative_path):
+                        folder_parts = relative_path.split(os.sep)
+                        folder_name = folder_parts[0]
+                    else:
+                        folder_name = os.path.splitext(file_name)[0]
+                    
+                    # Validar nomenclatura
+                    match = nomenclatura_pattern.match(folder_name)
+                    match_sin_anio = nomenclatura_pattern_sin_anio.match(folder_name)
+                    
+                    if not match and not match_sin_anio:
+                        archivo_original = folder_name + '.zip'
+                        failed_records.append({
+                            "file": relative_path,
+                            "archivo_original": archivo_original,
+                            "error": f"Nomenclatura inválida: {folder_name}. Esperado: anio-aduana-patente-pedimento"
+                        })
+                        continue
+                    
+                    if match:
+                        anio, aduana, patente, pedimento_num = match.groups()
+                        try:
+                            anio_completo = 2000 + int(anio) if int(anio) < 50 else 1900 + int(anio)
+                            fecha_pago = datetime(anio_completo, 1, 1).date()
+                        except ValueError:
+                            failed_records.append({
+                                "file": relative_path,
+                                "archivo_original": folder_name + '.zip',
+                                "error": f"Año inválido: {anio}"
+                            })
+                            continue
+                    
+                    elif match_sin_anio:
+                        aduana, patente, pedimento_num = match_sin_anio.groups()
+                        
+                        primer_digito_pedimento = int(pedimento_num[0]) if pedimento_num else 0
+                        año_actual = datetime.now().year
+                        año_con_digito = int(str(año_actual)[:-1] + str(primer_digito_pedimento))
+                        
+                        if año_con_digito <= año_actual:
+                            año_final = año_con_digito
+                        else:
+                            año_final = año_con_digito - 10
+                        
+                        anio = año_final % 100
+                        fecha_pago = datetime(año_final, 1, 1).date()
+                    
+                    # Generar pedimento_app
+                    pedimento_app = f"{anio}-{aduana.zfill(2)}-{patente}-{pedimento_num}"
+                    
+                    # Verificar si el pedimento ya existe
+                    existing_pedimento = Pedimento.objects.filter(
+                        pedimento_app=pedimento_app,
+                        organizacion=organizacion
+                    ).first()
+                    
+                    if not existing_pedimento:
+                        # Crear nuevo pedimento
+                        try:
+                            importador = None
+                            if contribuyente:
+                                importador, created = Importador.objects.get_or_create(
+                                    rfc=contribuyente,
+                                    defaults={
+                                        'nombre': f"Importador {contribuyente}",
+                                        'organizacion': organizacion
+                                    }
+                                )
+                            
+                            tipo_op = None
+                            if tipo_operacion_input:
+                                tipo_op = TipoOperacion.objects.get(id=tipo_operacion_input)
+                            
+                            pedimento = Pedimento.objects.create(
+                                organizacion=organizacion,
+                                contribuyente=importador if importador else None,
+                                pedimento=str(pedimento_num),
+                                aduana=str(aduana),
+                                patente=str(patente),
+                                fecha_pago=fecha_pago_input if fecha_pago_input else fecha_pago,
+                                curp_apoderado=curp_apoderado_input if curp_apoderado_input else "",
+                                numero_partidas=partidas_input if partidas_input else 0,
+                                tipo_operacion=tipo_op if tipo_op else None,
+                                pedimento_app=pedimento_app,
+                                agente_aduanal=f"Agente {patente}",
+                                clave_pedimento=clave_pedimento_input if clave_pedimento_input else "A1"
+                            )
+                            
+                            existing_pedimento = pedimento
+
+                            created_pedimentos.append({
+                                "id": str(pedimento.id),
+                                "pedimento_app": pedimento_app,
+                                "contribuyente": getattr(importador, 'rfc', None),
+                                "contribuyente_nombre": getattr(importador, 'nombre', None)
+                            })
+                            
+                        except Exception as e:
+                            failed_records.append({
+                                "file": relative_path,
+                                "archivo_original": folder_name + '.zip',
+                                "error": f"Error al crear pedimento: {str(e)}"
+                            })
+                            continue
+                    else:
+                        # Actualizar pedimento existente
+                        if contribuyente:
+                            importador, created = Importador.objects.get_or_create(
+                                rfc=contribuyente,
+                                defaults={
+                                    'nombre': f"Importador {contribuyente}",
+                                    'organizacion': organizacion
+                                }
+                            )
+                            
+                            importador_db = existing_pedimento.contribuyente
+                            if importador_db:
+                                if importador_db != importador:
+                                    existing_pedimento.contribuyente = importador
+                            else:
+                                existing_pedimento.contribuyente = importador
+                            
+                            existing_pedimento.save()
+                        
+                        # Actualizar Tipo Operacion
+                        if tipo_operacion_input:
+                            tipo_op = TipoOperacion.objects.get(id=tipo_operacion_input)
+                            if tipo_op and not existing_pedimento.tipo_operacion:
+                                existing_pedimento.tipo_operacion = tipo_op
+                                existing_pedimento.save()
+                        
+                        # Actualizar fecha de pago
+                        if fecha_pago_input:
+                            fecha_db = existing_pedimento.fecha_pago
+                            if fecha_db:
+                                if isinstance(fecha_db, datetime):
+                                    fecha_db = fecha_db.date()
+                                if fecha_db.month == 1 and fecha_db.day == 1:
+                                    existing_pedimento.fecha_pago = fecha_pago_input
+                                    existing_pedimento.save()
+                            else:
+                                existing_pedimento.fecha_pago = fecha_pago_input
+                                existing_pedimento.save()
+                        
+                        # Actualizar clave_pedimento
+                        if clave_pedimento_input:
+                            clave_pedimento = existing_pedimento.clave_pedimento
+                            if not clave_pedimento or clave_pedimento.strip() != clave_pedimento_input.strip():
+                                existing_pedimento.clave_pedimento = clave_pedimento_input
+                                existing_pedimento.save()
+                        
+                        # Actualizar curp_apoderado
+                        if curp_apoderado_input:
+                            if not existing_pedimento.curp_apoderado:
+                                existing_pedimento.curp_apoderado = curp_apoderado_input
+                                existing_pedimento.save()
+                        
+                        # Actualizar partidas
+                        if partidas_input:
+                            num_partidas = existing_pedimento.numero_partidas
+                            if not num_partidas or num_partidas <= 0:
+                                existing_pedimento.numero_partidas = partidas_input
+                                existing_pedimento.save()
+                                            
+                    # Crear documento asociado al pedimento
+                    try:
+                        with open(file_path, 'rb') as f:
+                            file_content = f.read()
+                        
+                        file_name_lower = file_name.lower()
+                        tiene_nomenclatura_especial = False
+                        info_extraida = {}
+                        
+                        nombre_base, extension = os.path.splitext(file_name)
+                        
+                        if patron_nomenclatura.match(file_name_lower):
+                            tiene_nomenclatura_especial = True
+                            info_extraida = procesar_archivo_m_con_nomenclatura(file_content, existing_pedimento)
+                        
+                        django_file = ContentFile(file_content, name=file_name)
+                        
+                        # Buscar documento existente
+                        existing_documents = Document.objects.filter(
+                            pedimento_id=existing_pedimento.id,
+                            organizacion=organizacion
+                        )
+                        
+                        existing_document = None
+                        for doc in existing_documents:
+                            if is_same_document(doc, file_name):
+                                existing_document = doc
+                                break
+                        
+                        if existing_document:
+                            # Actualizar documento existente
+                            # try:
+                            #     if existing_document.archivo and os.path.exists(existing_document.archivo.path):
+                            #         os.remove(existing_document.archivo.path)
+                            # except (ValueError, OSError):
+                            #     pass
+                            
+                            # existing_document.archivo = django_file
+                            # existing_document.size = len(file_content)
+                            # existing_document.extension = extension
+                            # existing_document.updated_at = timezone.now()
+                            # existing_document.save()
+
+                            # doc = Document.objects.get(id=existing_document.id)
+                            # doc.archivo.delete(save=False)  # Eliminar el archivo anterior
+                            # doc.delete()  # Eliminar el registro para crear uno nuevo (evita problemas con archivos en Django)
+
+                            updated_pedimentos.append({
+                                "id": str(existing_pedimento.id),
+                                "pedimento_app": existing_pedimento.pedimento_app,
+                                "accion": "Documento actualizado",
+                                "documento": file_name
+                            })
+
+                            documents_created += 1
+                        else:
+                            # Crear nuevo documento
+                            document = Document.objects.create(
+                                organizacion=organizacion,
+                                pedimento_id=existing_pedimento.id,
+                                document_type=document_type,
+                                fuente_id=fuente.id,
+                                archivo=django_file,
+                                size=len(file_content),
+                                extension=os.path.splitext(file_name)[1].lower().lstrip('.')
+                            )
+
+                            updated_pedimentos.append({
+                                "id": str(existing_pedimento.id),
+                                "pedimento_app": existing_pedimento.pedimento_app,
+                                "accion": "Documento creado",
+                                "documento": file_name
+                            })
+
+                            documents_created += 1
+                        
+                    except Exception as e:
+                        failed_records.append({
+                            "file": relative_path,
+                            "archivo_original": folder_name + '.zip',
+                            "error": f"Error al crear documento: {str(e)}"
+                        })
+                        continue
+        
+        # Actualizar estado de expediente
+        if documents_created > 0 and existing_pedimento:
+            existing_pedimento.existe_expediente = True
+            existing_pedimento.save()
+        
+        return {
+            'status': 'completed',
+            'created_pedimentos': created_pedimentos,
+            'updated_pedimentos': updated_pedimentos,
+            'failed_records': failed_records,
+            'documents_created': documents_created,
+            'tieneError': len(failed_records) > 0
+        }
+        
+    except Exception as e:
+        logger.error(f"Error en bulk_upload_record_task: {str(e)}")
+        raise self.retry(exc=e, countdown=60)
+    
+    finally:
+        # Limpiar directorio temporal
+        if temp_dir and os.path.exists(temp_dir):
+            try:
+                shutil.rmtree(temp_dir)
+            except Exception as e:
+                logger.warning(f"Error al limpiar directorio temporal: {e}")

api/customs/tasks/microservice.py

@@ -11,6 +11,9 @@ from datetime import datetime
 # ===================
 @shared_task
 def procesar_pedimento_completo_individual(pedimento_id, organizacion_id):
+    import logging
+    logger = logging.getLogger('api.customs.async_operations')
+    logger.info(f"Pedimento a monitorear: {pedimento_id}, org:: {organizacion_id}, verificando servicios a crear...")
     response = requests.post(
         f"{SERVICE_API_URL}/async/services/pedimento_completo",
         json={"pedimento": str(pedimento_id), "organizacion": str(organizacion_id)}

api/customs/tasks/microservice_v2.py

@@ -12,13 +12,28 @@ import json
 def credenciales_to_dict(credenciales):
     if not credenciales:
         return {}
+    
+    key_value = None
+    if credenciales.key:
+        if hasattr(credenciales.key, 'url'):
+            key_value = credenciales.key.url
+        else:
+            key_value = str(credenciales.key)
+    
+    cer_value = None
+    if credenciales.cer:
+        if hasattr(credenciales.cer, 'url'):
+            cer_value = credenciales.cer.url
+        else:
+            cer_value = str(credenciales.cer)
+    
     return {
         "id": str(credenciales.id),
         "user": credenciales.usuario,
         "password": credenciales.password,
         "efirma": credenciales.efirma,
-        "key": credenciales.key.url if credenciales.key else None,
+        "key": key_value,
-        "cer": credenciales.cer.url if credenciales.cer else None,
+        "cer": cer_value,
         "is_active": credenciales.is_active,
         "organizacion": str(credenciales.organizacion.id) if credenciales.organizacion else None,
     }
@@ -217,22 +232,41 @@ def procesar_pedimentos_completos(organizacion_id):
     pedimentos = Pedimento.objects.filter(organizacion_id=organizacion_id)
     respuestas = []
     for pedimento in pedimentos:
+
+        if not pedimento.contribuyente:
+            print(f"Pedimento {pedimento.pedimento} no tiene contribuyente")
+            continue
+        
+        credencial_importador = CredencialesImportador.objects.filter(
+            rfc=pedimento.contribuyente
+            ).first()
+        
+        if not credencial_importador:
+            print(f"No credencial para RFC {pedimento.contribuyente.rfc}")
+            continue
+
         if not pedimento.documents.filter(document_type=2).exists():  # Tipo 2: Pedimento Completo
             # Convertir el pedimento a JSON usando el serializer
             pedimento_dict = pedimento_to_dict(pedimento)
-            credenciales = Vucem.objects.filter(id=CredencialesImportador.objects.filter(rfc=pedimento.contribuyente).first().vucem.id).first()
+            # credenciales = Vucem.objects.filter(id=CredencialesImportador.objects.filter(rfc=pedimento.contribuyente).first().vucem.id).first()
+            credenciales = Vucem.objects.filter(id=credencial_importador.vucem.id).first()
+
+            if not credenciales:
+                print(f"No se encontraron credenciales para el pedimento {pedimento.pedimento_app}")
+                continue
 
             credenciales_dict = credenciales_to_dict(credenciales)
-            
             payload = {
                 "pedimento": pedimento_dict,
                 "credencial": credenciales_dict
             }
-            
+
-            
+            url = f"{SERVICE_API_URL_V2}/services/pedimento_completo"
+            dataJson = json.dumps(payload)
+
             response = requests.post(
-                f"{SERVICE_API_URL_V2}/services/pedimento_completo", 
+                url, 
-                data=json.dumps(payload),
+                data=dataJson,
                 headers={"Content-Type": "application/json"}
             )
             # Aquí puedes continuar con el resto de tu lógica
@@ -427,6 +461,67 @@ def documentos_con_errores(organizacion_id):
             print(f"Documento con error: {doc.id} en organización {organizacion_id}")
             # Aquí puedes agregar lógica adicional para manejar documentos con errores
             # como enviar notificaciones, registrar en un log, etc.
-#    documentos = Document.objects.all() --- IGNORE ---
+            
+@shared_task
+def procesar_procesamiento_pedimento(organizacion_id):
+    # print("Creando procesamientos de pedimentos para organización:", organizacion_id)
+
+    pedimentos = Pedimento.objects.filter(organizacion_id=organizacion_id)
+    # pedimentos = Pedimento.objects.filter(id='1c061182-ac68-45b0-b3d7-35bf2264982b')
+    if not pedimentos.exists():
+        print("No se encontraron pedimentos para la organización:", organizacion_id)
+        return
+    for pedimento in pedimentos:
+        if not pedimento.documents.filter(document_type=2).exists():  # Tipo 2: Pedimento Completo
+            
+            procesamiento_pedimento = ProcesamientoPedimento.objects.filter(
+                    pedimento_id=pedimento.id,
+                    servicio_id=3,  # servicio 3: Pedimento Completo
+                )
+            
+            if not procesamiento_pedimento.exists():
+                ProcesamientoPedimento.objects.create(
+                    pedimento_id=pedimento.id
+                    , organizacion_id=pedimento.organizacion_id
+                    , estado_id =1
+                    , servicio_id=3
+                    , tipo_procesamiento_id=2)  # servicio 3: Pedimento Completo
+                
+               # print("Procesamiento creado para pedimento:", pedimento.pedimento_app)
+        
+    procesar_pedimentos_completos.delay(organizacion_id)
+
+def ejecutar_por_organizacion_y_procesamiento(organizacion_id, procesamiento):
+    if procesamiento == 'coves':
+        procesar_coves.delay(organizacion_id)
+    elif procesamiento == 'edocs':
+        procesar_edocs.delay(organizacion_id)
+    elif procesamiento == 'acuses':
+        procesar_acuses.delay(organizacion_id)
+    elif procesamiento == 'acuse_coves':
+        procesar_acuse_coves.delay(organizacion_id)
+    elif procesamiento == 'partidas':
+        procesar_partidas.delay(organizacion_id)
+    elif procesamiento == 'pedimentos_completos':
+        procesar_pedimentos_completos.delay(organizacion_id)
+    elif procesamiento == 'remesas':
+        procesar_remesas.delay(organizacion_id)
+    elif procesamiento == 'procesamiento_pedimento':
+        procesar_procesamiento_pedimento.delay(organizacion_id)
+    else:
+        # Procesamiento no reconocido
+        # print(f"Procesamiento no reconocido: {procesamiento}")
+        pass
+
+def ejecutar_todos_por_organizacion(organizacion_id):
+    procesar_coves.delay(organizacion_id)
+    procesar_edocs.delay(organizacion_id)
+    procesar_acuses.delay(organizacion_id)
+    procesar_acuse_coves.delay(organizacion_id)
+    procesar_partidas.delay(organizacion_id)
+    procesar_pedimentos_completos.delay(organizacion_id)
+    procesar_remesas.delay(organizacion_id)
+
+
 
 

api/customs/urls.py

@@ -10,7 +10,8 @@ from .views import (
     ViewSetEDocument,
     ViewSetCove,
     ImportadorViewSet, 
-    PartidaViewSet
+    PartidaViewSet,
+    EjecutarComandoView
 )
 # from .views import YourViewSet  # Import your viewsets here
 
@@ -42,7 +43,24 @@ from .views_auditor import (
     auditar_acuse_cove_pedimento_endpoint,
     auditar_edocument_pedimento_endpoint,
     auditar_acuse_pedimento_endpoint,
-    auditor_procesar_pedimentos_organizacion
+    auditar_procesamiento_remesa_pedimento_endpoint,
+    auditor_procesar_pedimentos_organizacion,
+    auditar_peticion_respuesta_pedimento_completo,
+    auditor_obtener_peticion_pedimento_vu,
+    auditor_obtener_respuesta_pedimento_vu,
+    auditor_obtener_peticion_remesa_vu,
+    auditor_obtener_respuesta_remesa_vu,
+    auditor_obtener_peticion_partidas_vu,
+    auditor_obtener_respuesta_partidas_vu,
+    auditor_obtener_peticion_acuse_vu,
+    auditor_obtener_respuesta_acuse_vu,
+    auditor_obtener_peticion_cove_vu,
+    auditor_obtener_respuesta_cove_vu,
+    auditor_obtener_peticion_acuse_cove_vu,
+    auditor_obtener_respuesta_acuse_cove_vu,
+    auditor_obtener_peticion_edocument_vu,
+    auditor_obtener_respuesta_edocument_vu,
+    auditar_pedimento_endpoint,
 )
 
 urlpatterns = [
@@ -58,5 +76,27 @@ urlpatterns = [
     path('auditor/auditar-acuse-cove/pedimento/', auditar_acuse_cove_pedimento_endpoint, name='auditar-acuse-cove-pedimento'),
     path('auditor/auditar-edocument/pedimento/', auditar_edocument_pedimento_endpoint, name='auditar-edocument-pedimento'),
     path('auditor/auditar-acuse/pedimento/', auditar_acuse_pedimento_endpoint, name='auditar-acuse-pedimento'),
+    path('auditor/auditar-remesa/pedimento/', auditar_procesamiento_remesa_pedimento_endpoint, name='auditar-remesa-pedimento'),
+    path('auditor/auditar-pedimento/', auditar_pedimento_endpoint, name='auditar-pedimento'),
+
     path('auditor/procesar-pedimentos/organizaciones/', auditor_procesar_pedimentos_organizacion, name='procesar-pedimentos-organizaciones'),
+    path('auditor/peticion-respuesta/pedimento-vu/', auditar_peticion_respuesta_pedimento_completo, name='peticion-respuesta-pedimento-vu'),
+
+    path('auditor/obtener-peticion/pedimento-vu/', auditor_obtener_peticion_pedimento_vu, name='obtener-peticion-pedimento-vu'),
+    path('auditor/obtener-respuesta/pedimento-vu/', auditor_obtener_respuesta_pedimento_vu, name='obtener-respuesta-pedimento-vu'),
+    path('auditor/obtener-peticion/remesa-vu/', auditor_obtener_peticion_remesa_vu, name='obtener-peticion-remesa-vu'),
+    path('auditor/obtener-respuesta/remesa-vu/', auditor_obtener_respuesta_remesa_vu, name='obtener-respuesta-remesa-vu'),
+    path('auditor/obtener-peticion/partidas-vu/', auditor_obtener_peticion_partidas_vu, name='obtener-peticion-partidas-vu'),
+    path('auditor/obtener-respuesta/partidas-vu/', auditor_obtener_respuesta_partidas_vu, name='obtener-respuesta-partidas-vu'),
+    path('auditor/obtener-peticion/acuse-vu/', auditor_obtener_peticion_acuse_vu, name='obtener-peticion-acuse-vu'),
+    path('auditor/obtener-respuesta/acuse-vu/', auditor_obtener_respuesta_acuse_vu, name='obtener-respuesta-acuse-vu'),
+    path('auditor/obtener-peticion/cove-vu/', auditor_obtener_peticion_cove_vu, name='obtener-peticion-cove-vu'),
+    path('auditor/obtener-respuesta/cove-vu/', auditor_obtener_respuesta_cove_vu, name='obtener-respuesta-cove-vu'),
+    path('auditor/obtener-peticion/acuse-cove-vu/', auditor_obtener_peticion_acuse_cove_vu, name='obtener-peticion-acuse-cove-vu'),
+    path('auditor/obtener-respuesta/acuse-cove-vu/', auditor_obtener_respuesta_acuse_cove_vu, name='obtener-respuesta-acuse-cove-vu'),
+    path('auditor/obtener-peticion/edocument-vu/', auditor_obtener_peticion_edocument_vu, name='obtener-peticion-edocument-vu'),
+    path('auditor/obtener-respuesta/edocument-vu/', auditor_obtener_respuesta_edocument_vu, name='obtener-respuesta-edocument-vu'),
+
+    path('procesamientopedimentos-ejecutar-comando/', EjecutarComandoView.as_view(), name='procesamientopedimentos-ejecutar-comando'),
+
 ]

api/datastage/models.py

@@ -3,7 +3,8 @@ from django.db import models
 # Create your models here.
 class DataStage(models.Model):
     organizacion = models.ForeignKey('organization.Organizacion', on_delete=models.CASCADE, related_name='datastages', null=True, blank=True)
-    archivo = models.FileField(upload_to='datastages/', blank=False, null=False)
+    # archivo = models.FileField(upload_to='datastages/', blank=False, null=False)
+    archivo = models.CharField(max_length=500, blank=True, null=True)
     contribuyente = models.CharField(max_length=100, blank=False, null=False)
     procesado = models.BooleanField(default=False)
 

api/datastage/serializer.py

@@ -1,12 +1,86 @@
+from api.utils.storage_service import storage_service
 from rest_framework import serializers
 
 from .models import DataStage
 from api.organization.models import Organizacion
 
 class DataStageSerializer(serializers.ModelSerializer):
+    archivo = serializers.FileField(write_only=True, required=False, allow_null=True)
+    download_url = serializers.SerializerMethodField(read_only=True)
+
     organizacion = serializers.PrimaryKeyRelatedField(required=False, allow_null=True, queryset=Organizacion.objects.all())
 
     class Meta:
         model = DataStage
         fields = '__all__'
-        read_only_fields = ('id', 'created_at', 'updated_at')
+        read_only_fields = ('id', 'created_at', 'updated_at')
+        # extra_kwargs = {'archivo': {'read_only': True},}
+
+    def get_download_url(self, obj):
+        """Retorna URL de descarga según dónde esté el archivo"""
+        if not obj.archivo:
+            return None
+        
+        if storage_service.is_minio_path(obj.archivo):
+            return storage_service.get_file_url(obj.archivo)
+        else:
+            request = self.context.get('request')
+            if request:
+                return request.build_absolute_uri(
+                    f"/api/v1/datastage/datastages/{obj.id}/download-datastage/"
+                )
+            return f"/api/v1/datastage/datastages/{obj.id}/download-datastage/"
+
+    def create(self, validated_data):
+        """Override para manejar la subida del archivo a MinIO"""
+        archivo_file = validated_data.pop('archivo', None)
+        organizacion = validated_data.get('organizacion')
+        datastage = super().create(validated_data)
+        print(f"ENDPOINT DE CREATE >>>>")
+        # guardarlo en MinIO
+        if archivo_file:
+            ruta = storage_service.save_datastage(
+                file=archivo_file,
+                organizacion_id=organizacion.id if organizacion else datastage.organizacion.id,
+                metadata={
+                    'datastage_id': str(datastage.id),
+                    'nombre': datastage.nombre if hasattr(datastage, 'nombre') else ''
+                }
+            )
+            
+            if ruta:
+                datastage.archivo = ruta
+                datastage.save()
+            else:
+                # eliminar el registro creado
+                datastage.delete()
+                raise serializers.ValidationError({"archivo": "Error al guardar el archivo en el almacenamiento"})
+        
+        return datastage
+    
+    def update(self, instance, validated_data):
+        """Override para manejar actualización de archivo"""
+        archivo_file = validated_data.pop('archivo', None)
+        organizacion = validated_data.get('organizacion', instance.organizacion)
+        instance = super().update(instance, validated_data)
+        
+        # Si hay nuevo archivo, reemplazarlo
+        if archivo_file:
+            if instance.archivo:
+                storage_service.delete_file(instance.archivo)
+            
+            ruta = storage_service.save_datastage(
+                file=archivo_file,
+                organizacion_id=organizacion.id,
+                metadata={
+                    'datastage_id': str(instance.id),
+                    'updated': 'true'
+                }
+            )
+
+            if ruta:
+                instance.archivo = ruta
+                instance.save()
+            else:
+                raise serializers.ValidationError({"archivo": "Error al guardar el nuevo archivo"})
+        return instance

api/datastage/tasks.py

@@ -1,3 +1,4 @@
+import tempfile
 from celery import group
 from celery import shared_task
 import logging
@@ -6,81 +7,130 @@ from django.utils import timezone
 import os
 import zipfile
 import re
+from api.utils.storage_service import storage_service
 
 @shared_task
 def procesar_datastage_task(datastage_id, user_organizacion_id=None):
     import traceback
+    tmp_path = None
     try:
-        logger = logging.getLogger(__name__)
         from api.datastage.models import DataStage
         from api.organization.models import Organizacion
-        from api.customs.models import Pedimento, TipoOperacion, Regimen
 
-        datastage = DataStage.objects.get(id=datastage_id)
+        # Obtener datastage
+        try:
+            datastage = DataStage.objects.get(id=datastage_id)
+        except DataStage.DoesNotExist:
+            return {'error': f'DataStage {datastage_id} no encontrado'}
+
+        # Validar archivo
         if not datastage.archivo:
+            print("DataStage no tiene archivo asociado")
             return {'detail': 'No hay archivo asociado a este DataStage.'}
-        file_path = datastage.archivo.path
+        
-        if not os.path.exists(file_path):
+        ruta_archivo = str(datastage.archivo)
-            return {'detail': 'El archivo no existe en el servidor.'}
+        
-        if not file_path.endswith('.zip'):
+        if not ruta_archivo.lower().endswith('.zip'):
             return {'detail': 'El archivo no es un .zip.'}
-
+        
-        documentos_encontrados = []
+        # Descargar archivo
-        registros_cargados = {}
+        with tempfile.NamedTemporaryFile(delete=False, suffix='.zip') as tmp:
-        registros_por_archivo = {}
+            tmp_path = tmp.name
-        errores_por_archivo = {}
+        
-        errores_pedimento = []
+        success = storage_service.download_file(ruta_archivo, tmp_path)
+        
+        if not success:
+            print(f"No se pudo descargar: {ruta_archivo}")
+            return {'detail': f'No se pudo descargar el archivo: {ruta_archivo}'}
+        
+        file_path = tmp_path
+        
+        # Obtener organización
         user_organizacion = None
-
         if user_organizacion_id:
-            user_organizacion = Organizacion.objects.get(id=user_organizacion_id)
+            try:
+                user_organizacion = Organizacion.objects.get(id=user_organizacion_id)
+            except Organizacion.DoesNotExist:
+                print(f"Organización no encontrada: {user_organizacion_id}")
 
-        def to_snake_case(name):
+        # Leer ZIP y lanzar subtareas
-            s1 = re.sub('(.)([A-Z][a-z]+)', r'\1_\2', name)
-            s2 = re.sub('([a-z0-9])([A-Z])', r'\1_\2', s1)
-            return s2.replace('__', '_').lower()
-
-        # Lanzar una subtarea por cada archivo ASC
         subtasks = []
         with zipfile.ZipFile(file_path, 'r') as zip_ref:
-            for asc_name in zip_ref.namelist():
+            namelist = zip_ref.namelist()
+            
+            for asc_name in namelist:
                 if asc_name.endswith('.asc'):
-                    subtasks.append(procesar_archivo_asc_task.s(datastage_id, user_organizacion_id, asc_name))
+                    subtasks.append(
+                        procesar_archivo_asc_task.s(datastage_id, user_organizacion_id, asc_name)
+                    )
+        
         if subtasks:
             job = group(subtasks).apply_async()
+            print(f"Grupo de tareas lanzado: {job.id}")
             return {
                 'group_id': job.id,
                 'subtask_ids': [t.id for t in job.results],
-                'detail': 'Procesamiento lanzado. Monitorea el estado de cada subtask_id.'
+                'detail': f'Procesamiento lanzado. {len(subtasks)} archivos .ASC en cola.'
             }
+        
+        print("No se encontraron archivos .ASC")
         return {'detail': 'No se encontraron archivos .asc'}
+        
     except Exception as e:
         import traceback
         return {'error': str(e), 'traceback': traceback.format_exc()}
+        
+    finally:
+        # Limpiar temporal
+        if tmp_path and os.path.exists(tmp_path):
+            try:
+                os.unlink(tmp_path)
+            except Exception as e:
+                print(f"No se pudo eliminar temporal: {e}")
 
 @shared_task
 def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
-    import traceback
+    """
+    Procesa un archivo .ASC individual dentro del ZIP
+    """
+    tmp_path = None
     try:
-        logger = logging.getLogger(__name__)
         from api.datastage.models import DataStage
         from api.organization.models import Organizacion
         from api.customs.models import Pedimento, TipoOperacion, Regimen
-        from django.apps import apps
+        import datetime
-        import zipfile
+        
-        import re
+        # Obtener datastage
         datastage = DataStage.objects.get(id=datastage_id)
         user_organizacion = None
         if user_organizacion_id:
             user_organizacion = Organizacion.objects.get(id=user_organizacion_id)
-        file_path = datastage.archivo.path
+        
+        ruta_archivo = str(datastage.archivo)
+        
+        # Descargar archivo
+        with tempfile.NamedTemporaryFile(delete=False, suffix='.zip') as tmp:
+            tmp_path = tmp.name
+        
+        success = storage_service.download_file(ruta_archivo, tmp_path)
+        if not success:
+            return {'errores': [f'No se pudo descargar el archivo: {ruta_archivo}']}
+        
+        file_path = tmp_path
+        
         def to_snake_case(name):
             s1 = re.sub('(.)([A-Z][a-z]+)', r'\1_\2', name)
             s2 = re.sub('([a-z0-9])([A-Z])', r'\1_\2', s1)
             return s2.replace('__', '_').lower()
+        
+        objects_to_create = []
+        
         with zipfile.ZipFile(file_path, 'r') as zip_ref:
             if asc_name not in zip_ref.namelist():
+                print(f"❌ {asc_name} no encontrado en el ZIP")
                 return {'errores': [f'{asc_name} no encontrado en el zip']}
+            
+            # Determinar modelo
             match = re.match(r'.*_(\d+)\.asc$', asc_name)
             if match:
                 registro_key = match.group(1)
@@ -96,53 +146,53 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
                 Model = apps.get_model('datastage', model_name)
             except LookupError:
                 return {'errores': [f"No existe el modelo para {model_name}"]}
+            
+            # Procesar archivo
             with zip_ref.open(asc_name) as asc_file:
                 first = True
-                field_names = []
                 field_names_snake = []
-                objects_to_create = []
+                line_count = 0
-                errores_pedimento = []
+                
                 for line in asc_file:
-                    line_decoded = None
+                    line_count += 1
                     try:
                         line_decoded = line.decode('utf-8').strip()
                     except UnicodeDecodeError:
                         try:
                             line_decoded = line.decode('latin-1').strip()
-                        except Exception as e:
+                        except Exception:
                             continue
-                    except Exception as e:
+                    
-                        continue
                     if not line_decoded:
                         continue
+                    
                     if first:
                         field_names = [f for f in line_decoded.split('|')]
                         field_names_snake = [to_snake_case(f) for f in field_names]
                         first = False
                         continue
+                    
                     values = line_decoded.split('|')
                     while values and values[-1] == '':
                         values.pop()
-                    if len(values) == len(field_names_snake) + 1 and values[-1] == '':
-                        values = values[:-1]
-                    if len(values) < len(field_names_snake):
-                        values += [None] * (len(field_names_snake) - len(values))
                     if len(values) != len(field_names_snake):
                         continue
+                    
                     data = dict(zip(field_names_snake, values))
+                    
                     if hasattr(Model, 'organizacion_id'):
                         data['organizacion_id'] = user_organizacion.id if user_organizacion else None
                     if hasattr(Model, 'datastage_id'):
                         data['datastage_id'] = datastage.id
-                    # Limpiar campos de fecha vacíos ('') a None
+                    
+                    # Limpiar fechas vacías
                     for field in Model._meta.get_fields():
                         if hasattr(field, 'get_internal_type') and field.get_internal_type() in ["DateField", "DateTimeField"]:
                             if data.get(field.name) == "":
                                 data[field.name] = None
-                    # Convertir fecha_pago_real a timezone-aware si existe
+                    
+                    # Convertir fecha_pago_real
                     if 'fecha_pago_real' in data and data['fecha_pago_real']:
-                        from django.utils import timezone
-                        import datetime
                         fecha_val = data['fecha_pago_real']
                         if isinstance(fecha_val, str):
                             try:
@@ -156,11 +206,11 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
                                 dt = timezone.make_aware(dt)
                             if dt:
                                 data['fecha_pago_real'] = dt
-                        elif isinstance(fecha_val, datetime.datetime) and timezone.is_naive(fecha_val):
+                    
-                            data['fecha_pago_real'] = timezone.make_aware(fecha_val)
                     try:
                         obj = Model(**data)
                         objects_to_create.append(obj)
+                        
                         # Si es Registro501, crear Pedimento
                         if model_name == 'Registro501':
                             organizacion_instance = None
@@ -169,7 +219,7 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
                                 try:
                                     organizacion_instance = Organizacion.objects.get(id=org_id)
                                 except Exception as org_exc:
-                                    logger.warning(f"No se encontró la organización con id {org_id}: {org_exc}")
+                                    print(f"No se encontró la organización con id {org_id}: {org_exc}")
                             if not organizacion_instance:
                                 organizacion_instance = user_organizacion
                             fecha_pago_raw = data.get('fecha_pago_real')
@@ -182,6 +232,7 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
                                 else:
                                     fecha_pago = fecha_pago_raw
                             aduana = data.get('seccion_aduanera')
+                            # logger.info(f"aduana >>>> {aduana}")
                             patente = data.get('patente')
                             pedimento_num = data.get('pedimento')
                             pedimento_app = ""
@@ -191,9 +242,13 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
                                         year = fecha_pago[:4]
                                     else:
                                         year = str(fecha_pago.year)
-                                    pedimento_app = f"{year[-2:]}-{str(aduana).zfill(2)[-2:]}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
+                                    # mantener aduana con sus digitos intactos
+                                    # pedimento_app = f"{year[-2:]}-{str(aduana).zfill(2)[-2:]}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
+                                    # pedimento_app = f"{year[-2:]}-{str(aduana)}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
+                                    pedimento_app = f"{year[-2:]}-{str(aduana).zfill(2)[:2]}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
+                                    # logger.info(f"pedimento_app >>>> {pedimento_app}")
                             except Exception as ped_app_exc:
-                                logger.warning(f"No se pudo generar pedimento_app: {ped_app_exc}")
+                                print(f"No se pudo generar pedimento_app: {ped_app_exc}")
                             tipo_operacion_val = data.get('tipo_operacion')
                             tipo_operacion = TipoOperacion.objects.filter(id=int(tipo_operacion_val)).first() if tipo_operacion_val else None
                             regimen = Regimen.objects.filter(claveped=data.get('clave_documento', '').strip(), tipo=tipo_operacion.id if tipo_operacion else None).first() if tipo_operacion else None
@@ -232,11 +287,14 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
                                 pass
                     except Exception as e:
                         continue
-                if objects_to_create:
+                
-                    try:
+        # Bulk create
-                        Model.objects.bulk_create(objects_to_create, batch_size=1000)
+        if objects_to_create:
-                    except Exception as e:
+            try:
-                        return {'archivo': asc_name, 'error': str(e), 'traceback': traceback.format_exc()}
+                Model.objects.bulk_create(objects_to_create, batch_size=1000)
+            except Exception as e:
+                return {'archivo': asc_name, 'error': str(e)}
+        
         return {
             'archivo': asc_name,
             'insertados': len(objects_to_create)
@@ -244,33 +302,11 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
     except Exception as e:
         import traceback
         return {'archivo': asc_name, 'error': str(e), 'traceback': traceback.format_exc()}
-
+        
-    detalles = {}
+    finally:
-    for key in ['502', '503', '504']:
+        # Limpiar temporal
-        model_name = f'Registro{key}'
+        if tmp_path and os.path.exists(tmp_path):
-        asc_file = None
-        encabezado = None
-        errores = []
-        for asc_name in registros_por_archivo:
-            if asc_name.endswith(f'_{key}.asc'):
-                asc_file = asc_name
-                break
-        if asc_file:
             try:
-                with zipfile.ZipFile(file_path, 'r') as zip_ref:
+                os.unlink(tmp_path)
-                    with zip_ref.open(asc_file) as f:
-                        for line in f:
-                            try:
-                                encabezado = line.decode('utf-8').strip()
-                            except UnicodeDecodeError:
-                                encabezado = line.decode('latin-1').strip()
-                            break
             except Exception as e:
-                encabezado = f'Error leyendo encabezado: {e}'
+                print(f"No se pudo eliminar temporal: {e}")
-            errores = errores_por_archivo.get(asc_file, [])
-        detalles[model_name] = {
-            'archivo': asc_file,
-            'encabezado': encabezado,
-            'errores': errores
-        }
-    return {'registros_cargados': registros_cargados, 'errores_pedimento': errores_pedimento}

api/datastage/tasks/report_document.py

@@ -0,0 +1,85 @@
+from celery import shared_task
+from django.core.files.base import ContentFile
+from django.utils import timezone
+from api.reports.models import ReportDocument
+from api.customs.models import Pedimento, Cove, EDocument, Partida
+from django.db.models import Q
+import csv
+import os
+from django.conf import settings
+import logging
+
+logger = logging.getLogger()
+
+@shared_task
+def generate_report_document(report_id):
+    try:
+        report = ReportDocument.objects.get(id=report_id)
+        report.status = 'processing'
+        report.save(update_fields=['status'])
+        filters = report.filters or {}
+        pedimentos_filters = Q()
+        if filters.get('organizacion_id'):
+            pedimentos_filters &= Q(organizacion_id=filters['organizacion_id'])
+        if filters.get('fecha_pago__gte'):
+            pedimentos_filters &= Q(fecha_pago__gte=filters['fecha_pago__gte'])
+        if filters.get('fecha_pago__lte'):
+            pedimentos_filters &= Q(fecha_pago__lte=filters['fecha_pago__lte'])
+        if filters.get('contribuyente__rfc'):
+            pedimentos_filters &= Q(contribuyente__rfc=filters['contribuyente__rfc'])
+        if filters.get('patente'):
+            pedimentos_filters &= Q(patente=filters['patente'])
+        if filters.get('aduana'):
+            pedimentos_filters &= Q(aduana=filters['aduana'])
+        if filters.get('pedimento'):
+            pedimentos_filters &= Q(pedimento=filters['pedimento'])
+        if filters.get('pedimento_app'):
+            pedimentos_filters &= Q(pedimento_app=filters['pedimento_app'])
+        if filters.get('regimen'):
+            pedimentos_filters &= Q(regimen=filters['regimen'])
+        if filters.get('tipo_operacion'):
+            pedimentos_filters &= Q(tipo_operacion_id=filters['tipo_operacion'])
+        pedimentos = Pedimento.objects.filter(pedimentos_filters)
+        filename = filters.get('filename')
+        if filename:
+            filename = f"{filename}.csv" if not filename.endswith('.csv') else filename
+        else:
+            filename = f"report_{report.id}_{timezone.now().strftime('%Y%m%d%H%M%S')}.csv"
+        file_path = os.path.join(settings.MEDIA_ROOT, 'reports', filename)
+        os.makedirs(os.path.dirname(file_path), exist_ok=True)
+        with open(file_path, 'w', newline='', encoding='utf-8') as f:
+            writer = csv.writer(f)
+            headers = [
+                'aduana', 'patente', 'regimen', 'pedimento', 'pedimento_app', 'clave_pedimento',
+                'tipo_operacion_id', 'contribuyente_id', 'tipo_documento', 'numero_documento', 'estado', 'acuse_estado'
+            ]
+            writer.writerow(headers)
+            for ped in pedimentos:
+                for cove in Cove.objects.filter(pedimento=ped):
+                    writer.writerow([
+                        ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
+                        ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
+                        'COVE', cove.numero_cove, cove.cove_descargado, cove.acuse_cove_descargado
+                    ])
+                for edoc in EDocument.objects.filter(pedimento=ped):
+                    writer.writerow([
+                        ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
+                        ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
+                        'EDOC', edoc.numero_edocument, edoc.edocument_descargado, edoc.acuse_descargado
+                    ])
+                for partida in Partida.objects.filter(pedimento=ped):
+                    writer.writerow([
+                        ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
+                        ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
+                        'PARTIDA', partida.numero_partida, partida.descargado, ''
+                    ])
+        with open(file_path, 'rb') as f:
+            report.file.save(filename, ContentFile(f.read()), save=True)
+        report.status = 'ready'
+        report.finished_at = timezone.now()
+        report.save(update_fields=['status', 'file', 'finished_at'])
+    except Exception as e:
+        report.status = 'error'
+        report.error_message = str(e)
+        report.finished_at = timezone.now()
+        report.save(update_fields=['status', 'error_message', 'finished_at'])

api/datastage/views.py

@@ -1,3 +1,8 @@
+import atexit
+import tempfile
+
+from api.utils.storage_service import storage_service
+from config import settings
 from rest_framework.pagination import PageNumberPagination
 from api.customs.models import Pedimento, TipoOperacion, Regimen
 from django.shortcuts import render
@@ -61,18 +66,35 @@ class DataStageViewSet(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
 
         if self.request.user.is_superuser:
             # Permitir que el superusuario cree sin organización o la especifique
-            serializer.save()
+            datastage = serializer.save()
+            self._trigger_processing(datastage)
             return
 
         if (self.request.user.groups.filter(name='developer').exists() or self.request.user.groups.filter(name='admin').exists() or self.request.user.groups.filter(name='user').exists()) and self.request.user.groups.filter(name='Agente Aduanal').exists():
             if not organizacion:
-                serializer.save(organizacion=self.request.user.organizacion)
+                datastage = serializer.save(organizacion=self.request.user.organizacion)
             else:
-                serializer.save()
+                datastage = serializer.save()
+            
+            self._trigger_processing(datastage)
+            
             return
 
         raise ValueError("No cuentas con los permisos necesarios para crear un DataStage")
     
+    def _trigger_processing(self, datastage):
+        """
+        Método helper para disparar el procesamiento.
+        """
+        from api.datastage.tasks import procesar_datastage_task
+        user_organizacion = getattr(self.request.user, 'organizacion', None)
+        user_organizacion_id = user_organizacion.id if user_organizacion else None
+        
+        datastage.procesado = True
+        datastage.save()
+        
+        task = procesar_datastage_task.delay(datastage.id, user_organizacion_id)
+        
     def perform_update(self, serializer):
         """
         Override to ensure organization is set on update.
@@ -95,24 +117,72 @@ class DataStageViewSet(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
     def download_datastage(self, request, pk=None):
         """
         Endpoint para descargar el archivo asociado a un DataStage.
+        Soporta tanto archivos en MinIO como archivos locales antiguos.
         """
         try:
             datastage = self.get_object()
             if not datastage.archivo:
                 raise Http404("No hay archivo asociado a este DataStage.")
-            file_path = datastage.archivo.path
+            
-            if not os.path.exists(file_path):
+            # Detectar si es ruta de MinIO o local
-                raise Http404("El archivo no existe en el servidor.")
+            is_minio_path = datastage.archivo.startswith('org_')
-            response = FileResponse(open(file_path, 'rb'), as_attachment=True, filename=os.path.basename(file_path))
+            
-            return response
+            if is_minio_path:
+                import tempfile
+                
+                with tempfile.NamedTemporaryFile(delete=False) as tmp:
+                    tmp_path = tmp.name
+                
+                success = storage_service.download_file(datastage.archivo, tmp_path)
+                
+                if not success:
+                    raise Http404("No se pudo descargar el archivo de MinIO")
+                
+                filename = os.path.basename(datastage.archivo)
+                
+                response = FileResponse(
+                    open(tmp_path, 'rb'),
+                    as_attachment=True,
+                    filename=filename
+                )
+                
+                import atexit
+                atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
+                
+                return response
+                
+            else:
+                file_path = os.path.join(settings.MEDIA_ROOT, str(datastage.archivo))
+                
+                if not os.path.exists(file_path):
+                    raise Http404(f"El archivo no existe: {file_path}")
+                
+                filename = os.path.basename(file_path)
+                
+                response = FileResponse(
+                    open(file_path, 'rb'),
+                    as_attachment=True,
+                    filename=filename
+                )
+                return response
+                
         except Exception as e:
             return Response({'detail': str(e)}, status=404)
+    
+    def perform_destroy(self, instance):
+        """
+        Al eliminar un DataStage, también eliminar su archivo asociado.
+        """
+        if instance.archivo:
+            storage_service.delete_file(instance.archivo)
+        instance.delete()
 
     @action(detail=True, methods=['post'], url_path='procesar')
     def procesar(self, request, pk=None):
         """
         Endpoint para procesar el DataStage de forma asíncrona usando Celery.
         """
+        # ojo aqui
         from api.datastage.tasks import procesar_datastage_task
         datastage = self.get_object()
         user_organizacion = getattr(self.request.user, 'organizacion', None)

api/management/commands/migrate_to_minio.py

@@ -0,0 +1,472 @@
+import os
+import time
+from pathlib import Path
+from concurrent.futures import ThreadPoolExecutor, as_completed
+
+from django.core.management.base import BaseCommand
+from django.conf import settings
+
+from minio import Minio
+
+from api.record.models import Document
+from api.datastage.models import DataStage
+from api.vucem.models import Vucem
+from api.reports.models import ReportDocument
+
+
+class Command(BaseCommand):
+    help = 'Migra archivos existentes del sistema local a MinIO (versión optimizada)'
+
+    def add_arguments(self, parser):
+        parser.add_argument('--dry-run', action='store_true', help='Solo muestra lo que se migraría')
+        parser.add_argument('--model', type=str, help='Document, DataStage, Vucem, ReportDocument')
+        parser.add_argument('--limit', type=int, help='Límite de registros')
+        parser.add_argument('--batch-size', type=int, default=200, help='Tamaño del lote (default: 200)')
+        parser.add_argument('--workers', type=int, default=3, help='Número de workers (default: 3)')
+        parser.add_argument('--offset', type=int, default=0, help='Offset inicial (para reanudar)')
+
+    def __init__(self):
+        super().__init__()
+        self.client = None
+        self.bucket_name = None
+
+    def _init_minio_client(self):
+        """Inicializa el cliente MinIO"""
+        if self.client is None:
+            self.client = Minio(
+                endpoint=os.getenv('MINIO_ENDPOINT', 'minio:9000'),
+                access_key=os.getenv('MINIO_ACCESS_KEY'),
+                secret_key=os.getenv('MINIO_SECRET_KEY'),
+                secure=os.getenv('MINIO_SECURE', 'false').lower() == 'true'
+            )
+            self.bucket_name = os.getenv('MINIO_BUCKET_NAME', 'efc-backend-dev')
+
+    def handle(self, *args, **options):
+        dry_run = options.get('dry_run', False)
+        model_filter = options.get('model')
+        limit = options.get('limit')
+        batch_size = options.get('batch_size', 200)
+        workers = options.get('workers', 3)
+        offset = options.get('offset', 0)
+
+        self.stdout.write(self.style.WARNING('=' * 60))
+        self.stdout.write(self.style.WARNING('INICIANDO MIGRACIÓN A MINIO (OPTIMIZADA)'))
+        self.stdout.write(self.style.WARNING(f'Batch size: {batch_size} | Workers: {workers} | Offset: {offset}'))
+        if dry_run:
+            self.stdout.write(self.style.WARNING('MODO: DRY RUN (sin cambios)'))
+        self.stdout.write(self.style.WARNING('=' * 60))
+
+        results = {}
+
+        if not model_filter or model_filter.lower() == 'document':
+            results['Document'] = self.migrate_documents(dry_run, limit, batch_size, workers, offset)
+
+        if not model_filter or model_filter.lower() == 'datastage':
+            results['DataStage'] = self.migrate_datastage(dry_run, limit, batch_size, workers, offset)
+
+        if not model_filter or model_filter.lower() == 'vucem':
+            results['Vucem'] = self.migrate_vucem(dry_run, limit, workers)
+
+        if not model_filter or model_filter.lower() == 'reportdocument':
+            results['ReportDocument'] = self.migrate_reports(dry_run, limit, batch_size, workers, offset)
+
+        # Resumen final
+        self.stdout.write('\n' + '=' * 60)
+        self.stdout.write(self.style.SUCCESS('RESUMEN DE MIGRACIÓN'))
+        self.stdout.write('=' * 60)
+
+        total_migrados = 0
+        total_no_encontrados = 0
+        total_errores = 0
+
+        for model_name, stats in results.items():
+            self.stdout.write(f"\n📁 {model_name}:")
+            self.stdout.write(f"   ✅ Migrados: {stats['migrated']}")
+            self.stdout.write(f"   ⚠️ No encontrados: {stats['not_found']}")
+            self.stdout.write(f"   ❌ Errores: {stats['errors']}")
+            total_migrados += stats['migrated']
+            total_no_encontrados += stats['not_found']
+            total_errores += stats['errors']
+
+        self.stdout.write('\n' + '-' * 40)
+        self.stdout.write(f"📊 TOTAL Migrados: {total_migrados}")
+        self.stdout.write(f"📊 TOTAL No encontrados: {total_no_encontrados}")
+        self.stdout.write(f"📊 TOTAL Errores: {total_errores}")
+
+        if dry_run:
+            self.stdout.write('\n' + self.style.WARNING('⚠️ MODO DRY RUN - No se realizaron cambios'))
+
+    def get_local_file_path(self, path_str):
+        """Obtiene la ruta completa del archivo local"""
+        return Path(settings.MEDIA_ROOT) / path_str
+
+    def migrate_documents(self, dry_run, limit, batch_size, workers, offset):
+        """Migra documentos del modelo Document"""
+        self._init_minio_client()
+        stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
+
+        queryset = Document.objects.exclude(archivo='').exclude(archivo__isnull=True)
+        queryset = queryset.exclude(archivo__startswith='org_')
+        queryset = queryset.order_by('created_at')
+
+        if offset:
+            queryset = queryset[offset:]
+
+        if limit:
+            queryset = queryset[:limit]
+
+        total = queryset.count()
+        self.stdout.write(f"\n📄 Procesando {total} documentos...")
+
+        if total == 0:
+            return stats
+
+        start_time = time.time()
+        processed = 0
+
+        # Procesar en lotes
+        for batch_start in range(0, total, batch_size):
+            batch = queryset[batch_start:batch_start + batch_size]
+            batch_docs = list(batch)
+
+            if dry_run:
+                stats['migrated'] += len(batch_docs)
+                processed += len(batch_docs)
+                self._print_progress(processed, total, start_time, stats)
+                continue
+
+            # Preparar items para workers
+            items = []
+            for doc in batch_docs:
+                path_str = str(doc.archivo)
+                local_path = self.get_local_file_path(path_str)
+
+                if not local_path.exists():
+                    stats['not_found'] += 1
+                    continue
+
+                pedimento_app = doc.pedimento.pedimento_app if doc.pedimento else 'unknown'
+                items.append({
+                    'doc': doc,
+                    'local_path': local_path,
+                    'path_str': path_str,
+                    'pedimento_app': pedimento_app
+                })
+
+            # Procesar en paralelo
+            if items:
+                with ThreadPoolExecutor(max_workers=workers) as executor:
+                    futures = {executor.submit(self._upload_document, item): item for item in items}
+
+                    for future in as_completed(futures):
+                        result = future.result()
+                        if result['success']:
+                            stats['migrated'] += 1
+                        else:
+                            stats['errors'] += 1
+
+            processed += len(batch_docs)
+            self._print_progress(processed, total, start_time, stats)
+
+        total_time = time.time() - start_time
+        self.stdout.write(f"\n   ✅ Completado en {total_time/60:.1f} minutos")
+
+        return stats
+
+    def _upload_document(self, item):
+        """Sube un documento directamente a MinIO"""
+        try:
+            doc = item['doc']
+            local_path = item['local_path']
+            pedimento_app = item['pedimento_app']
+            filename = local_path.name
+
+            # Generar ruta MinIO
+            object_name = f"org_{doc.organizacion_id}/documents/{pedimento_app}/{filename}"
+
+            # Subir directamente a MinIO
+            self.client.fput_object(
+                bucket_name=self.bucket_name,
+                object_name=object_name,
+                file_path=str(local_path)
+            )
+
+            # Actualizar base de datos
+            doc.archivo = object_name
+            doc.save(update_fields=['archivo'])
+
+            return {'success': True, 'doc_id': doc.id}
+
+        except Exception as e:
+            return {'success': False, 'doc_id': doc.id, 'error': str(e)}
+
+    def migrate_datastage(self, dry_run, limit, batch_size, workers, offset):
+        """Migra archivos del modelo DataStage"""
+        self._init_minio_client()
+        stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
+
+        queryset = DataStage.objects.exclude(archivo='').exclude(archivo__isnull=True)
+        queryset = queryset.exclude(archivo__startswith='org_')
+        queryset = queryset.order_by('created_at')
+
+        if offset:
+            queryset = queryset[offset:]
+
+        if limit:
+            queryset = queryset[:limit]
+
+        total = queryset.count()
+        self.stdout.write(f"\n📦 Procesando {total} archivos DataStage...")
+
+        if total == 0:
+            return stats
+
+        start_time = time.time()
+        processed = 0
+
+        for batch_start in range(0, total, batch_size):
+            batch = queryset[batch_start:batch_start + batch_size]
+            batch_docs = list(batch)
+
+            if dry_run:
+                stats['migrated'] += len(batch_docs)
+                processed += len(batch_docs)
+                self._print_progress(processed, total, start_time, stats)
+                continue
+
+            items = []
+            for ds in batch_docs:
+                path_str = str(ds.archivo)
+                local_path = self.get_local_file_path(path_str)
+
+                if not local_path.exists():
+                    stats['not_found'] += 1
+                    continue
+
+                items.append({'ds': ds, 'local_path': local_path})
+
+            if items:
+                with ThreadPoolExecutor(max_workers=workers) as executor:
+                    futures = {executor.submit(self._upload_datastage, item): item for item in items}
+
+                    for future in as_completed(futures):
+                        result = future.result()
+                        if result['success']:
+                            stats['migrated'] += 1
+                        else:
+                            stats['errors'] += 1
+
+            processed += len(batch_docs)
+            self._print_progress(processed, total, start_time, stats)
+
+        total_time = time.time() - start_time
+        self.stdout.write(f"\n   ✅ Completado en {total_time/60:.1f} minutos")
+
+        return stats
+
+    def _upload_datastage(self, item):
+        """Sube un DataStage directamente a MinIO"""
+        try:
+            ds = item['ds']
+            local_path = item['local_path']
+            filename = local_path.name
+
+            object_name = f"org_{ds.organizacion_id}/datastage/{filename}"
+
+            self.client.fput_object(
+                bucket_name=self.bucket_name,
+                object_name=object_name,
+                file_path=str(local_path)
+            )
+
+            ds.archivo = object_name
+            ds.save(update_fields=['archivo'])
+
+            return {'success': True, 'id': ds.id}
+
+        except Exception as e:
+            return {'success': False, 'id': ds.id, 'error': str(e)}
+
+    def migrate_vucem(self, dry_run, limit, workers):
+        """Migra archivos key y cer del modelo Vucem"""
+        self._init_minio_client()
+        stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
+
+        queryset = Vucem.objects.all()
+        if limit:
+            queryset = queryset[:limit]
+
+        total = queryset.count() * 2
+        self.stdout.write(f"\n🔐 Procesando {queryset.count()} registros VUCEM (key + cer)...")
+
+        if total == 0:
+            return stats
+
+        items = []
+        for vucem in queryset:
+            if vucem.key and not str(vucem.key).startswith('org_'):
+                path_str = str(vucem.key)
+                local_path = self.get_local_file_path(path_str)
+                if local_path.exists():
+                    items.append({'vucem': vucem, 'local_path': local_path, 'tipo': 'key'})
+                else:
+                    stats['not_found'] += 1
+
+            if vucem.cer and not str(vucem.cer).startswith('org_'):
+                path_str = str(vucem.cer)
+                local_path = self.get_local_file_path(path_str)
+                if local_path.exists():
+                    items.append({'vucem': vucem, 'local_path': local_path, 'tipo': 'cer'})
+                else:
+                    stats['not_found'] += 1
+
+        if dry_run:
+            stats['migrated'] = len(items)
+            self.stdout.write(f"   📝 [DRY RUN] Se migrarían {len(items)} archivos")
+            return stats
+
+        if items:
+            with ThreadPoolExecutor(max_workers=workers) as executor:
+                futures = {executor.submit(self._upload_vucem, item): item for item in items}
+
+                for future in as_completed(futures):
+                    result = future.result()
+                    if result['success']:
+                        stats['migrated'] += 1
+                        self.stdout.write(self.style.SUCCESS(f"   ✅ {result['tipo']} migrado: {result['id']}"))
+                    else:
+                        stats['errors'] += 1
+
+        return stats
+
+    def _upload_vucem(self, item):
+        """Sube un archivo VUCEM directamente a MinIO"""
+        try:
+            vucem = item['vucem']
+            local_path = item['local_path']
+            tipo = item['tipo']
+            filename = local_path.name
+
+            if tipo == 'key':
+                object_name = f"org_{vucem.organizacion_id}/vucem_keys/{filename}"
+                vucem.key = object_name
+                vucem.save(update_fields=['key'])
+            else:
+                object_name = f"org_{vucem.organizacion_id}/vucem_certs/{filename}"
+                vucem.cer = object_name
+                vucem.save(update_fields=['cer'])
+
+            self.client.fput_object(
+                bucket_name=self.bucket_name,
+                object_name=object_name,
+                file_path=str(local_path)
+            )
+
+            return {'success': True, 'id': vucem.id, 'tipo': tipo}
+
+        except Exception as e:
+            return {'success': False, 'id': vucem.id, 'tipo': tipo, 'error': str(e)}
+
+    def migrate_reports(self, dry_run, limit, batch_size, workers, offset):
+        """Migra archivos del modelo ReportDocument"""
+        self._init_minio_client()
+        stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
+
+        queryset = ReportDocument.objects.exclude(file='').exclude(file__isnull=True)
+        queryset = queryset.exclude(file__startswith='org_')
+        queryset = queryset.order_by('created_at')
+
+        if offset:
+            queryset = queryset[offset:]
+
+        if limit:
+            queryset = queryset[:limit]
+
+        total = queryset.count()
+        self.stdout.write(f"\n📊 Procesando {total} reportes...")
+
+        if total == 0:
+            return stats
+
+        start_time = time.time()
+        processed = 0
+
+        for batch_start in range(0, total, batch_size):
+            batch = queryset[batch_start:batch_start + batch_size]
+            batch_docs = list(batch)
+
+            if dry_run:
+                stats['migrated'] += len(batch_docs)
+                processed += len(batch_docs)
+                self._print_progress(processed, total, start_time, stats)
+                continue
+
+            items = []
+            for report in batch_docs:
+                path_str = str(report.file)
+                local_path = self.get_local_file_path(path_str)
+
+                if not local_path.exists():
+                    stats['not_found'] += 1
+                    continue
+
+                items.append({'report': report, 'local_path': local_path})
+
+            if items:
+                with ThreadPoolExecutor(max_workers=workers) as executor:
+                    futures = {executor.submit(self._upload_report, item): item for item in items}
+
+                    for future in as_completed(futures):
+                        result = future.result()
+                        if result['success']:
+                            stats['migrated'] += 1
+                        else:
+                            stats['errors'] += 1
+
+            processed += len(batch_docs)
+            self._print_progress(processed, total, start_time, stats)
+
+        total_time = time.time() - start_time
+        self.stdout.write(f"\n   ✅ Completado en {total_time/60:.1f} minutos")
+
+        return stats
+
+    def _upload_report(self, item):
+        """Sube un reporte directamente a MinIO"""
+        try:
+            report = item['report']
+            local_path = item['local_path']
+            filename = local_path.name
+
+            filters = report.filters or {}
+            org_id = filters.get('organizacion_id', 'unknown')
+
+            object_name = f"org_{org_id}/reports/{filename}"
+
+            self.client.fput_object(
+                bucket_name=self.bucket_name,
+                object_name=object_name,
+                file_path=str(local_path)
+            )
+
+            report.file = object_name
+            report.save(update_fields=['file'])
+
+            return {'success': True, 'id': report.id}
+
+        except Exception as e:
+            return {'success': False, 'id': report.id, 'error': str(e)}
+
+    def _print_progress(self, processed, total, start_time, stats):
+        """Imprime el progreso actual"""
+        elapsed = time.time() - start_time
+        rate = processed / elapsed if elapsed > 0 else 0
+        pct = processed * 100 / total if total > 0 else 0
+
+        self.stdout.write(
+            f"   📊 {processed}/{total} ({pct:.1f}%) | "
+            f"{rate:.0f} docs/seg | "
+            f"✅ {stats['migrated']} | "
+            f"⚠️ {stats['not_found']} | "
+            f"❌ {stats['errors']}"
+        )

api/organization/views.py

@@ -27,7 +27,7 @@ class ViewSetOrganizacion(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltr
 
     queryset = Organizacion.objects.all()
     serializer_class = OrganizacionSerializer
-    filterset_fields = ['nombre', 'descripcion']
+    filterset_fields = ['nombre']
     
     my_tags = ['Organizaciones']
 

api/record/models.py

@@ -15,13 +15,21 @@ class Document(models.Model):
     extension = models.CharField(max_length=60, blank=True, null=True)
     size = models.PositiveIntegerField()
     fuente = models.ForeignKey('Fuente', on_delete=models.CASCADE, related_name='documents', blank=True, null=True)
-    
+    vu = models.BooleanField(default=False)
+
     created_at = models.DateTimeField(auto_now_add=True)
     updated_at = models.DateTimeField(auto_now=True)
 
     def save(self, *args, **kwargs):
         is_new = self._state.adding
         
+        # Calcular automáticamente el campo vu
+        if self.document_type_id:
+            # rango de IDs que indican documentos VU
+            self.vu = 13 <= self.document_type_id <= 26
+        else:
+            self.vu = False
+
         # Usar get_or_create en lugar de get para manejar el caso cuando no existe
         uso_almacenamiento, created = UsoAlmacenamiento.objects.get_or_create(
             organizacion=self.organizacion,

api/record/serializers.py

@@ -9,13 +9,22 @@ from api.customs.models import Pedimento
 class DocumentSerializer(serializers.ModelSerializer):
     pedimento_numero = serializers.SerializerMethodField(read_only=True)
     pedimento = serializers.PrimaryKeyRelatedField(queryset=Pedimento.objects.all())
-
+    fuente_nombre = serializers.SerializerMethodField()
+    fuente = serializers.PrimaryKeyRelatedField(queryset=Fuente.objects.all())
     class Meta:
         model = Document
-        fields = ('id', 'organizacion', 'pedimento', 'pedimento_numero', 'archivo', 'document_type', 'size', 'extension', 'fuente','created_at', 'updated_at')
+        fields = ('id', 'organizacion', 'pedimento', 'pedimento_numero', 'archivo', 'document_type', 'size', 'extension', 'fuente','fuente_nombre','created_at', 'updated_at','vu')
         read_only_fields = ('id', 'size', 'extension', 'created_at', 'updated_at', 'pedimento_numero')
 
     def get_pedimento_numero(self, obj):
+        # Si es un diccionario (durante create)
+        if isinstance(obj, dict):
+            pedimento = obj.get('pedimento')
+            if pedimento and hasattr(pedimento, 'pedimento_app'):
+                return pedimento.pedimento_app
+            return None
+        
+        # Si es una instancia del modelo (durante retrieve/list)
         if obj.pedimento:
             return obj.pedimento.pedimento_app
         return None
@@ -26,6 +35,22 @@ class DocumentSerializer(serializers.ModelSerializer):
             raise serializers.ValidationError("Se requiere un archivo para subir")
         return value
 
+    def get_fuente_nombre(self, obj):
+        """Obtiene el nombre de la fuente de forma segura"""
+        if isinstance(obj, dict):
+            fuente = obj.get('fuente')
+            if fuente and hasattr(fuente, 'nombre'):
+                return fuente.nombre
+            return "Desconocido"
+        
+        try:
+            if obj.fuente:
+                return obj.fuente.nombre
+        except AttributeError:
+            pass
+        
+        return "Desconocido"
+
 class FuenteSerializer(serializers.ModelSerializer):
     class Meta:
         model = Fuente

api/record/urls.py

@@ -4,12 +4,22 @@ from rest_framework.routers import DefaultRouter
 
 # import necessary viewsets
 # from .views import YourViewSet  # Import your viewsets here
-from .views import  DocumentViewSet, ProtectedDocumentDownloadView, BulkDownloadZipView, GetFuenteView, DocumentTypeView
+from .views import  (DocumentViewSet
+                     , ProtectedDocumentDownloadView
+                     , BulkDownloadZipView
+                     , GetFuenteView
+                     , DocumentTypeView
+                     , ExpedienteZipDownloadView
+                     , MultiPedimentoZipDownloadView
+                     , PedimentoDocumentViewSet
+                     , TriggerPedimentoCompletoView)
+
+
 # Create a router and register your viewsets with it
 
 router = DefaultRouter()
 
-# Register your viewsets with the router here
+# Register your viewsets with the router he -fre
 # Example:
 # from .views import MyViewSet
 # router.register(r'myviewset', MyViewSet, basename='myviewset')
@@ -23,5 +33,9 @@ urlpatterns = [
     path('documents/descargar/<uuid:pk>/', ProtectedDocumentDownloadView.as_view(), name='descargar-documento'),
     path('fuente/', GetFuenteView.as_view(), name='get-fuente'),
     path('document-type/', DocumentTypeView.as_view(), name='document-type-list-create'),
+    path('documents/expediente-zip/', ExpedienteZipDownloadView.as_view(), name='expediente-zip-download'),
+    path('documents/multi-pedimento-zip/', MultiPedimentoZipDownloadView.as_view(), name='multi-pedimento-zip-download'),
+    path('pedimento-documents/', PedimentoDocumentViewSet.as_view({'get': 'list'}), name='pedimento-document-list'),
+    path('microservice/pedimento-completo/', TriggerPedimentoCompletoView.as_view(), name='trigger-pedimento-completo'),
     path('', include(router.urls)),
 ]

api/reports/migrations/0001_initial.py

@@ -0,0 +1,30 @@
+# Generated by Django 5.2.3 on 2025-10-21 23:56
+
+import django.db.models.deletion
+from django.conf import settings
+from django.db import migrations, models
+
+
+class Migration(migrations.Migration):
+
+    initial = True
+
+    dependencies = [
+        migrations.swappable_dependency(settings.AUTH_USER_MODEL),
+    ]
+
+    operations = [
+        migrations.CreateModel(
+            name='ReportDocument',
+            fields=[
+                ('id', models.BigAutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
+                ('filters', models.JSONField(blank=True, null=True)),
+                ('status', models.CharField(choices=[('pending', 'Pendiente'), ('processing', 'Procesando'), ('ready', 'Listo'), ('error', 'Error')], default='pending', max_length=20)),
+                ('file', models.FileField(blank=True, null=True, upload_to='reports/')),
+                ('error_message', models.TextField(blank=True, null=True)),
+                ('created_at', models.DateTimeField(auto_now_add=True)),
+                ('finished_at', models.DateTimeField(blank=True, null=True)),
+                ('user', models.ForeignKey(on_delete=django.db.models.deletion.CASCADE, related_name='report_documents', to=settings.AUTH_USER_MODEL)),
+            ],
+        ),
+    ]

api/reports/models.py

@@ -1,3 +1,27 @@
-from django.db import models
 
-# Create your models here.
+from django.db import models
+from django.contrib.auth import get_user_model
+
+class ReportDocument(models.Model):
+	STATUS_CHOICES = [
+		('pending', 'Pendiente'),
+		('processing', 'Procesando'),
+		('ready', 'Listo'),
+		('error', 'Error'),
+	]
+	TYPE_REPORT = [
+		('cumplimiento', 'cumplimiento'),
+		('control_pedimento', 'control_pedimento'),
+	]
+	user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='report_documents')
+	filters = models.JSONField(blank=True, null=True)
+	status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
+	# file = models.FileField(upload_to='reports/', blank=True, null=True)
+	file = models.CharField(max_length=500, blank=True, null=True)
+	report_type = models.CharField(max_length=30, choices=TYPE_REPORT, default='cumplimiento')
+	error_message = models.TextField(blank=True, null=True)
+	created_at = models.DateTimeField(auto_now_add=True)
+	finished_at = models.DateTimeField(blank=True, null=True)
+
+	def __str__(self):
+		return f"Reporte {self.id} - {self.status}"

api/reports/tasks/report_document.py

@@ -0,0 +1,322 @@
+import tempfile
+
+from api.utils.storage_service import storage_service
+from celery import shared_task
+from api.organization.models import Organizacion
+from django.core.files.base import ContentFile
+from django.utils import timezone
+from api.reports.models import ReportDocument
+from api.customs.models import Pedimento, Cove, EDocument, Partida
+from django.db.models import Q, Exists, OuterRef
+# from django.db.models import Q, 
+from api.record.models import Document
+import csv
+import os
+from django.conf import settings
+from django.core.files.uploadedfile import SimpleUploadedFile
+
+@shared_task
+def generate_report_document(report_id):
+    try:
+        report = ReportDocument.objects.get(id=report_id)
+        report.status = 'processing'
+        report.save(update_fields=['status'])
+        filters = report.filters or {}
+        pedimentos_filters = Q()
+        if filters.get('organizacion_id'):
+            pedimentos_filters &= Q(organizacion_id=filters['organizacion_id'])
+        if filters.get('fecha_pago__gte'):
+            pedimentos_filters &= Q(fecha_pago__gte=filters['fecha_pago__gte'])
+        if filters.get('fecha_pago__lte'):
+            pedimentos_filters &= Q(fecha_pago__lte=filters['fecha_pago__lte'])
+        if filters.get('contribuyente__rfc'):
+            pedimentos_filters &= Q(contribuyente__rfc=filters['contribuyente__rfc'])
+        if filters.get('patente'):
+            pedimentos_filters &= Q(patente=filters['patente'])
+        if filters.get('aduana'):
+            pedimentos_filters &= Q(aduana=filters['aduana'])
+        if filters.get('pedimento'):
+            pedimentos_filters &= Q(pedimento=filters['pedimento'])
+        if filters.get('pedimento_app'):
+            pedimentos_filters &= Q(pedimento_app=filters['pedimento_app'])
+        if filters.get('regimen'):
+            pedimentos_filters &= Q(regimen=filters['regimen'])
+        if filters.get('tipo_operacion'):
+            pedimentos_filters &= Q(tipo_operacion_id=filters['tipo_operacion'])
+        # Consulta asíncrona de los modelos
+        pedimentos = Pedimento.objects.filter(pedimentos_filters)
+        filename = filters.get('filename')
+        if filename:
+            filename = f"{filename}.csv" if not filename.endswith('.csv') else filename
+        else:
+            filename = f"report_{report.id}_{timezone.now().strftime('%Y%m%d%H%M%S')}.csv"
+
+        with tempfile.NamedTemporaryFile(mode='w', delete=False, suffix='.csv', encoding='utf-8', newline='') as f:
+            tmp_path = f.name
+        
+        # Escribir CSV en archivo temporal
+        with open(tmp_path, 'w', newline='', encoding='utf-8') as f:
+            writer = csv.writer(f)
+            headers = [
+                'aduana', 'patente', 'regimen', 'pedimento', 'pedimento_app', 'clave_pedimento',
+                'tipo_operacion_id', 'contribuyente_id', 'tipo_documento', 'numero_documento', 'estado', 'acuse_estado'
+            ]
+            writer.writerow(headers)
+            
+            for ped in pedimentos:
+                for cove in Cove.objects.filter(pedimento=ped):
+                    writer.writerow([
+                        ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
+                        ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
+                        'COVE', cove.numero_cove, cove.cove_descargado, cove.acuse_cove_descargado
+                    ])
+                for edoc in EDocument.objects.filter(pedimento=ped):
+                    writer.writerow([
+                        ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
+                        ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
+                        'EDOC', edoc.numero_edocument, edoc.edocument_descargado, edoc.acuse_descargado
+                    ])
+                for partida in Partida.objects.filter(pedimento=ped):
+                    writer.writerow([
+                        ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
+                        ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
+                        'PARTIDA', partida.numero_partida, partida.descargado, ''
+                    ])
+        
+        # ============ NUEVO: Guardar en MinIO ============
+        # Leer archivo temporal
+        with open(tmp_path, 'rb') as f:
+            file_content = f.read()
+        
+        # Crear UploadedFile
+        uploaded_file = SimpleUploadedFile(
+            name=filename,
+            content=file_content,
+            content_type='text/csv'
+        )
+        
+        # Guardar en storage
+        ruta = storage_service.save_report(
+            file=uploaded_file,
+            organizacion_id=filters.get('organizacion_id'),
+            metadata={
+                'report_id': str(report.id),
+                'report_type': 'cumplimiento',
+                'user_id': str(report.user.id) if report.user else None
+            }
+        )
+        
+        if ruta:
+            report.file = ruta
+            report.status = 'ready'
+        else:
+            report.status = 'error'
+            report.error_message = 'Error al guardar el archivo en storage'
+        
+        # Limpiar temporal
+        os.unlink(tmp_path)
+        
+        report.finished_at = timezone.now()
+        report.save(update_fields=['status', 'file', 'finished_at', 'error_message'])
+        
+    except Exception as e:
+        report.status = 'error'
+        report.error_message = str(e)
+        report.finished_at = timezone.now()
+        report.save(update_fields=['status', 'error_message', 'finished_at'])
+
+@shared_task
+def generate_report_control_pedimento(report_id):
+    try:
+        
+        report = ReportDocument.objects.get(id=report_id)
+        report.status = 'processing'
+        report.save(update_fields=['status'])
+        filters = report.filters or {}
+
+        
+        # Construir filtros
+        pedimentos_filters = {}
+        if filters.get('organizacion_id'):
+            pedimentos_filters['organizacion_id'] = filters['organizacion_id']
+        if filters.get('fecha_pago__gte'):
+            pedimentos_filters['fecha_pago__gte'] = filters['fecha_pago__gte']
+        if filters.get('fecha_pago__lte'):
+            pedimentos_filters['fecha_pago__lte'] = filters['fecha_pago__lte']
+        if filters.get('pedimento_app'):
+            pedimentos_filters['pedimento_app'] = filters['pedimento_app']
+
+        # pedimentos por organizacion
+        pedimentos_qs = Pedimento.objects.filter(**pedimentos_filters)
+        pedimentos_total = pedimentos_qs.count()
+
+        
+        pedimento_ids = list(pedimentos_qs.values_list('id', flat=True))
+        rfcs_raw = list(pedimentos_qs.values_list('agente_aduanal', flat=True))
+
+        # inicializar totales
+        pedimentos_completos = 0
+        total_documentos = 0
+        documentos_sin_descargar = 0
+
+        nombre_organizacion = ''
+        if filters.get('organizacion_id'):
+            try:
+                # Asumo que tienes un modelo Organizacion - ajusta según tu modelo real
+                organizacion = Organizacion.objects.get(id=filters['organizacion_id'])
+                nombre_organizacion = organizacion.nombre  # ajusta el campo según tu modelo
+            except Organizacion.DoesNotExist:
+                nombre_organizacion = f"ID: {filters['organizacion_id']}"
+            except Exception as e:
+                nombre_organizacion = f"Error: {str(e)}"
+        
+        # lista de rfc
+        rfc_list = ', '.join(sorted(set([rfc for rfc in rfcs_raw if rfc])))
+        
+        fecha_inicio = ''
+        fecha_fin = ''
+
+        if pedimentos_qs.exists():
+            primer_pedimento = pedimentos_qs.order_by('fecha_pago').first()
+            if primer_pedimento and primer_pedimento.fecha_pago:
+                fecha_inicio = primer_pedimento.fecha_pago.strftime('%Y-%m-%d')
+            
+            ultimo_pedimento = pedimentos_qs.order_by('-fecha_pago').first()
+            if ultimo_pedimento and ultimo_pedimento.fecha_pago:
+                fecha_fin = ultimo_pedimento.fecha_pago.strftime('%Y-%m-%d')
+
+        # Para cada pedimento, verificar si está completo
+        for pedimento in pedimentos_qs:
+            # Contar documentos de este pedimento
+            docs_pedimento = 0
+            docs_pendientes_pedimento = 0
+            
+            # COVES
+            coves_count = Cove.objects.filter(pedimento_id=pedimento.id).count()
+            coves_pendientes = Cove.objects.filter(pedimento_id=pedimento.id, cove_descargado=False).count()
+            docs_pedimento += coves_count
+            docs_pendientes_pedimento += coves_pendientes
+            
+            # PARTIDAS
+            partidas_count = Partida.objects.filter(pedimento_id=pedimento.id).count()
+            partidas_pendientes = Partida.objects.filter(pedimento_id=pedimento.id, descargado=False).count()
+            docs_pedimento += partidas_count
+            docs_pendientes_pedimento += partidas_pendientes
+            
+            # EDOCUMENTS
+            edocs_count = EDocument.objects.filter(pedimento_id=pedimento.id).count()
+            edocs_pendientes = EDocument.objects.filter(pedimento_id=pedimento.id, edocument_descargado=False).count()
+            docs_pedimento += edocs_count
+            docs_pendientes_pedimento += edocs_pendientes
+            
+            # Acumular totales
+            total_documentos += docs_pedimento
+            documentos_sin_descargar += docs_pendientes_pedimento
+            
+            # Si no tiene documentos pendientes, está completo
+            if docs_pendientes_pedimento == 0 and docs_pedimento > 0:
+                pedimentos_completos += 1
+
+        # 3. PORCENTAJE
+        porcentaje_faltantes = (documentos_sin_descargar / total_documentos * 100) if total_documentos > 0 else 0
+
+        # 4. GENERAR CSV CON DETALLES
+        filename = f"report_{report.id}_{timezone.now().strftime('%Y%m%d%H%M%S')}.csv"
+        file_path = os.path.join(settings.MEDIA_ROOT, 'reports', filename)
+        os.makedirs(os.path.dirname(file_path), exist_ok=True)
+        
+        todas_las_filas = []
+        
+        # Recopilar datos detallados - UNA FILA POR CADA DOCUMENTO
+        for pedimento in pedimentos_qs:
+            # DATOS BASE DEL PEDIMENTO (se repiten en cada fila)
+            datos_base_pedimento = [
+                pedimento.aduana or '',
+                pedimento.patente or '',
+                pedimento.regimen or '',
+                pedimento.pedimento or '',  # No. Pedimento (7 dígitos)
+                pedimento.pedimento_app or '',  # No. Pedimento App completo
+                pedimento.clave_pedimento or '',
+                pedimento.tipo_operacion.tipo if pedimento.tipo_operacion else '',
+                str(pedimento.contribuyente_id) if pedimento.contribuyente_id else ''
+            ]
+            
+            # COVES - Una fila por cada COVE
+            coves = Cove.objects.filter(pedimento_id=pedimento.id)
+            for cove in coves:
+                estado = 'VERDADERO' if cove.cove_descargado else 'FALSO'
+                fila = datos_base_pedimento + [
+                    # str(cove.id),  # Identificador de documento
+                    cove.numero_cove,  
+                    'COVE',  # Tipo de documento
+                    estado
+                ]
+                todas_las_filas.append(fila)
+            
+            # PARTIDAS - Una fila por cada Partida
+            partidas = Partida.objects.filter(pedimento_id=pedimento.id)
+            for partida in partidas:
+                estado = 'VERDADERO' if partida.descargado else 'FALSO'
+                fila = datos_base_pedimento + [
+                    # str(partida.id), 
+                    partida.numero_partida, 
+                    'PARTIDA',  # Tipo de documento
+                    estado
+                ]
+                todas_las_filas.append(fila)
+            
+            # EDOCUMENTS - Una fila por cada EDocument
+            edocuments = EDocument.objects.filter(pedimento_id=pedimento.id)
+            for edoc in edocuments:
+                estado = 'VERDADERO' if edoc.edocument_descargado else 'FALSO'
+                fila = datos_base_pedimento + [
+                    # str(edoc.id), 
+                    edoc.numero_edocument,
+                    'EDOCUMENT',  # Tipo de documento
+                    estado
+                ]
+                todas_las_filas.append(fila)
+
+        # 5. ESCRIBIR ARCHIVO CSV
+        with open(file_path, 'w', newline='', encoding='utf-8') as f:
+            writer = csv.writer(f)
+            
+            # SECCIÓN DE TOTALES
+            writer.writerow(['RESUMEN DEL REPORTE - CONTROL DE PEDIMENTOS'])
+            writer.writerow(['ORGANIZACION:', nombre_organizacion])
+            writer.writerow([])
+            writer.writerow(['TOTAL DE EXPEDIENTES:', pedimentos_total])
+            writer.writerow(['TOTAL DE EXPEDIENTES COMPLETOS:', pedimentos_completos])
+            writer.writerow(['TOTAL DE DOCUMENTOS:', total_documentos])
+            writer.writerow(['DOCUMENTOS SIN DESCARGAR:', documentos_sin_descargar])
+            writer.writerow(['PORCENTAJE DE DOCUMENTOS FALTANTES (%):', f"{porcentaje_faltantes:.2f}%"])
+            writer.writerow(['DESDE: ', fecha_inicio, ' HASTA: ', fecha_fin])
+            writer.writerow(['LISTA RFC:', rfc_list])
+            writer.writerow([])
+            writer.writerow([])
+            
+            # ENCABEZADOS DE DATOS (según requerimiento)
+            headers = [
+                'ADUANA', 'PATENTE', 'REGIMEN', 'NO. PEDIMENTO', 'PEDIMENTO_APP', 
+                'CLAVE_PEDIMENTO', 'TIPO_OPERACION', 'CONTRIBUYENTE_ID', 
+                'IDENTIFICADOR_DOCUMENTO', 'TIPO_DOCUMENTO', 'ESTADO'
+            ]
+            writer.writerow(headers)
+            
+            # DATOS DETALLADOS
+            for fila in todas_las_filas:
+                writer.writerow(fila)
+
+
+        with open(file_path, 'rb') as f:
+            report.file.save(filename, ContentFile(f.read()), save=True)
+        
+        report.status = 'ready'
+        report.finished_at = timezone.now()
+        report.save(update_fields=['status', 'file', 'finished_at'])    
+        
+    except Exception as e:
+        report.status = 'error'
+        report.error_message = str(e)
+        report.finished_at = timezone.now()
+        report.save(update_fields=['status', 'error_message', 'finished_at'])

api/reports/urls.py

@@ -1,12 +1,16 @@
 from django.urls import path, include
-from .views import ExportModelView, dashboard_summary
+from .views import ExportModelView, ExportDataStageView, dashboard_summary
 # from .views_stats import documentos_por_fecha
-# from .views_table import table_summary
+from .views_table import table_summary, report_document_status, report_document_list, report_document_download, control_pedimento
 
 urlpatterns = [
     path('exportmodel/', ExportModelView.as_view(), name='export-model'),
+    path('exportmodel/datastage/', ExportDataStageView.as_view(), name='export-datastage-model'),
+    path('control-pedimento/', control_pedimento, name='control_pedimento'),
     path('dashboard/summary/', dashboard_summary, name='dashboard-summary'),
     #path('documentos-por-fecha/', documentos_por_fecha, name='documentos-por-fecha'),
-    #path('table-summary/', table_summary, name='table-summary'),
+    path('table-summary/', table_summary, name='table-summary'),
-
+    path('report-document-status/<int:report_id>/', report_document_status, name='report_document_status'),
+    path('report-document-list/', report_document_list, name='report_document_list'),
+    path('report-document-download/<int:report_id>/', report_document_download, name='report_document_download'),
 ]

api/reports/views_table.py

@@ -1,27 +1,26 @@
+from api.reports.models import ReportDocument
+from api.reports.tasks.report_document import generate_report_document, generate_report_control_pedimento
+from django.http import FileResponse
+from api.utils.storage_service import storage_service
 from rest_framework.decorators import api_view, permission_classes
 from rest_framework.permissions import IsAuthenticated
 from rest_framework.response import Response
-from rest_framework.pagination import PageNumberPagination
+import tempfile
-from django.db.models import Value, CharField, Q, Exists, OuterRef, Subquery
+import os
-from django.db.models.functions import Cast
+import atexit
-from datetime import datetime, timedelta
-from api.customs.models import Pedimento, Cove, EDocument, Partida
-
-class CustomPagination(PageNumberPagination):
-    page_size = 50
-    page_size_query_param = 'page_size'
-    max_page_size = 1000
 
 @api_view(['GET'])
 @permission_classes([IsAuthenticated])
 def table_summary(request):
     """
-    Endpoint que devuelve un resumen tabulado de pedimentos y sus documentos asociados.
+    Solo dispara la tarea asíncrona para generar el reporte CSV. No consulta ni procesa datos.
     """
+
     org_id = request.query_params.get('organizacion_id')
+    # hasta aqui si llega y crea el registro en la base de datos 
+    print(f'🖼️🖼️🖼️🖼️🖼️🖼️🖼️ table_summary organizacion id = {org_id}')
     if not org_id:
         return Response({"error": "organizacion_id es requerido"}, status=400)
-
     # Obtener filtros de query params
     tipo_documento = request.query_params.get('tipo_documento')
     rfc = request.query_params.get('contribuyente__rfc')
@@ -33,137 +32,160 @@ def table_summary(request):
     pedimento_app = request.query_params.get('pedimento_app')
     regimen = request.query_params.get('regimen')
     tipo_operacion = request.query_params.get('tipo_operacion')
-
+    filename_param = request.query_params.get('filename')
-    # Si no se proporcionan fechas, establecer un rango por defecto de los últimos 30 días
+    if filename_param:
-    if not fecha_pago_gte and not fecha_pago_lte:
+        filename = filename_param
-        fecha_pago_lte = datetime.now().date()
+    else:
-        fecha_pago_gte = fecha_pago_lte - timedelta(days=30)
+        filename = None
-
+    # Si no se proporcionan fechas, no las incluyas en los filtros
-    # Construir filtros base para pedimentos
+    if not fecha_pago_gte:
-    pedimentos_filters = Q(organizacion_id=org_id)
+        fecha_pago_gte_str = None
-    
+    elif isinstance(fecha_pago_gte, str):
-    # Añadir filtros de fecha siempre para limitar el conjunto de datos
+        fecha_pago_gte_str = fecha_pago_gte
-    pedimentos_filters &= Q(fecha_pago__gte=fecha_pago_gte)
+    else:
-    pedimentos_filters &= Q(fecha_pago__lte=fecha_pago_lte)
+        fecha_pago_gte_str = fecha_pago_gte.isoformat()
-    
+    if not fecha_pago_lte:
-    if rfc:
+        fecha_pago_lte_str = None
-        pedimentos_filters &= Q(contribuyente__rfc=rfc)
+    elif isinstance(fecha_pago_lte, str):
-    if patente:
+        fecha_pago_lte_str = fecha_pago_lte
-        pedimentos_filters &= Q(patente=patente)
+    else:
-    if aduana:
+        fecha_pago_lte_str = fecha_pago_lte.isoformat()
-        pedimentos_filters &= Q(aduana=aduana)
+    filtros = {
-    if pedimento:
+        "organizacion_id": org_id,
-        pedimentos_filters &= Q(pedimento=pedimento)
+        "tipo_documento": tipo_documento,
-    if pedimento_app:
+        "contribuyente__rfc": rfc,
-        pedimentos_filters &= Q(pedimento_app=pedimento_app)
+        "fecha_pago__gte": fecha_pago_gte_str,
-    if regimen:
+        "fecha_pago__lte": fecha_pago_lte_str,
-        pedimentos_filters &= Q(regimen=regimen)
+        "patente": patente,
-    if tipo_operacion:
+        "aduana": aduana,
-        pedimentos_filters &= Q(tipo_operacion_id=tipo_operacion)
+        "pedimento": pedimento,
-
+        "pedimento_app": pedimento_app,
-    # Query base desde pedimentos con todas las subconsultas necesarias
+        "regimen": regimen,
-    resultado = Pedimento.objects.filter(pedimentos_filters).values(
+        "tipo_operacion": tipo_operacion,
-        'aduana',
+        "filename": filename
-        'patente',
+    }
-        'regimen',
+    report = ReportDocument.objects.create(
-        'pedimento',
+        user=request.user,
-        'pedimento_app',
+        filters=filtros,
-        'clave_pedimento',
+        status='pending',
-        'tipo_operacion_id',
+        report_type='cumplimiento'
-        'contribuyente_id'
     )
+    generate_report_document.delay(report.id)
+    return Response({
+        "report_id": report.id,
+        "status": report.status,
+        "created_at": report.created_at,
+        # "download_url": report.file.url if report.file else None
+        "download_url": storage_service.get_file_url(report.file) if report.file else None
 
-    # Generar queries según el tipo de documento solicitado
+    }, status=202)
-    queries = []
-    
-    if not tipo_documento or tipo_documento == 'ACUSE COVE':
-        coves_acuse = resultado.annotate(
-            identificador=Cast(Subquery(
-                Cove.objects.filter(pedimento_id=OuterRef('id')).values('numero_cove')[:1]
-            ), CharField()),
-            documento=Value('ACUSE COVE', CharField()),
-            estado=Cast(Subquery(
-                Cove.objects.filter(pedimento_id=OuterRef('id')).values('acuse_cove_descargado')[:1]
-            ), CharField())
-        ).filter(identificador__isnull=False)
-        queries.append(coves_acuse)
 
-    if not tipo_documento or tipo_documento == 'COVE':
+@api_view(['GET'])
-        coves = resultado.annotate(
+@permission_classes([IsAuthenticated])
-            identificador=Cast(Subquery(
+def report_document_status(request, report_id):
-                Cove.objects.filter(pedimento_id=OuterRef('id')).values('numero_cove')[:1]
+    try:
-            ), CharField()),
+        report = ReportDocument.objects.get(id=report_id, user=request.user)
-            documento=Value('COVE', CharField()),
+        data = {
-            estado=Cast(Subquery(
+            "report_id": report.id,
-                Cove.objects.filter(pedimento_id=OuterRef('id')).values('cove_descargado')[:1]
+            "status": report.status,
-            ), CharField())
+            "created_at": report.created_at,
-        ).filter(identificador__isnull=False)
+            "finished_at": report.finished_at,
-        queries.append(coves)
+            "error_message": report.error_message,
+            # "download_url": report.file.url if report.file else None
+            "download_url": storage_service.get_file_url(report.file) if report.file else None
 
-    if not tipo_documento or tipo_documento == 'ACUSE EDOC':
-        edocs_acuse = resultado.annotate(
-            identificador=Cast(Subquery(
-                EDocument.objects.filter(pedimento_id=OuterRef('id')).values('numero_edocument')[:1]
-            ), CharField()),
-            documento=Value('ACUSE EDOC', CharField()),
-            estado=Cast(Subquery(
-                EDocument.objects.filter(pedimento_id=OuterRef('id')).values('acuse_descargado')[:1]
-            ), CharField())
-        ).filter(identificador__isnull=False)
-        queries.append(edocs_acuse)
-
-    if not tipo_documento or tipo_documento == 'EDOC':
-        edocs = resultado.annotate(
-            identificador=Cast(Subquery(
-                EDocument.objects.filter(pedimento_id=OuterRef('id')).values('numero_edocument')[:1]
-            ), CharField()),
-            documento=Value('EDOC', CharField()),
-            estado=Cast(Subquery(
-                EDocument.objects.filter(pedimento_id=OuterRef('id')).values('edocument_descargado')[:1]
-            ), CharField())
-        ).filter(identificador__isnull=False)
-        queries.append(edocs)
-
-    if not tipo_documento or tipo_documento == 'PARTIDA':
-        partidas = resultado.annotate(
-            identificador=Cast(Subquery(
-                Partida.objects.filter(pedimento_id=OuterRef('id')).values('numero_partida')[:1]
-            ), CharField()),
-            documento=Value('PARTIDA', CharField()),
-            estado=Cast(Subquery(
-                Partida.objects.filter(pedimento_id=OuterRef('id')).values('descargado')[:1]
-            ), CharField())
-        ).filter(identificador__isnull=False)
-        queries.append(partidas)
-
-    # Unir los resultados usando UNION ALL para mejor rendimiento
-    if not queries:
-        return Response([])
-    
-    resultado_final = queries[0]
-    for query in queries[1:]:
-        resultado_final = resultado_final.union(query, all=True)
-
-    # Aplicar paginación
-    paginator = CustomPagination()
-    page = paginator.paginate_queryset(
-        resultado_final.order_by('pedimento', 'documento'), 
-        request
-    )
-
-    return paginator.get_paginated_response({
-        "results": page,
-        "filtros_aplicados": {
-            "organizacion_id": org_id,
-            "tipo_documento": tipo_documento,
-            "contribuyente__rfc": rfc,
-            "fecha_pago__gte": fecha_pago_gte,
-            "fecha_pago__lte": fecha_pago_lte,
-            "patente": patente,
-            "aduana": aduana,
-            "pedimento": pedimento,
-            "pedimento_app": pedimento_app,
-            "regimen": regimen,
-            "tipo_operacion": tipo_operacion
         }
-    })
+        return Response(data)
+    except ReportDocument.DoesNotExist:
+        return Response({"error": "Reporte no encontrado"}, status=404)
+
+@api_view(['GET'])
+@permission_classes([IsAuthenticated])
+def report_document_list(request):
+    reports = ReportDocument.objects.filter(user=request.user).order_by('-created_at')
+    data = [
+        {
+            "report_id": r.id,
+            "report_type": r.report_type,
+            "status": r.status,
+            "created_at": r.created_at,
+            "finished_at": r.finished_at,
+            "error_message": r.error_message,
+            # "download_url": r.file.url if r.file else None
+            "download_url": storage_service.get_file_url(r.file) if r.file else None
+        }
+        for r in reports
+    ]
+    return Response(data)
+
+@api_view(['GET'])
+@permission_classes([IsAuthenticated])
+def report_document_download(request, report_id):
+    try:
+        report = ReportDocument.objects.get(id=report_id, user=request.user)
+        if not report.file:
+            return Response({"error": "El archivo aún no está disponible"}, status=404)
+        
+        ruta = str(report.file)
+        with tempfile.NamedTemporaryFile(delete=False, suffix='.csv') as tmp:
+            tmp_path = tmp.name
+        
+        success = storage_service.download_file(ruta, tmp_path)
+        if not success:
+            return Response({"error": "No se pudo descargar el archivo"}, status=500)
+        
+        filename = os.path.basename(ruta)
+        response = FileResponse(open(tmp_path, 'rb'),as_attachment=True,filename=filename)
+        
+        atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
+        
+        return response
+        
+    except ReportDocument.DoesNotExist:
+        return Response({"error": "Reporte no encontrado"}, status=404)
+
+@api_view(['GET'])
+@permission_classes([IsAuthenticated])
+def control_pedimento(request):
+    """
+    Dispara la tarea asíncrona para generar el reporte CSV de control de Pedimentos. 
+    """
+    org_id = request.query_params.get('organizacion_id')
+
+    if not org_id:
+        return Response({"error": "organizacion_id es requerido"}, status=400)
+    
+    # Simplificar la lógica de fechas
+    fecha_pago_gte = request.query_params.get('fecha_pago__gte')
+    fecha_pago_lte = request.query_params.get('fecha_pago__lte')
+    pedimento_app = request.query_params.get('pedimento_app')
+    
+    # Si las fechas vienen como string, mantenerlas como están
+    fecha_pago_gte_str = fecha_pago_gte if fecha_pago_gte else None
+    fecha_pago_lte_str = fecha_pago_lte if fecha_pago_lte else None
+    
+    filtros = {
+        "pedimento_app": pedimento_app,
+        "organizacion_id": org_id,
+        "fecha_pago__gte": fecha_pago_gte_str,
+        "fecha_pago__lte": fecha_pago_lte_str,
+    }
+    
+    # Crear el reporte
+    report = ReportDocument.objects.create(
+        user=request.user,
+        filters=filtros,
+        status='pending',
+        report_type='control_pedimento'
+    )
+    
+    # Disparar la tarea asíncrona
+    generate_report_control_pedimento.delay(report.id)
+    
+    return Response({
+        "report_id": report.id,
+        "status": report.status,
+        "created_at": report.created_at,
+        "message": "Reporte en proceso de generación",
+        "download_url": report.file.url if report.file else None
+    }, status=202)

api/tasks/filters.py

@@ -8,7 +8,8 @@ class TaskFilter(filters.FilterSet):
     timestamp_gte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='gte')
     timestamp_lte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='lte')
     status = filters.CharFilter(field_name='status')
+    organizacion = filters.UUIDFilter(field_name='organizacion__id')  # Cambiado a relación directa
 
     class Meta:
         model = Task
-        fields = ['servicio', 'pedimento_app', 'pedimento', 'timestamp_gte', 'timestamp_lte', 'status']
+        fields = ['servicio', 'pedimento_app', 'pedimento', 'timestamp_gte', 'timestamp_lte', 'status', 'organizacion']

api/tasks/urls.py

@@ -1,10 +1,12 @@
 from rest_framework.routers import DefaultRouter
 from .views import TaskViewSet
 from django.urls import path, include
+from .views import TaskStatusView
 
 router = DefaultRouter()
 router.register(r'tasks', TaskViewSet)
 
 urlpatterns = [
     path('', include(router.urls)),
+    path('status/<str:task_id>/', TaskStatusView.as_view(), name='task-status'),
 ]

api/tasks/views.py

@@ -4,6 +4,7 @@ from django_filters.rest_framework import DjangoFilterBackend
 from rest_framework.pagination import PageNumberPagination
 
 from api.logger.mixins import LoggingMixin
+from mixins.filtrado_organizacion import OrganizacionFiltradaMixin, ProcesosPorOrganizacionMixin
 from .models import Task
 from .serializers import TaskSerializer
 from .filters import TaskFilter
@@ -22,7 +23,7 @@ class TaskPagination(PageNumberPagination):
     page_size_query_param = 'page_size'
     max_page_size = 100
 
-class TaskViewSet(LoggingMixin,viewsets.ModelViewSet):
+class TaskViewSet(LoggingMixin,viewsets.ModelViewSet,OrganizacionFiltradaMixin):
     permission_classes = [IsAuthenticated &  (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
     queryset = Task.objects.select_related('pedimento', 'servicio').all()
     serializer_class = TaskSerializer
@@ -32,4 +33,73 @@ class TaskViewSet(LoggingMixin,viewsets.ModelViewSet):
     ordering_fields = ['timestamp']
     ordering = ['-timestamp']  # ordenamiento por defecto, más reciente primero
     
-    my_tags = ['tasks']
+    my_tags = ['tasks']
+
+    def get_queryset(self):
+
+        """
+        Filtra las tareas según la organización del usuario.
+        Superusuarios pueden ver todas las tareas.
+        """
+        queryset = self.get_queryset_filtrado_por_organizacion() # Tambien filtra por importador
+        # if user.is_superuser:
+        #     return self.queryset
+        #     # return self.queryset.filter(organizacion_id=user.organizacion.id)
+        # else:
+        #     return self.queryset.filter(organizacion_id=user.organizacion.id)
+        return queryset
+
+
+from rest_framework.views import APIView
+from rest_framework.response import Response
+from rest_framework import status
+from celery.result import AsyncResult
+
+
+class TaskStatusView(APIView):
+    """
+    Vista para consultar el estado de tareas de Celery.
+    """
+    permission_classes = [IsAuthenticated]
+    
+    def get(self, request, task_id):
+        """
+        Consulta el estado de una tarea de Celery.
+        
+        Returns:
+            - PENDING: La tarea está esperando ser procesada
+            - STARTED: La tarea ha sido iniciada
+            - SUCCESS: La tarea se completó exitosamente
+            - FAILURE: La tarea falló
+            - RETRY: La tarea está reintentando
+        """
+        try:
+            task_result = AsyncResult(task_id)
+            
+            response_data = {
+                'task_id': task_id,
+                'status': task_result.state,
+                'ready': task_result.ready(),
+                'successful': task_result.successful() if task_result.ready() else None,
+            }
+            
+            if task_result.ready() and task_result.successful():
+                try:
+                    response_data['result'] = task_result.result
+                except Exception:
+                    pass
+            
+            if task_result.state == 'FAILURE':
+                response_data['error'] = str(task_result.info)
+            
+            if task_result.state == 'STARTED':
+                response_data['info'] = str(task_result.info) if task_result.info else None
+            
+            return Response(response_data, status=status.HTTP_200_OK)
+            
+        except Exception as e:
+            return Response(
+                {'error': f'Error al consultar tarea: {str(e)}'},
+                status=status.HTTP_500_INTERNAL_SERVER_ERROR
+            )
+        

api/utils/helpers.py

@@ -0,0 +1,194 @@
+# auditoria_xml.py
+import xml.etree.ElementTree as ET
+from datetime import datetime
+
+def extraer_info_pedimento_xml(xml_content):
+    """
+    Extrae información específica de un XML de pedimento.
+    """
+    try:
+        # Parsear el XML
+        root = ET.fromstring(xml_content)
+        
+        # Buscar el namespace (puede variar)
+        namespaces = {
+            'S': 'http://schemas.xmlsoap.org/soap/envelope/',
+            'ns2': 'http://www.ventanillaunica.gob.mx/pedimentos/ws/oxml/consultarpedimentocompleto',
+            'ns3': 'http://www.ventanillaunica.gob.mx/common/ws/oxml/respuesta'
+        }
+        
+        resultado = {}
+        
+        # Extraer número de operación
+        num_op = root.find('.//ns2:numeroOperacion', namespaces)
+        if num_op is not None and num_op.text:
+            resultado['numero_operacion'] = num_op.text
+        
+        # Extraer información del pedimento
+        pedimento_elem = root.find('.//ns2:pedimento', namespaces)
+        if pedimento_elem is not None:
+            # Número de pedimento
+            ped_num = pedimento_elem.find('ns2:pedimento', namespaces)
+            if ped_num is not None and ped_num.text:
+                resultado['numero_pedimento'] = ped_num.text
+            
+            # Número de partidas
+            partidas = pedimento_elem.find('ns2:partidas', namespaces)
+            if partidas is not None and partidas.text:
+                try:
+                    resultado['numero_partidas'] = int(partidas.text)
+                except (ValueError, TypeError):
+                    pass
+            
+            # Tipo de operación clave
+            tipo_op_clave = pedimento_elem.find('.//ns2:tipoOperacion/ns2:clave', namespaces)
+            if tipo_op_clave is not None and tipo_op_clave.text:
+                if tipo_op_clave.text.strip() == '1':
+
+                    resultado['tipo_operacion'] = 'Importacion'
+                    resultado['tipo_operacion_descripcion'] = 'Indica operacion como Importaciones'
+
+                elif tipo_op_clave.text.strip() == '2':
+                    
+                    resultado['tipo_operacion'] = 'Exportacion'
+                    resultado['tipo_operacion_descripcion'] = 'Indica operacion de exportacion' 
+
+
+             # Clave del documento (clave_pedimento)
+            clave_doc = pedimento_elem.find('.//ns2:claveDocumento/ns2:clave', namespaces)
+            if clave_doc is not None and clave_doc.text:
+                resultado['clave_pedimento'] = clave_doc.text.strip()
+
+            # Aduana (patente)
+            aduana = pedimento_elem.find('.//ns2:aduanaEntradaSalida/ns2:clave', namespaces)
+            if aduana is not None and aduana.text:
+                resultado['aduana_clave'] = aduana.text.strip()
+
+            # Importador/Exportador
+            importador = pedimento_elem.find('.//ns2:importadorExportador', namespaces)
+            if importador is not None:
+                rfc = importador.find('ns2:rfc', namespaces)
+                if rfc is not None and rfc.text:
+                    resultado['contribuyente_rfc'] = rfc.text.strip()
+                
+                razon_social = importador.find('ns2:razonSocial', namespaces)
+                if razon_social is not None and razon_social.text:
+                    resultado['contribuyente_nombre'] = razon_social.text.strip()
+                
+                # Valor en dólares
+                valor_dolares = importador.find('ns2:valorDolares', namespaces)
+                if valor_dolares is not None and valor_dolares.text:
+                    try:
+                        resultado['valor_dolares'] = float(valor_dolares.text)
+                    except (ValueError, TypeError):
+                        pass
+
+                # Aduana de despacho
+                aduana_despacho = importador.find('ns2:aaduanaDespacho/ns2:clave', namespaces)
+                if aduana_despacho is not None and aduana_despacho.text:
+                    resultado['aduana_despacho'] = aduana_despacho.text.strip()
+            
+            # Encabezado del pedimento
+            encabezado = pedimento_elem.find('ns2:encabezado', namespaces)
+            if encabezado is not None:
+                # Aduana
+                aduana = encabezado.find('ns2:aduanaEntradaSalida/ns2:clave', namespaces)
+                if aduana is not None and aduana.text:
+                    resultado['aduana_clave'] = aduana.text.strip()
+                
+                # Tipo de cambio
+                tipo_cambio = encabezado.find('ns2:tipoCambio', namespaces)
+                if tipo_cambio is not None and tipo_cambio.text:
+                    try:
+                        resultado['tipo_cambio'] = float(tipo_cambio.text)
+                    except (ValueError, TypeError):
+                        pass
+                
+                # RFC Agente Aduanal
+                rfc_agente = encabezado.find('ns2:rfcAgenteAduanalSocFactura', namespaces)
+                if rfc_agente is not None and rfc_agente.text:
+                    resultado['rfc_agente_aduanal'] = rfc_agente.text.strip()
+
+                # CURP Apoderado
+                curp_apoderado = encabezado.find('ns2:curpApoderadomandatario', namespaces)
+                if curp_apoderado is not None and curp_apoderado.text:
+                    resultado['curp_apoderado'] = curp_apoderado.text.strip()
+
+                # Valor Aduanal Total
+                valor_aduanal = encabezado.find('ns2:valorAduanalTotal', namespaces)
+                if valor_aduanal is not None and valor_aduanal.text:
+                    try:
+                        resultado['valor_aduanal_total'] = float(valor_aduanal.text)
+                    except (ValueError, TypeError):
+                        pass
+
+                # Valor Comercial Total
+                valor_comercial = encabezado.find('ns2:valorComercialTotal', namespaces)
+                if valor_comercial is not None and valor_comercial.text:
+                    try:
+                        resultado['valor_comercial_total'] = float(valor_comercial.text)
+                    except (ValueError, TypeError):
+                        pass
+                    
+            # Fechas
+            fechas = pedimento_elem.findall('.//ns2:fechas', namespaces)
+            for fecha_elem in fechas:
+                fecha = fecha_elem.find('ns2:fecha', namespaces)
+                clave_fecha = fecha_elem.find('ns2:tipo/ns2:clave', namespaces)
+
+                if fecha is not None and fecha.text and clave_fecha is not None and clave_fecha.text:
+
+                    fecha_texto = fecha.text.strip()
+                    clave_fecha_texto = clave_fecha.text.strip()
+
+                    # Mapeo de claves según especificación
+                    if clave_fecha_texto == '1':  # Entrada
+                        resultado['fecha_entrada'] = fecha_texto
+                    elif clave_fecha_texto == '2':  # Pago
+                        resultado['fecha_pago'] = fecha_texto
+                    elif clave_fecha_texto == '3':  # Extracción
+                        resultado['fecha_extraccion'] = fecha_texto
+                    elif clave_fecha_texto == '5':  # Presentación
+                        resultado['fecha_presentacion'] = fecha_texto
+                    elif clave_fecha_texto == '6':  # Importación
+                        resultado['fecha_importacion'] = fecha_texto
+                    elif clave_fecha_texto == '7':  # Original
+                        resultado['fecha_original'] = fecha_texto
+                    else:
+                        resultado[f'fecha_clave_{clave_fecha_texto}'] = fecha_texto
+
+            # Facturas (para COVEs)
+            facturas = pedimento_elem.findall('.//ns2:facturas', namespaces)
+            coves_encontrados = []
+            for factura in facturas:
+                numero = factura.find('ns2:numero', namespaces)
+                if numero is not None and numero.text:
+                    coves_encontrados.append(numero.text.strip())
+            
+            if coves_encontrados:
+                resultado['coves_en_xml'] = coves_encontrados
+            
+            # E-Documents
+            identificadores = pedimento_elem.findall('.//ns2:identificadores/ns2:identificadores', namespaces)
+            edocs_encontrados = []
+            for ident in identificadores:
+                clave = ident.find('claveIdentificador/descripcion', namespaces)
+                complemento = ident.find('complemento1', namespaces)
+                if clave is not None and clave.text and 'E_DOCUMENT' in clave.text:
+                    if complemento is not None and complemento.text:
+                        edocs_encontrados.append(complemento.text.strip())
+            
+            if edocs_encontrados:
+                resultado['edocuments_en_xml'] = edocs_encontrados
+        
+        # Verificar si hay error en la respuesta
+        tiene_error = root.find('.//ns3:tieneError', namespaces)
+        if tiene_error is not None:
+            resultado['tiene_error'] = tiene_error.text.lower() == 'true'
+        
+        return resultado
+        
+    except ET.ParseError as e:
+        return {'error_parse': str(e)}
+    except Exception as e:
+        return {'error': str(e)}

api/utils/minio_client.py

@@ -0,0 +1,143 @@
+# backend/utils/minio_client.py
+from datetime import timedelta
+import os
+from minio import Minio
+from minio.error import S3Error
+from django.conf import settings
+from typing import Optional, BinaryIO
+import logging
+
+logger = logging.getLogger(__name__)
+
+
+class MinIOClient:
+    """Cliente singleton para MinIO con operaciones avanzadas"""
+    
+    _instance = None
+    _client = None
+    _bucket_name = None
+
+    def __new__(cls):
+        if cls._instance is None:
+            cls._instance = super().__new__(cls)
+        return cls._instance
+    
+    def __init__(self):
+        if self._client is None and settings.STORAGE_BACKEND == 'minio':
+            self._initialize_client()
+    
+    def _initialize_client(self):
+        """Inicializa el cliente de MinIO"""
+        try:
+            endpoint = os.getenv('MINIO_ENDPOINT', 'minio:9000')
+            access_key = os.getenv('MINIO_ACCESS_KEY')
+            secret_key = os.getenv('MINIO_SECRET_KEY')
+            secure = os.getenv('MINIO_SECURE', 'false').lower() == 'true'
+            
+            self._client = Minio(
+                endpoint=endpoint,
+                access_key=access_key,
+                secret_key=secret_key,
+                secure=secure
+            )
+
+            self._bucket_name = os.environ.get('MINIO_BUCKET_NAME', 'efc-backend-dev')
+            
+            # Asegurar que el bucket existe
+            if not self._client.bucket_exists(self._bucket_name):
+                self._client.make_bucket(self._bucket_name)
+                
+        except Exception as e:
+            raise
+    
+    def upload_file(
+        self, 
+        object_name: str, 
+        file_path: str = None, 
+        file_data: BinaryIO = None,
+        content_type: str = None,
+        metadata: dict = None
+    ) -> bool:
+        """
+        Sube un archivo a MinIO
+        
+        Args:
+            object_name: Ruta del objeto en el bucket (ej: 'documents/archivo.xml')
+            file_path: Ruta local del archivo (opcional)
+            file_data: Datos del archivo en memoria (opcional)
+            content_type: MIME type del archivo
+            metadata: Metadatos adicionales
+        
+        Returns:
+            bool: True si se subió correctamente
+        """
+        try:
+            if file_path:
+                self._client.fput_object(
+                    bucket_name=self._bucket_name,
+                    object_name=object_name,
+                    file_path=file_path,
+                    content_type=content_type,
+                    metadata=metadata
+                )
+            elif file_data:
+                self._client.put_object(
+                    bucket_name=self._bucket_name,
+                    object_name=object_name,
+                    data=file_data,
+                    length=-1,
+                    part_size=10*1024*1024,  # 10MB
+                    content_type=content_type,
+                    metadata=metadata
+                )
+            else:
+                raise ValueError("You must provide file_path or file_data")
+            
+            return True
+            
+        except S3Error as e:
+            return False
+    
+    def get_file_url(self, object_name: str, expires: int = 3600) -> Optional[str]:
+        """Genera una URL firmada para acceder al archivo"""
+        try:
+            url = self._client.presigned_get_object(
+                bucket_name=self._bucket_name,
+                object_name=object_name,
+                expires=timedelta(seconds=expires)
+            )
+            
+            # Reemplazar endpoint interno por público si está configurado
+            public_endpoint = os.getenv('MINIO_PUBLIC_ENDPOINT')
+            if public_endpoint and url:
+                internal_endpoint = os.getenv('MINIO_ENDPOINT', 'minio:9000')
+                url = url.replace(internal_endpoint, public_endpoint)
+            
+            return url
+        except S3Error as e:
+            return None
+    
+    def delete_file(self, object_name: str) -> bool:
+        """Elimina un archivo del bucket"""
+        try:
+            self._client.remove_object(
+                bucket_name=self._bucket_name,
+                object_name=object_name
+            )
+            return True
+        except S3Error as e:
+            return False
+    
+    def file_exists(self, object_name: str) -> bool:
+        """Verifica si un archivo existe en el bucket"""
+        try:
+            self._client.stat_object(
+                bucket_name=self._bucket_name,
+                object_name=object_name
+            )
+            return True
+        except S3Error:
+            return False
+
+# Singleton para uso global
+minio_client = MinIOClient()

api/utils/storage_service.py

@@ -0,0 +1,628 @@
+# backend/utils/storage_service.py
+import os
+import logging
+import mimetypes
+import shutil
+from uuid import uuid4
+from typing import Optional, Union, Literal
+from pathlib import Path
+from enum import Enum
+
+from django.core.files.uploadedfile import UploadedFile
+from django.conf import settings
+
+from .minio_client import minio_client
+
+logger = logging.getLogger(__name__)
+
+
+class StorageCategory(str, Enum):
+    """Categorías de almacenamiento disponibles"""
+    DOCUMENTS = "documents"
+    DATASTAGE = "datastage"
+    REPORTS = "reports"
+    VUCEM_CERTS = "vucem_certs"
+    VUCEM_KEYS = "vucem_keys"
+
+
+class StorageService:
+    """
+    Servicio para gestionar el almacenamiento de archivos.
+    Estructura aislada por organización:
+    
+    org_{id}/
+    ├── documents/{pedimento_app o unknown}/
+    ├── datastage/
+    ├── reports/
+    ├── vucem_certs/
+    └── vucem_keys/
+    """
+    
+    def __init__(self):
+        self.client = minio_client
+        self.storage_backend = getattr(settings, 'STORAGE_BACKEND', 'local')
+        self.local_media_root = getattr(settings, 'MEDIA_ROOT', 'media')
+        self.debug = getattr(settings, 'DEBUG', False)
+    
+    def _generate_filename(self, original_filename: str) -> str:
+        """Genera un nombre de archivo único para evitar colisiones"""
+        name, ext = os.path.splitext(original_filename)
+        unique_id = str(uuid4())[:8]
+        return f"{name}_{unique_id}{ext}"
+    
+    def _get_content_type(self, filename: str) -> Optional[str]:
+        """Determina el content-type basado en la extensión del archivo"""
+        content_type, _ = mimetypes.guess_type(filename)
+        return content_type
+    
+    def _sanitize_folder_name(self, name: str) -> str:
+        """
+        Sanitizar nombres de carpetas reemplazando caracteres problematicos.
+        Los guiones (-) son validos.
+        """
+        invalid_chars = '<>:"/\\|?*'
+        for char in invalid_chars:
+            name = name.replace(char, '_')
+        return name
+    
+    def _build_base_path(self, organizacion_id: Union[int, str]) -> str:
+        """Construye la ruta base para una organización"""
+        return f"org_{organizacion_id}"
+    
+    def _build_document_path(
+        self,
+        organizacion_id: Union[int, str],
+        filename: str,
+        pedimento_app: Optional[str] = None
+    ) -> str:
+        """
+        Construye ruta para DOCUMENTS:
+        org_{id}/documents/{pedimento_app o unknown}/archivo
+        """
+        base = self._build_base_path(organizacion_id)
+        safe_filename = self._generate_filename(filename)
+        
+        if pedimento_app:
+            subfolder = self._sanitize_folder_name(pedimento_app)
+        else:
+            subfolder = "unknown"
+        
+        return f"{base}/{StorageCategory.DOCUMENTS.value}/{subfolder}/{safe_filename}"
+    
+    def _build_generic_path(
+        self,
+        organizacion_id: Union[int, str],
+        filename: str,
+        category: StorageCategory,
+        subfolder: Optional[str] = None
+    ) -> str:
+        """
+        Construye ruta para categorías genéricas:
+        org_{id}/{category}/{subfolder}/{archivo}
+        o
+        org_{id}/{category}/{archivo}
+        """
+        base = self._build_base_path(organizacion_id)
+        safe_filename = self._generate_filename(filename)
+        
+        if subfolder:
+            safe_subfolder = self._sanitize_folder_name(subfolder)
+            return f"{base}/{category.value}/{safe_subfolder}/{safe_filename}"
+        else:
+            return f"{base}/{category.value}/{safe_filename}"
+    
+    def _save_file(
+        self,
+        file: UploadedFile,
+        object_path: str,
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """Guarda el archivo según el backend configurado"""
+        meta = metadata or {}
+        meta['original_filename'] = file.name
+        
+        content_type = self._get_content_type(file.name)
+        
+        if self.storage_backend == 'minio':
+            return self._save_to_minio(file, object_path, content_type, meta)
+        else:
+            return self._save_to_local(file, object_path)
+    
+    def _save_to_minio(
+        self,
+        file: UploadedFile,
+        object_path: str,
+        content_type: Optional[str],
+        metadata: dict
+    ) -> Optional[str]:
+        """Guarda archivo en MinIO"""
+        try:
+            file.seek(0)
+            success = self.client.upload_file(
+                object_name=object_path,
+                file_data=file,
+                content_type=content_type,
+                metadata=metadata
+            )
+            
+            if success:
+                return object_path
+            else:
+                return None
+                
+        except Exception as e:
+            return None
+    
+    def _save_to_local(self, file: UploadedFile, object_path: str) -> Optional[str]:
+        """Guarda archivo en sistema local"""
+        try:
+            full_path = Path(self.local_media_root) / object_path
+            full_path.parent.mkdir(parents=True, exist_ok=True)
+            
+            with open(full_path, 'wb+') as destination:
+                for chunk in file.chunks():
+                    destination.write(chunk)
+            
+            return object_path
+            
+        except Exception as e:
+            return None
+    
+    def save_document(
+        self,
+        file: UploadedFile,
+        organizacion_id: Union[int, str],
+        pedimento_app: Optional[str] = None,
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda un documento en la categoría 'documents'.
+        
+        Args:
+            file: Archivo a guardar
+            organizacion_id: ID de la organización (obligatorio)
+            pedimento_app: Identificador del pedimento (opcional, ej: '24-23-1653-4003611')
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        
+        Ejemplo:
+            save_document(file, 123, '24-23-1653-4003611')
+            'org_123/documents/24-23-1653-4003611/documento_a1b2c3d4.xml'
+        """
+        if not file or not organizacion_id:
+            return None
+        
+        object_path = self._build_document_path(organizacion_id, file.name, pedimento_app)
+        
+        meta = metadata or {}
+        meta.update({
+            'category': StorageCategory.DOCUMENTS.value,
+            'organizacion_id': str(organizacion_id),
+            'pedimento_app': pedimento_app if pedimento_app else 'unknown'
+        })
+        
+        return self._save_file(file, object_path, meta)
+    
+    def save_document_from_path(
+        self,
+        file_path: str,
+        file_name: str,
+        organizacion_id: Union[int, str],
+        pedimento_app: Optional[str] = None,
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda un documento desde una ruta de archivo en disco.
+        Útil para archivos temporales ya extraídos.
+        
+        Args:
+            file_path: Ruta completa del archivo en disco
+            file_name: Nombre del archivo
+            organizacion_id: ID de la organización
+            pedimento_app: Identificador del pedimento (opcional)
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        """
+        if not file_path or not os.path.exists(file_path):
+            return None
+        
+        if not organizacion_id:
+            return None
+        
+        base = self._build_base_path(organizacion_id)
+        safe_filename = self._generate_filename(file_name)
+        
+        if pedimento_app:
+            subfolder = self._sanitize_folder_name(pedimento_app)
+        else:
+            subfolder = "unknown"
+        
+        object_path = f"{base}/{StorageCategory.DOCUMENTS.value}/{subfolder}/{safe_filename}"
+        
+        # Metadatos
+        meta = metadata or {}
+        meta.update({
+            'category': StorageCategory.DOCUMENTS.value,
+            'organizacion_id': str(organizacion_id),
+            'pedimento_app': pedimento_app if pedimento_app else 'unknown',
+            'original_filename': file_name
+        })
+        
+        content_type = self._get_content_type(file_name)
+        
+        # Guardar según backend
+        if self.storage_backend == 'minio':
+            try:
+                self.client._client.fput_object(
+                    bucket_name=self.client._bucket_name,
+                    object_name=object_path,
+                    file_path=file_path,
+                    content_type=content_type,
+                    metadata=meta
+                )
+                return object_path
+            except Exception as e:
+                return None
+        else:
+            try:
+                dest_path = Path(self.local_media_root) / object_path
+                dest_path.parent.mkdir(parents=True, exist_ok=True)
+                shutil.copy2(file_path, dest_path)
+                return object_path
+            except Exception as e:
+                return None
+        
+    def save_datastage(
+        self,
+        file: UploadedFile,
+        organizacion_id: Union[int, str],
+        subfolder: Optional[str] = None,
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda un archivo en la categoría 'datastage' (.zip, .jar, .rar, etc.)
+        
+        Args:
+            file: Archivo a guardar
+            organizacion_id: ID de la organización
+            subfolder: Subcarpeta opcional dentro de datastage
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        
+        Ejemplo:
+            save_datastage(file, 123)
+            'org_123/datastage/proceso_a1b2c3d4.zip'
+        """
+        if not file or not organizacion_id:
+            return None
+        
+        object_path = self._build_generic_path(
+            organizacion_id, file.name, StorageCategory.DATASTAGE, subfolder
+        )
+        
+        meta = metadata or {}
+        meta.update({
+            'category': StorageCategory.DATASTAGE.value,
+            'organizacion_id': str(organizacion_id)
+        })
+        if subfolder:
+            meta['subfolder'] = subfolder
+        
+        return self._save_file(file, object_path, meta)
+    
+    def save_report(
+        self,
+        file: UploadedFile,
+        organizacion_id: Union[int, str],
+        subfolder: Optional[str] = None,
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda un reporte en la categoría 'reports' (.pdf, .xlsx, etc.)
+        
+        Args:
+            file: Archivo a guardar
+            organizacion_id: ID de la organización
+            subfolder: Subcarpeta opcional dentro de reports (ej: 'mensuales', '2025')
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        
+        Ejemplo:
+            >>> save_report(file, 123, '2025/enero')
+            'org_123/reports/2025/enero/reporte_x1y2z3w4.pdf'
+        """
+        if not file or not organizacion_id:
+            return None
+        
+        object_path = self._build_generic_path(
+            organizacion_id, file.name, StorageCategory.REPORTS, subfolder
+        )
+        
+        meta = metadata or {}
+        meta.update({
+            'category': StorageCategory.REPORTS.value,
+            'organizacion_id': str(organizacion_id)
+        })
+        if subfolder:
+            meta['subfolder'] = subfolder
+        
+        return self._save_file(file, object_path, meta)
+    
+    def save_vucem_cert(
+        self,
+        file: UploadedFile,
+        organizacion_id: Union[int, str],
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda un certificado VUCEM en la categoría 'vucem_certs'.
+        
+        Args:
+            file: Archivo de certificado
+            organizacion_id: ID de la organización
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        
+        Ejemplo:
+            >>> save_vucem_cert(file, 123)
+            'org_123/vucem_certs/certificado_a1b2c3d4.cer'
+        """
+        if not file or not organizacion_id:
+            return None
+        
+        object_path = self._build_generic_path(
+            organizacion_id, file.name, StorageCategory.VUCEM_CERTS
+        )
+        
+        meta = metadata or {}
+        meta.update({
+            'category': StorageCategory.VUCEM_CERTS.value,
+            'organizacion_id': str(organizacion_id)
+        })
+        
+        return self._save_file(file, object_path, meta)
+    
+    def save_vucem_key(
+        self,
+        file: UploadedFile,
+        organizacion_id: Union[int, str],
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda una llave VUCEM en la categoría 'vucem_keys'.
+        
+        Args:
+            file: Archivo de llave
+            organizacion_id: ID de la organización
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        
+        Ejemplo:
+            >>> save_vucem_key(file, 123)
+            'org_123/vucem_keys/llave_a1b2c3d4.key'
+        """
+        if not file or not organizacion_id:
+            return None
+        
+        object_path = self._build_generic_path(
+            organizacion_id, file.name, StorageCategory.VUCEM_KEYS
+        )
+        
+        meta = metadata or {}
+        meta.update({
+            'category': StorageCategory.VUCEM_KEYS.value,
+            'organizacion_id': str(organizacion_id)
+        })
+        
+        return self._save_file(file, object_path, meta)
+    
+    def save_custom(
+        self,
+        file: UploadedFile,
+        organizacion_id: Union[int, str],
+        custom_path: str,
+        metadata: Optional[dict] = None
+    ) -> Optional[str]:
+        """
+        Guarda un archivo en una ruta personalizada dentro de la organización.
+        
+        Args:
+            file: Archivo a guardar
+            organizacion_id: ID de la organización
+            custom_path: Ruta personalizada (se antepone org_{id}/)
+            metadata: Metadatos adicionales
+        
+        Returns:
+            str: Ruta guardada o None si hay error
+        
+        Ejemplo:
+            >>> save_custom(file, 123, 'temp/procesando/archivo.xml')
+            'org_123/temp/procesando/archivo_a1b2c3d4.xml'
+        """
+        if not file or not organizacion_id:
+            return None
+        
+        base = self._build_base_path(organizacion_id)
+        safe_filename = self._generate_filename(file.name)
+        
+        # Combinar custom_path con el nombre del archivo
+        if custom_path.endswith('/'):
+            object_path = f"{base}/{custom_path}{safe_filename}"
+        else:
+            object_path = f"{base}/{custom_path}/{safe_filename}"
+        
+        meta = metadata or {}
+        meta.update({
+            'organizacion_id': str(organizacion_id),
+            'custom_path': custom_path
+        })
+        
+        return self._save_file(file, object_path, meta)
+    
+    def get_file_url(self, object_path: str, expires: int = 3600) -> Optional[str]:
+        """
+        Obtiene una URL para acceder al documento.
+        En desarrollo, reemplaza 'minio' por 'localhost' para acceso desde el navegador.
+        """
+        if not object_path:
+            return None
+            
+        if self.storage_backend == 'minio':
+            url = self.client.get_file_url(object_path, expires)
+            
+            # En desarrollo, reemplazar 'minio:9000' por 'localhost:9000'
+            if url and self.debug:
+                url = url.replace('minio:9000', 'localhost:9000')
+            
+            return url
+        else:
+            return f"{settings.MEDIA_URL}{object_path}"
+    
+    def delete_file(self, object_path: str) -> bool:
+        """Elimina un archivo"""
+        if self.storage_backend == 'minio':
+            return self.client.delete_file(object_path)
+        else:
+            try:
+                full_path = Path(self.local_media_root) / object_path
+                if full_path.exists():
+                    full_path.unlink()
+                    return True
+                return False
+            except Exception as e:
+                return False
+    
+    def file_exists(self, object_path: str) -> bool:
+        """Verifica si un archivo existe (MinIO o local)"""
+        if not object_path:
+            return False
+        
+        # Si la ruta empieza con 'org_', es MinIO
+        if object_path.startswith('org_'):
+            if self.storage_backend == 'minio':
+                return self.client.file_exists(object_path)
+            else:
+                return (Path(self.local_media_root) / object_path).exists()
+        else:
+            # Ruta local antigua (ej: 'documents/archivo.xml')
+            # Siempre verificar en MEDIA_ROOT
+            return (Path(self.local_media_root) / object_path).exists()
+    
+    def download_file(self, object_path: str, destination_path: str) -> bool:
+        """
+        Descarga un archivo de MinIO al sistema de archivos local.
+        """
+        if not object_path:
+            return False
+            
+        if self.storage_backend == 'minio':
+            try:
+                self.client._client.fget_object(
+                    bucket_name=self.client._bucket_name,
+                    object_name=object_path,
+                    file_path=destination_path
+                )
+                return True
+            except Exception as e:
+                return False
+        else:
+            import shutil
+            src = Path(self.local_media_root) / object_path
+            if src.exists():
+                shutil.copy(src, destination_path)
+                return True
+            return False
+    
+    def is_minio_path(self, path):
+        if not path:
+            return False
+        return path.startswith('org_')
+    
+    # =============================================================================================================
+    #   POR AHORA NO FUERON SOLICITADOS PERO POR EL PROBLEMA DEL 15/04/2026, CONSIDERO PRUDENTE PODER TENER ESTOS
+    #   DOS METODOS PARA NO COMPLICARNOS EN UN FUTURO, EN CASO DE SER NECESARIOS
+    # =============================================================================================================
+
+    # def delete_organization_folder(self, organizacion_id: Union[int, str]) -> bool:
+    #     """
+    #     Elimina TODOS los archivos de una organización.
+    #     Útil cuando un cliente se va y necesitas borrar sus datos.
+    #     Esta operación es IRREVERSIBLE.
+    #     """
+    #     prefix = f"org_{organizacion_id}/"
+    #     if self.storage_backend == 'minio':
+    #         try:
+    #             objects = self.client._client.list_objects(self.client._bucket_name,prefix=prefix,recursive=True)
+                
+    #             for obj in objects:
+    #                 self.client.delete_file(obj.object_name)
+                
+    #             return True
+    #         except Exception as e:
+    #             return False
+    #     else:
+    #         try:
+    #             import shutil
+    #             full_path = Path(self.local_media_root) / f"org_{organizacion_id}"
+    #             if full_path.exists():
+    #                 shutil.rmtree(full_path)
+    #             return True
+    #         except Exception as e:
+    #             return False
+    
+    # def export_organization_files(
+    #     self,
+    #     organizacion_id: Union[int, str],
+    #     output_zip_path: str
+    # ) -> bool:
+    #     """
+    #     Exporta TODOS los archivos de una organización a un ZIP.
+    #     Útil para entregar datos a un cliente que se va.
+    #     Args:
+    #         organizacion_id: ID de la organización
+    #         output_zip_path: Ruta donde guardar el ZIP
+    #     Returns: bool
+    #     """
+    #     import zipfile
+    #     from io import BytesIO
+        
+    #     prefix = f"org_{organizacion_id}/"
+    #     try:
+    #         with zipfile.ZipFile(output_zip_path, 'w', zipfile.ZIP_DEFLATED) as zipf:
+    #             if self.storage_backend == 'minio':
+    #                 objects = self.client._client.list_objects(self.client._bucket_name,prefix=prefix,recursive=True)
+                    
+    #                 for obj in objects:
+    #                     response = self.client._client.get_object(self.client._bucket_name,obj.object_name)
+    #                     data = response.read()
+                        
+    #                     zip_path = obj.object_name.replace(prefix, '', 1)
+    #                     zipf.writestr(zip_path, data)
+    #                     response.close()
+                        
+    #             else:
+    #                 local_path = Path(self.local_media_root) / f"org_{organizacion_id}"
+    #                 if local_path.exists():
+    #                     for file_path in local_path.rglob('*'):
+    #                         if file_path.is_file():
+    #                             zip_path = str(file_path.relative_to(local_path))
+    #                             zipf.write(file_path, zip_path)
+            
+    #         return True
+    #     except Exception as e:
+    #         return False
+
+# Singleton para uso global
+storage_service = StorageService()

api/vucem/models.py

@@ -20,8 +20,10 @@ class Vucem(models.Model):
     password = models.CharField(max_length=100, help_text="Contraseña de VUCEM")
     patente = models.CharField(max_length=100, unique=True, help_text="Patente de VUCEM")
     efirma = models.CharField(max_length=100, blank=True, null=True,help_text="E-Firma de VUCEM")
-    key = models.FileField(upload_to='vucem_keys/', help_text="Llave privada de VUCEM")
+    # key = models.FileField(upload_to='vucem_keys/', help_text="Llave privada de VUCEM")
-    cer = models.FileField(upload_to='vucem_certs/', help_text="Certificado de VUCEM")
+    # cer = models.FileField(upload_to='vucem_certs/', help_text="Certificado de VUCEM")
+    key = models.CharField(max_length=500, blank=True, null=True, help_text="Llave privada de VUCEM")
+    cer = models.CharField(max_length=500, blank=True, null=True, help_text="Certificado de VUCEM")
 
     is_importador = models.BooleanField(default=False, help_text="Indica si es importador")
     acusecove = models.BooleanField(default=False, help_text="Indica si generara acusecove")

api/vucem/serializers.py

@@ -1,5 +1,6 @@
 
 
+from api.utils.storage_service import storage_service 
 from rest_framework import serializers
 from .models import Vucem, CredencialesImportador
 
@@ -9,11 +10,91 @@ from .models import Vucem, CredencialesImportador
 class VucemSerializer(serializers.ModelSerializer):
     importadores = serializers.SerializerMethodField()
 
+    key = serializers.FileField(write_only=True, required=False, allow_null=True)
+    cer = serializers.FileField(write_only=True, required=False, allow_null=True)
+    
+    key_download_url = serializers.SerializerMethodField(read_only=True)
+    cer_download_url = serializers.SerializerMethodField(read_only=True)
+
     class Meta:
         model = Vucem
         fields = '__all__'
         read_only_fields = ('created_at', 'updated_at', 'organizacion', 'created_by', 'updated_by')
-
+    
+    def get_key_download_url(self, obj):
+        if obj.key:
+            return storage_service.get_file_url(obj.key)
+        return None
+    
+    def get_cer_download_url(self, obj):
+        if obj.cer:
+            return storage_service.get_file_url(obj.cer)
+        return None
+    
+    def create(self, validated_data):
+        key_file = validated_data.pop('key', None)
+        cer_file = validated_data.pop('cer', None)
+        organizacion = validated_data.get('organizacion')
+        
+        vucem = super().create(validated_data)
+        
+        if key_file:
+            ruta = storage_service.save_vucem_key(
+                file=key_file,
+                organizacion_id=organizacion.id,
+                metadata={'vucem_id': str(vucem.id)}
+            )
+            if ruta:
+                vucem.key = ruta
+            else:
+                vucem.delete()
+                raise serializers.ValidationError({"key": "Error al guardar la llave"})
+        
+        if cer_file:
+            ruta = storage_service.save_vucem_cert(
+                file=cer_file,
+                organizacion_id=organizacion.id,
+                metadata={'vucem_id': str(vucem.id)}
+            )
+            if ruta:
+                vucem.cer = ruta
+            else:
+                vucem.delete()
+                raise serializers.ValidationError({"cer_file": "Error al guardar el certificado"})
+        
+        vucem.save()
+        return vucem
+    
+    def update(self, instance, validated_data):
+        key_file = validated_data.pop('key', None)
+        cer_file = validated_data.pop('cer', None)
+        organizacion = validated_data.get('organizacion', instance.organizacion)
+        
+        instance = super().update(instance, validated_data)
+        
+        if key_file:
+            if instance.key:
+                storage_service.delete_file(str(instance.key))
+            ruta = storage_service.save_vucem_key(
+                file=key_file,
+                organizacion_id=organizacion.id
+            )
+            if ruta:
+                instance.key = ruta
+        
+        if cer_file:
+            if instance.cer:
+                storage_service.delete_file(str(instance.cer))
+            ruta = storage_service.save_vucem_cert(
+                file=cer_file,
+                organizacion_id=organizacion.id
+            )
+            if ruta:
+                instance.cer = ruta
+        
+        instance.save()
+        return instance
+    
     def get_importadores(self, obj):
         # Importar aquí para evitar importación circular
         from api.customs.serializers import ImportadorSerializer

api/vucem/views.py

@@ -1,4 +1,9 @@
+import atexit
+import os
+import tempfile
+
 from django.shortcuts import render
+from ..organization.models import Organizacion
 from rest_framework import viewsets
 from rest_framework.pagination import PageNumberPagination
 from django_filters.rest_framework import DjangoFilterBackend
@@ -7,6 +12,7 @@ from rest_framework.permissions import IsAuthenticated
 from rest_framework.decorators import action
 from rest_framework.response import Response
 from django.http import FileResponse, Http404
+from api.utils.storage_service import storage_service 
 
 from .serializers import VucemSerializer, CredencialesImportadorSerializer, CredencialesImportadorSimpleSerializer
 from rest_framework import serializers
@@ -93,7 +99,23 @@ class VucemView(viewsets.ModelViewSet):
         if not self.request.user.is_authenticated or not hasattr(self.request.user, 'organizacion'):
             raise ValueError("El usuario debe estar autenticado y tener una organización asignada.")
         if self.request.user.is_superuser:
-            serializer.save(created_by=self.request.user, updated_by=self.request.user)
+            organizacion_id = self.request.data.get('organizacion_id')
+
+            if not organizacion_id:
+                raise ValueError("Los superusuarios deben especificar una organización")
+            
+            try:
+                # Importa el modelo Organizacion
+                # from ..organization.models import Organizacion
+                organizacion = Organizacion.objects.get(id=organizacion_id)
+            except Organizacion.DoesNotExist:
+                raise ValueError({"organizacion": "Organización no encontrada"})
+            
+            serializer.save(
+                organizacion=organizacion,
+                created_by=self.request.user, 
+                updated_by=self.request.user
+            )
             return        
         else:
             serializer.save(
@@ -123,25 +145,52 @@ class VucemView(viewsets.ModelViewSet):
 
     @action(detail=True, methods=["get"], permission_classes=[IsAuthenticated])
     def download_cer(self, request, pk=None):
-        """
-        Descarga directa del archivo cer.
-        """
         vucem = self.get_object()
         if not vucem.cer:
             return Response({"detail": "No hay archivo cer disponible."}, status=404)
-        response = FileResponse(vucem.cer.open('rb'), as_attachment=True, filename=vucem.cer.name.split('/')[-1])
+        
+        ruta = str(vucem.cer)
+        
+        with tempfile.NamedTemporaryFile(delete=False) as tmp:
+            tmp_path = tmp.name
+        
+        success = storage_service.download_file(ruta, tmp_path)
+        if not success:
+            raise Http404("No se pudo descargar el archivo")
+        
+        filename = os.path.basename(ruta)
+        response = FileResponse(open(tmp_path, 'rb'), as_attachment=True, filename=filename)
+        atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
+        
         return response
 
     @action(detail=True, methods=["get"], permission_classes=[IsAuthenticated])
     def download_key(self, request, pk=None):
-        """
-        Descarga directa del archivo key.
-        """
         vucem = self.get_object()
         if not vucem.key:
             return Response({"detail": "No hay archivo key disponible."}, status=404)
-        response = FileResponse(vucem.key.open('rb'), as_attachment=True, filename=vucem.key.name.split('/')[-1])
+        
+        ruta = str(vucem.key)
+        
+        with tempfile.NamedTemporaryFile(delete=False) as tmp:
+            tmp_path = tmp.name
+        
+        success = storage_service.download_file(ruta, tmp_path)
+        if not success:
+            raise Http404("No se pudo descargar el archivo")
+        
+        filename = os.path.basename(ruta)
+        response = FileResponse(open(tmp_path, 'rb'), as_attachment=True, filename=filename)
+        atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
+        
         return response
+    
+    def perform_destroy(self, instance):
+        if instance.key:
+            storage_service.delete_file(str(instance.key))
+        if instance.cer:
+            storage_service.delete_file(str(instance.cer))
+        instance.delete()
 
 
 class CredencialesImportadorViewSet(viewsets.ModelViewSet):

cleanup_all_media.sh

@@ -1,61 +0,0 @@
-#!/bin/bash
-
-echo "Iniciando limpieza completa de archivos media huérfanos..."
-
-# Función para ejecutar limpieza
-cleanup_batch() {
-    echo "Ejecutando limpieza de lote..."
-    docker exec -it EFC_backend_dev bash -c "cd /app && python manage.py cleanup_media_fast --quick-scan --verbose" 2>/dev/null
-    return $?
-}
-
-# Contador de iteraciones
-iteration=1
-total_cleaned=0
-
-while true; do
-    echo "=== Iteración $iteration ==="
-    
-    # Ejecutar dry-run para ver si hay archivos huérfanos
-    result=$(docker exec -it EFC_backend_dev bash -c "cd /app && python manage.py cleanup_media_fast --quick-scan --dry-run" 2>/dev/null)
-    
-    # Extraer número de archivos huérfanos
-    orphaned_count=$(echo "$result" | grep -o "Archivos huérfanos encontrados: [0-9]*" | grep -o "[0-9]*")
-    
-    if [ -z "$orphaned_count" ] || [ "$orphaned_count" -eq 0 ]; then
-        echo "✅ No se encontraron más archivos huérfanos."
-        echo "🎉 Limpieza completa finalizada después de $iteration iteraciones."
-        echo "📊 Total estimado de archivos eliminados: $total_cleaned"
-        break
-    fi
-    
-    echo "📁 Encontrados $orphaned_count archivos huérfanos en esta iteración"
-    
-    # Preguntar confirmación en la primera iteración
-    if [ $iteration -eq 1 ]; then
-        echo "¿Continuar con la limpieza automática? (s/N):"
-        read -r response
-        if [[ ! "$response" =~ ^[sS]([iI]|í)?$ ]]; then
-            echo "❌ Limpieza cancelada por el usuario."
-            exit 0
-        fi
-    fi
-    
-    # Ejecutar limpieza
-    cleanup_result=$(docker exec -it EFC_backend_dev bash -c "cd /app && echo 's' | python manage.py cleanup_media_fast --quick-scan --verbose" 2>/dev/null)
-    
-    # Extraer archivos eliminados
-    deleted_count=$(echo "$cleanup_result" | grep -o "Eliminados [0-9]* archivos" | grep -o "[0-9]*")
-    
-    if [ -n "$deleted_count" ]; then
-        total_cleaned=$((total_cleaned + deleted_count))
-        echo "✅ Eliminados $deleted_count archivos en esta iteración"
-    fi
-    
-    iteration=$((iteration + 1))
-    
-    # Pausa pequeña para evitar sobrecarga
-    sleep 2
-done
-
-echo "🏁 Proceso completado exitosamente."

config/settings.py

@@ -1,11 +1,5 @@
-# Celery Beat Schedule
-from celery.schedules import crontab
 
 
-CELERY_BEAT_SCHEDULE = {
-
-
-}
 """
 Django settings for config project.
 
@@ -31,6 +25,15 @@ smtplib.SMTP_SSL.default_context = ssl._create_unverified_context
 from dotenv import load_dotenv
 import re
 
+# Celery Beat Schedule
+from celery.schedules import crontab
+from config.stg.storage import *
+
+CELERY_BEAT_SCHEDULE = {
+
+
+}
+
 # Cargar variables de entorno desde un archivo .env
 load_dotenv()
 
@@ -83,6 +86,7 @@ THIRD_APPS = [
 ]
 
 OWN_APPS = [
+    'api',
     'api.customs',
     'api.record',
     'api.organization',
@@ -266,7 +270,7 @@ AUTH_PASSWORD_VALIDATORS = [
 
 # Internationalization
 LANGUAGE_CODE = 'en-us'
-TIME_ZONE = 'America/Ojinaga'  # Zona horaria de Cd. Juárez, Chihuahua
+TIME_ZONE = 'America/Mexico_City' # Zona horaria de Cd. Juárez, Chihuahua
 USE_I18N = True
 USE_TZ = True
 
@@ -278,6 +282,9 @@ else:
     STATICFILES_DIRS = []
 STATIC_ROOT = BASE_DIR / 'static'
 
+if STORAGE_BACKEND == 'minio':
+    MEDIA_URL = f"http://{os.getenv('MINIO_ENDPOINT')}/{AWS_STORAGE_BUCKET_NAME}/"
+
 MEDIA_URL = '/media/'
 MEDIA_ROOT = BASE_DIR / 'media'
 

config/stg/storage.py

@@ -0,0 +1,29 @@
+# backend/config/stg/storage.py
+import os
+from pathlib import Path
+
+BASE_DIR = Path(__file__).resolve().parent.parent.parent
+
+STORAGE_BACKEND = os.getenv('STORAGE_BACKEND', 'local')
+
+if STORAGE_BACKEND == 'minio':
+    DEFAULT_FILE_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage'
+    
+    AWS_ACCESS_KEY_ID = os.getenv('MINIO_ACCESS_KEY')
+    AWS_SECRET_ACCESS_KEY = os.getenv('MINIO_SECRET_KEY')
+    AWS_STORAGE_BUCKET_NAME = os.getenv('MINIO_BUCKET_NAME')
+    AWS_S3_ENDPOINT_URL = f"http://{os.getenv('MINIO_ENDPOINT')}"
+    AWS_S3_REGION_NAME = os.getenv('MINIO_REGION', 'us-east-1')
+    AWS_S3_USE_SSL = os.getenv('MINIO_SECURE', 'false').lower() == 'true'
+    
+    AWS_DEFAULT_ACL = 'private'
+    AWS_LOCATION = 'documents'
+    AWS_S3_FILE_OVERWRITE = False
+    AWS_QUERYSTRING_AUTH = True
+    AWS_QUERYSTRING_EXPIRE = 3600 # es 1 hora
+    
+    # STATICFILES_STORAGE = 'storages.backends.s3boto3.S3StaticStorage'
+    
+else:
+    MEDIA_URL = '/media/'
+    MEDIA_ROOT = os.path.join(BASE_DIR, 'media')

docs/Insomnia_2025-10-22.yaml

@@ -0,0 +1,577 @@
+type: collection.insomnia.rest/5.0
+name: EFC
+meta:
+  id: wrk_71a7fc7f009b45338f10d5aee912e90c
+  created: 1759368209169
+  modified: 1759415563572
+  description: ""
+collection:
+  - url: "{{ _.API_REST
+      }}customs/coves/?pedimento=7e199074-db14-4431-8ded-2028dcd7ba23&page=1&pa\
+      ge_size=10"
+    name: Coves
+    meta:
+      id: req_a90087be376f42eb846e9c0a080c1e0d
+      created: 1759368209176
+      modified: 1759368596683
+      isPrivate: false
+      description: ""
+      sortKey: -1759368209176
+    method: GET
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST
+      }}customs/edocuments/?pedimento=7e199074-db14-4431-8ded-2028dcd7ba23&page\
+      =1&page_size=10"
+    name: EDocs
+    meta:
+      id: req_40ed26a5256d49f0bfe05716237131dd
+      created: 1759368603480
+      modified: 1759368614527
+      isPrivate: false
+      description: ""
+      sortKey: -1759285093434.5
+    method: GET
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST
+      }}customs/procesamientopedimentos/?pedimento=7e199074-db14-4431-8ded-2028\
+      dcd7ba23&page=1&page_size=10"
+    name: Procesamientos del Pedimento
+    meta:
+      id: req_bba2280f3e894ada879b734a24c78414
+      created: 1759368715006
+      modified: 1759368736956
+      isPrivate: false
+      description: ""
+      sortKey: -1759243535563.75
+    method: GET
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: http://192.168.1.79:8000/api/v1/customs/partidas/?pedimento=5ed0a19a-8a42-4ab4-8627-1a614be7aee3
+    name: New Request
+    meta:
+      id: req_680b0285689f46d99857ca2765a36e30
+      created: 1759457224319
+      modified: 1759717890407
+      isPrivate: false
+      description: ""
+      sortKey: -1759457224319
+    method: GET
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_ea89b2c93a934f72ab8183aa7bcddfb3
+      - id: pair_be239987c9a648debc7c318ab3d9edd4
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}customs/partidas/771281/"
+    name: Partida
+    meta:
+      id: req_c911fa79111e45fc9d592a4dff98889a
+      created: 1759521825542
+      modified: 1759522450563
+      isPrivate: false
+      description: ""
+      sortKey: -1759326651305.25
+    method: PUT
+    body:
+      mimeType: application/json
+      text: "{
+
+        \t\"id\": 771281,
+
+        \t\"numero_partida\": 1,
+
+        \t\"descargado\": true,
+
+        \t\"pedimento\": \"0731973d-3929-43f5-805b-a8680fbadd30\",
+
+        \t\"organizacion\": \"4fea91c7-4a1d-40b3-a433-f0122b5ea43e\"
+
+        }
+
+        \t"
+    headers:
+      - name: Content-Type
+        value: application/json
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}vucem/vucem/?importador={{pedimento.contribuyente_id}}"
+    name: Vucem
+    meta:
+      id: req_4b049e9b11844f158762682b9118e572
+      created: 1759523330397
+      modified: 1759523405870
+      isPrivate: false
+      description: ""
+      sortKey: -1759264314499.125
+    method: GET
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}reports/dashboard/summary/"
+    name: dashboard_summary
+    meta:
+      id: req_0d68721909b54ae983f31f91c8acdd4c
+      created: 1759623976466
+      modified: 1759710185608
+      isPrivate: false
+      description: ""
+      sortKey: -1759253925031.4375
+    method: GET
+    parameters:
+      - id: pair_9805d9f69b664b9d903fd142a6a940fb
+        name: pedimento_app
+        value: 20-16-3910-1000
+        description: ""
+        disabled: false
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}reports/documentos-por-fecha/"
+    name: Documentos por fecha
+    meta:
+      id: req_733c9cae6cbe4ccca8ccebe2efa5c3ba
+      created: 1759628575231
+      modified: 1759634973470
+      isPrivate: false
+      description: ""
+      sortKey: -1759248730297.5938
+    method: GET
+    parameters:
+      - id: pair_ec4119b532f94b579dfc54ddc2ed8979
+        name: periodo
+        value: semana
+        description: ""
+        disabled: false
+      - id: pair_d10e813bf42a45038907b3658df2dbeb
+        name: start_date
+        value: 2010-01-01
+        description: ""
+        disabled: false
+      - id: pair_3ab5417081e34862b9d3cc80b7125432
+        name: end_date
+        value: 2026-01-01
+        description: ""
+        disabled: false
+      - id: pair_74805c59d3704db3893d424e6580110a
+        name: organizacion_id
+        value: 9d705e97-d3f2-4b6c-8d92-9f1af2b2d4b4
+        description: ""
+        disabled: false
+      - id: pair_fb9f6ce9c82f4db8834b6443f3fcea44
+        name: tipo_documento
+        value: "1"
+        description: ""
+        disabled: false
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}reports/table-summary/"
+    name: Summary Table
+    meta:
+      id: req_259a849b4a8e4a34b85f53644e7d5939
+      created: 1759634983441
+      modified: 1761103843982
+      isPrivate: false
+      description: ""
+      sortKey: -1759251327664.5156
+    method: GET
+    parameters:
+      - id: pair_320fbf127da544acae95eb8524daa1db
+        name: csv_async
+        value: "1"
+        description: ""
+        disabled: false
+      - id: pair_99f1f48e9db0439a950c706d5767657c
+        name: organizacion_id
+        value: 9d705e97-d3f2-4b6c-8d92-9f1af2b2d4b4
+        description: ""
+        disabled: false
+      - id: pair_8900c16ca9894ac8b559284dde8feca8
+        name: page
+        value: "1"
+        description: ""
+        disabled: true
+      - id: pair_9d3852c3e1bb4dd6b6ea838df070a65d
+        name: page_size
+        value: "100"
+        description: ""
+        disabled: true
+      - id: pair_7ea23e87e0874588bf4d17041eaaa3c6
+        name: fecha_pago__lte
+        value: 2024-01-01
+        description: ""
+        disabled: true
+      - id: pair_a3c85e2563d24ec0ba772a2f6e27804a
+        name: ultimos
+        value: "1"
+        description: ""
+        disabled: true
+      - id: pair_e013d47373884f99b3f4def8592b2f01
+        name: filename
+        value: test_kevin
+        description: ""
+        disabled: true
+      - id: pair_9ff11357a7044e5b8f40bb9bb33e6e12
+        name: contribuyente__rfc
+        value: TEC1406248Q2
+        description: ""
+        disabled: false
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}customs/pedimentos/"
+    name: Pedimento
+    meta:
+      id: req_9a679fe2a36b42949200a0cc93e7cc76
+      created: 1759717886641
+      modified: 1759718950361
+      isPrivate: false
+      description: ""
+      sortKey: -1759717886641
+    method: POST
+    body:
+      mimeType: application/json
+      text: |-
+        {
+          "pedimento": "946",
+          "patente": "3910",
+          "aduana": "160",
+          "regimen": "ITE",
+          "clave_pedimento": "IN",
+          "fecha_inicio": "2025-08-07",
+          "fecha_fin": "2025-08-07",
+          "fecha_pago": "2020-03-11",
+          "alerta": true,
+          "agente_aduanal": "AAC020726T77",
+          "curp_apoderado": "DAXS571117HNEVXR09",
+          "importe_total": 0.0,
+          "saldo_disponible": 0.0,
+          "importe_pedimento": 0.0,
+          "existe_expediente": true,
+          "remesas": true,
+          "numero_partidas": 0,
+          "numero_operacion": "string",
+          "tipo_operacion": 1,
+          "contribuyente": "TEC1406248Q2",
+        	"organizacion":"9d705e97-d3f2-4b6c-8d92-9f1af2b2d4b4"
+        }
+    headers:
+      - name: Content-Type
+        value: application/json
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_ed0ede3d111d469ea71b9c09f99134df
+      - id: pair_1db698171c6a4534a683351e27b61d9f
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: api.efc-aduanasoft.com/api/v1/customs/auditor/crear-partidas/pedimento/
+    name: Auditor Partidas
+    meta:
+      id: req_82ccc9ebce664984826063dd2e86bbc1
+      created: 1759720753371
+      modified: 1759721186316
+      isPrivate: false
+      description: ""
+      sortKey: -1759619270481.5
+    method: POST
+    body:
+      mimeType: application/json
+      text: |-
+        {
+        	"pedimento_id": "54ed7616-aea9-46ca-887e-3185feb35d09"
+        }
+    headers:
+      - name: Content-Type
+        value: application/json
+        id: pair_5afd216181cd4050a683cc050a15f8af
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_ed0ede3d111d469ea71b9c09f99134df
+      - id: pair_1db698171c6a4534a683351e27b61d9f
+        name: Authorization
+        value: Token 27ad1a1a7a1e7a64e7f452e89265b54b5b3ef4c2
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}reports/report-document-list/"
+    name: Reports List
+    meta:
+      id: req_7a951a204e8b454e81b25c059ad8ff18
+      created: 1761091292956
+      modified: 1761094591411
+      isPrivate: false
+      description: ""
+      sortKey: -1759250028981.0547
+    method: GET
+    parameters:
+      - id: pair_320fbf127da544acae95eb8524daa1db
+        name: csv_async
+        value: "1"
+        description: ""
+        disabled: false
+      - id: pair_99f1f48e9db0439a950c706d5767657c
+        name: organizacion_id
+        value: 9d705e97-d3f2-4b6c-8d92-9f1af2b2d4b4
+        description: ""
+        disabled: false
+      - id: pair_8900c16ca9894ac8b559284dde8feca8
+        name: page
+        value: "1"
+        description: ""
+        disabled: true
+      - id: pair_9d3852c3e1bb4dd6b6ea838df070a65d
+        name: page_size
+        value: "100"
+        description: ""
+        disabled: true
+      - id: pair_7ea23e87e0874588bf4d17041eaaa3c6
+        name: fecha_pago__lte
+        value: 2024-01-01
+        description: ""
+        disabled: false
+      - id: pair_a3c85e2563d24ec0ba772a2f6e27804a
+        name: ultimos
+        value: "1"
+        description: ""
+        disabled: true
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+  - url: "{{ _.API_REST }}reports/report-document-download/11/"
+    name: Download Report
+    meta:
+      id: req_11dc9145994b43798c69ee3ecebe8ba8
+      created: 1761092998357
+      modified: 1761093919398
+      isPrivate: false
+      description: ""
+      sortKey: -1759249379639.3242
+    method: GET
+    parameters:
+      - id: pair_320fbf127da544acae95eb8524daa1db
+        name: csv_async
+        value: "1"
+        description: ""
+        disabled: false
+      - id: pair_99f1f48e9db0439a950c706d5767657c
+        name: organizacion_id
+        value: 9d705e97-d3f2-4b6c-8d92-9f1af2b2d4b4
+        description: ""
+        disabled: false
+      - id: pair_8900c16ca9894ac8b559284dde8feca8
+        name: page
+        value: "1"
+        description: ""
+        disabled: true
+      - id: pair_9d3852c3e1bb4dd6b6ea838df070a65d
+        name: page_size
+        value: "100"
+        description: ""
+        disabled: true
+      - id: pair_7ea23e87e0874588bf4d17041eaaa3c6
+        name: fecha_pago__lte
+        value: 2024-01-01
+        description: ""
+        disabled: false
+      - id: pair_a3c85e2563d24ec0ba772a2f6e27804a
+        name: ultimos
+        value: "1"
+        description: ""
+        disabled: false
+      - id: pair_ab1873fdc82f4b8d898a5f0004cae1fe
+        name: "rfc "
+        value: MTK861014317
+        description: ""
+        disabled: false
+    headers:
+      - name: User-Agent
+        value: insomnia/11.6.1
+        id: pair_586f587a78b540bd9f69c70966a3b12c
+      - id: pair_14420e46d71e4aa98a60238d96b520b3
+        name: Authorization
+        value: Token {{ _.Token }}
+        description: ""
+        disabled: false
+    settings:
+      renderRequestBody: true
+      encodeUrl: true
+      followRedirects: global
+      cookies:
+        send: true
+        store: true
+      rebuildPath: true
+cookieJar:
+  name: Default Jar
+  meta:
+    id: jar_7ef8f609d3e9f73da7feb30ab71eb8baaaf31c81
+    created: 1759368209171
+    modified: 1759368209171
+environments:
+  name: Base Environment
+  meta:
+    id: env_7ef8f609d3e9f73da7feb30ab71eb8baaaf31c81
+    created: 1759368209170
+    modified: 1759719172699
+    isPrivate: false
+  data:
+    API_REST: http://192.168.1.79:8000/api/v1/
+    Token: 27ad1a1a7a1e7a64e7f452e89265b54b5b3ef4c2

docs/commands/README_microservicios.md

@@ -0,0 +1,52 @@
+# Comando de Microservicios
+
+Este comando permite disparar tareas de procesamiento masivo por organización o por pedimento en el sistema EFC.
+
+## Uso básico
+
+```bash
+python manage.py microservicios [--organizacion_id=<id>] [--procesamiento=<tipo>] [--todos]
+```
+
+## Opciones
+
+- `--organizacion_id <id>`: Ejecuta los procesamientos solo para la organización indicada. Si se omite, se procesan todas las organizaciones.
+- `--procesamiento <tipo>`: Ejecuta solo el tipo de procesamiento indicado para la organización. Si se omite, se ejecutan todos los procesamientos.
+- `--todos`: Ejecuta todos los procesos para todas las organizaciones.
+
+## Tipos de procesamiento disponibles
+
+- `coves`: Procesa COVEs por organización/pedimento
+- `edocs`: Procesa E-Documents por organización/pedimento
+- `acuses`: Procesa acuses por organización/pedimento
+- `acuse_coves`: Procesa acuse de COVEs por organización/pedimento
+- `partidas`: Procesa partidas por organización/pedimento
+- `pedimentos_completos`: Procesa pedimentos completos por organización/pedimento
+- `remesas`: Procesa remesas por organización/pedimento
+
+## Ejemplos
+
+### Procesar todos los tipos para todas las organizaciones
+```bash
+python manage.py microservicios --todos
+```
+
+### Procesar solo COVEs para una organización
+```bash
+python manage.py microservicios --organizacion_id=ID_ORG --procesamiento=coves
+```
+
+### Procesar todos los tipos para una organización
+```bash
+python manage.py microservicios --organizacion_id=ID_ORG
+```
+
+### Procesar todos los tipos para un pedimento específico
+```bash
+python manage.py microservicios --pedimento_id=ID_PEDIMENTO
+```
+
+## Notas
+- El comando dispara las tareas de Celery de forma asíncrona.
+- Revisa los logs y el estado de las tareas en el panel de administración de Celery o en los logs del sistema.
+- Si agregas nuevos tipos de procesamiento, actualiza la función `ejecutar_procesamiento_por_organizacion` en `microservice_v2.py`.

requirements.txt

@@ -1,12 +1,17 @@
 alembic==1.14.0
 amqp==5.3.1
 annotated-types==0.7.0
+argon2-cffi==25.1.0
+argon2-cffi-bindings==25.1.0
 asgiref==3.9.1
 async-timeout==5.0.1
 attrs==25.3.0
 billiard==4.2.1
+boto3==1.42.91
+botocore==1.42.91
 celery==5.5.3
 certifi==2025.6.15
+cffi==2.0.0
 channels==4.3.1
 channels_redis==4.3.0
 charset-normalizer==3.4.2
@@ -18,6 +23,7 @@ Django==5.2.3
 django-cors-headers==4.7.0
 django-filter==25.1
 django-jet-reboot==1.3.10
+django-storages==1.14.6
 djangorestframework==3.16.0
 djangorestframework_simplejwt==5.5.0
 drf-yasg==1.21.10
@@ -30,12 +36,14 @@ humanize==4.12.3
 idna==3.10
 importlib_resources==6.5.2
 inflection==0.5.1
+jmespath==1.1.0
 jsonschema==4.24.0
 jsonschema-specifications==2025.4.1
 kombu==5.5.4
 Mako==1.3.10
 Markdown==3.8
 MarkupSafe==3.0.2
+minio==7.2.20
 msgpack==1.1.1
 openpyxl==3.1.5
 packaging==25.0
@@ -44,6 +52,8 @@ pillow==11.2.1
 prometheus_client==0.22.1
 prompt_toolkit==3.0.51
 psycopg2-binary==2.9.10
+pycparser==3.0
+pycryptodome==3.23.0
 PyJWT==2.9.0
 python-dateutil==2.9.0.post0
 python-dotenv==1.1.0
@@ -55,6 +65,7 @@ redis==6.2.0
 referencing==0.36.2
 requests==2.32.4
 rpds-py==0.25.1
+s3transfer==0.16.0
 six==1.17.0
 sniffio==1.3.1
 SQLAlchemy==2.0.36