Compare commits
20 Commits
celery-ped
...
T2026-01-0
| Author | SHA1 | Date | |
|---|---|---|---|
| 1c350cf2bf | |||
| e81a1aef4d | |||
| eca519a789 | |||
| 1dd05463c5 | |||
| cbbcb3b323 | |||
| 70999d413e | |||
| fa518972ba | |||
| 6299c6f0fe | |||
| 67f339bd18 | |||
| 98331dae8f | |||
| 6eaf6dc6d9 | |||
| 426c2f7065 | |||
| 86c0dd6d8b | |||
| 7141e40dc1 | |||
| 34eb8ed7d9 | |||
| 5e4d498a3c | |||
| 04d19118be | |||
| 4ccb5fd718 | |||
|
|
8e42ae1a43 | ||
|
|
f98ae6b207 |
@@ -6,4 +6,5 @@ class CustomsConfig(AppConfig):
|
|||||||
name = 'api.customs'
|
name = 'api.customs'
|
||||||
|
|
||||||
def ready(self):
|
def ready(self):
|
||||||
import api.customs.signals
|
# corregir el import aqui
|
||||||
|
import api.customs.signals.procesamiento
|
||||||
@@ -36,7 +36,8 @@ class Command(BaseCommand):
|
|||||||
|
|
||||||
if organizacion_id:
|
if organizacion_id:
|
||||||
if procesamiento:
|
if procesamiento:
|
||||||
microservice_v2.ejecutar_procesamiento_por_organizacion(organizacion_id, procesamiento)
|
# microservice_v2.ejecutar_procesamiento_por_organizacion(organizacion_id, procesamiento)
|
||||||
|
microservice_v2.ejecutar_por_organizacion_y_procesamiento(organizacion_id, procesamiento)
|
||||||
self.stdout.write(self.style.SUCCESS(f'Se ejecutó el procesamiento {procesamiento} para la organización {organizacion_id}.'))
|
self.stdout.write(self.style.SUCCESS(f'Se ejecutó el procesamiento {procesamiento} para la organización {organizacion_id}.'))
|
||||||
else:
|
else:
|
||||||
microservice_v2.ejecutar_todos_por_organizacion(organizacion_id)
|
microservice_v2.ejecutar_todos_por_organizacion(organizacion_id)
|
||||||
|
|||||||
@@ -61,7 +61,7 @@ class Pedimento(models.Model):
|
|||||||
db_table = 'pedimento'
|
db_table = 'pedimento'
|
||||||
ordering = ['pedimento']
|
ordering = ['pedimento']
|
||||||
unique_together = [
|
unique_together = [
|
||||||
['organizacion', 'pedimento'],
|
# ['organizacion', 'pedimento'],
|
||||||
['organizacion', 'pedimento_app']
|
['organizacion', 'pedimento_app']
|
||||||
]
|
]
|
||||||
|
|
||||||
|
|||||||
@@ -3,7 +3,7 @@ from django.dispatch import receiver
|
|||||||
from django.db import transaction
|
from django.db import transaction
|
||||||
from time import sleep
|
from time import sleep
|
||||||
|
|
||||||
from api.customs.models import Pedimento, ProcesamientoPedimento, Cove, EDocument
|
from api.customs.models import EstadoDeProcesamiento, Pedimento, ProcesamientoPedimento, Cove, EDocument
|
||||||
from api.customs.tasks.internal_services import (
|
from api.customs.tasks.internal_services import (
|
||||||
crear_procesamiento_remesa,
|
crear_procesamiento_remesa,
|
||||||
crear_procesamiento_partida,
|
crear_procesamiento_partida,
|
||||||
@@ -20,8 +20,49 @@ from api.customs.tasks.microservice import (
|
|||||||
|
|
||||||
@receiver(post_save, sender=Pedimento)
|
@receiver(post_save, sender=Pedimento)
|
||||||
def trigger_celery_task_on_create(sender, instance, created, **kwargs):
|
def trigger_celery_task_on_create(sender, instance, created, **kwargs):
|
||||||
if created:
|
|
||||||
procesar_pedimento_completo_individual.apply_async(args=[instance.id, instance.organizacion.id])
|
if not created:
|
||||||
|
import logging
|
||||||
|
logger = logging.getLogger('api.customs.async_operations')
|
||||||
|
logger.info("NO es creación de pedimento, no se crea procesamiento.")
|
||||||
|
return
|
||||||
|
|
||||||
|
def crear_procesamiento():
|
||||||
|
import logging
|
||||||
|
logger = logging.getLogger('api.customs.async_operations')
|
||||||
|
logger.info(f"Pedimento confirmado en BD: {instance.id}, creando procesamiento...")
|
||||||
|
|
||||||
|
try:
|
||||||
|
estado, _ = EstadoDeProcesamiento.objects.get_or_create(
|
||||||
|
estado='En Espera'
|
||||||
|
)
|
||||||
|
except Exception:
|
||||||
|
estado = EstadoDeProcesamiento.objects.first()
|
||||||
|
|
||||||
|
try:
|
||||||
|
ProcesamientoPedimento.objects.get_or_create(
|
||||||
|
pedimento=instance,
|
||||||
|
organizacion=instance.organizacion,
|
||||||
|
defaults={
|
||||||
|
'estado': estado,
|
||||||
|
'servicio_id': 3,
|
||||||
|
'tipo_procesamiento_id': 2,
|
||||||
|
}
|
||||||
|
)
|
||||||
|
except Exception as e:
|
||||||
|
logger.exception(
|
||||||
|
f"No se pudo crear ProcesamientoPedimento "
|
||||||
|
f"para pedimento {instance.id}: {e}"
|
||||||
|
)
|
||||||
|
|
||||||
|
# Disparar la tarea asíncrona existente
|
||||||
|
try:
|
||||||
|
procesar_pedimento_completo_individual.apply_async(args=[instance.id, instance.organizacion.id])
|
||||||
|
except Exception as e:
|
||||||
|
logger.exception(f"Error al encolar procesar_pedimento_completo_individual: {e}")
|
||||||
|
|
||||||
|
transaction.on_commit(crear_procesamiento)
|
||||||
|
|
||||||
|
|
||||||
@receiver(post_save, sender=Pedimento)
|
@receiver(post_save, sender=Pedimento)
|
||||||
def trigger_celery_task_on_update(sender, instance, created,**kwargs):
|
def trigger_celery_task_on_update(sender, instance, created,**kwargs):
|
||||||
|
|||||||
@@ -11,6 +11,9 @@ from datetime import datetime
|
|||||||
# ===================
|
# ===================
|
||||||
@shared_task
|
@shared_task
|
||||||
def procesar_pedimento_completo_individual(pedimento_id, organizacion_id):
|
def procesar_pedimento_completo_individual(pedimento_id, organizacion_id):
|
||||||
|
import logging
|
||||||
|
logger = logging.getLogger('api.customs.async_operations')
|
||||||
|
logger.info(f"Pedimento a monitorear: {pedimento_id}, org:: {organizacion_id}, verificando servicios a crear...")
|
||||||
response = requests.post(
|
response = requests.post(
|
||||||
f"{SERVICE_API_URL}/async/services/pedimento_completo",
|
f"{SERVICE_API_URL}/async/services/pedimento_completo",
|
||||||
json={"pedimento": str(pedimento_id), "organizacion": str(organizacion_id)}
|
json={"pedimento": str(pedimento_id), "organizacion": str(organizacion_id)}
|
||||||
|
|||||||
@@ -222,14 +222,15 @@ def procesar_pedimentos_completos(organizacion_id):
|
|||||||
pedimento_dict = pedimento_to_dict(pedimento)
|
pedimento_dict = pedimento_to_dict(pedimento)
|
||||||
credenciales = Vucem.objects.filter(id=CredencialesImportador.objects.filter(rfc=pedimento.contribuyente).first().vucem.id).first()
|
credenciales = Vucem.objects.filter(id=CredencialesImportador.objects.filter(rfc=pedimento.contribuyente).first().vucem.id).first()
|
||||||
|
|
||||||
|
if not credenciales:
|
||||||
|
print(f"No se encontraron credenciales para el pedimento {pedimento.pedimento_app}")
|
||||||
|
continue
|
||||||
|
|
||||||
credenciales_dict = credenciales_to_dict(credenciales)
|
credenciales_dict = credenciales_to_dict(credenciales)
|
||||||
|
|
||||||
payload = {
|
payload = {
|
||||||
"pedimento": pedimento_dict,
|
"pedimento": pedimento_dict,
|
||||||
"credencial": credenciales_dict
|
"credencial": credenciales_dict
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
response = requests.post(
|
response = requests.post(
|
||||||
f"{SERVICE_API_URL_V2}/services/pedimento_completo",
|
f"{SERVICE_API_URL_V2}/services/pedimento_completo",
|
||||||
data=json.dumps(payload),
|
data=json.dumps(payload),
|
||||||
@@ -428,7 +429,35 @@ def documentos_con_errores(organizacion_id):
|
|||||||
# Aquí puedes agregar lógica adicional para manejar documentos con errores
|
# Aquí puedes agregar lógica adicional para manejar documentos con errores
|
||||||
# como enviar notificaciones, registrar en un log, etc.
|
# como enviar notificaciones, registrar en un log, etc.
|
||||||
|
|
||||||
|
@shared_task
|
||||||
|
def procesar_procesamiento_pedimento(organizacion_id):
|
||||||
|
# print("Creando procesamientos de pedimentos para organización:", organizacion_id)
|
||||||
|
|
||||||
|
pedimentos = Pedimento.objects.filter(organizacion_id=organizacion_id)
|
||||||
|
# pedimentos = Pedimento.objects.filter(id='1c061182-ac68-45b0-b3d7-35bf2264982b')
|
||||||
|
if not pedimentos.exists():
|
||||||
|
print("No se encontraron pedimentos para la organización:", organizacion_id)
|
||||||
|
return
|
||||||
|
for pedimento in pedimentos:
|
||||||
|
if not pedimento.documents.filter(document_type=2).exists(): # Tipo 2: Pedimento Completo
|
||||||
|
|
||||||
|
procesamiento_pedimento = ProcesamientoPedimento.objects.filter(
|
||||||
|
pedimento_id=pedimento.id,
|
||||||
|
servicio_id=3, # servicio 3: Pedimento Completo
|
||||||
|
)
|
||||||
|
|
||||||
|
if not procesamiento_pedimento.exists():
|
||||||
|
ProcesamientoPedimento.objects.create(
|
||||||
|
pedimento_id=pedimento.id
|
||||||
|
, organizacion_id=pedimento.organizacion_id
|
||||||
|
, estado_id =1
|
||||||
|
, servicio_id=3
|
||||||
|
, tipo_procesamiento_id=2) # servicio 3: Pedimento Completo
|
||||||
|
|
||||||
|
# print("Procesamiento creado para pedimento:", pedimento.pedimento_app)
|
||||||
|
|
||||||
|
procesar_pedimentos_completos.delay(organizacion_id)
|
||||||
|
|
||||||
def ejecutar_por_organizacion_y_procesamiento(organizacion_id, procesamiento):
|
def ejecutar_por_organizacion_y_procesamiento(organizacion_id, procesamiento):
|
||||||
if procesamiento == 'coves':
|
if procesamiento == 'coves':
|
||||||
procesar_coves.delay(organizacion_id)
|
procesar_coves.delay(organizacion_id)
|
||||||
@@ -444,9 +473,11 @@ def ejecutar_por_organizacion_y_procesamiento(organizacion_id, procesamiento):
|
|||||||
procesar_pedimentos_completos.delay(organizacion_id)
|
procesar_pedimentos_completos.delay(organizacion_id)
|
||||||
elif procesamiento == 'remesas':
|
elif procesamiento == 'remesas':
|
||||||
procesar_remesas.delay(organizacion_id)
|
procesar_remesas.delay(organizacion_id)
|
||||||
|
elif procesamiento == 'procesamiento_pedimento':
|
||||||
|
procesar_procesamiento_pedimento.delay(organizacion_id)
|
||||||
else:
|
else:
|
||||||
# Procesamiento no reconocido
|
# Procesamiento no reconocido
|
||||||
|
# print(f"Procesamiento no reconocido: {procesamiento}")
|
||||||
pass
|
pass
|
||||||
|
|
||||||
def ejecutar_todos_por_organizacion(organizacion_id):
|
def ejecutar_todos_por_organizacion(organizacion_id):
|
||||||
@@ -459,3 +490,5 @@ def ejecutar_todos_por_organizacion(organizacion_id):
|
|||||||
procesar_remesas.delay(organizacion_id)
|
procesar_remesas.delay(organizacion_id)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -10,7 +10,8 @@ from .views import (
|
|||||||
ViewSetEDocument,
|
ViewSetEDocument,
|
||||||
ViewSetCove,
|
ViewSetCove,
|
||||||
ImportadorViewSet,
|
ImportadorViewSet,
|
||||||
PartidaViewSet
|
PartidaViewSet,
|
||||||
|
EjecutarComandoView
|
||||||
)
|
)
|
||||||
# from .views import YourViewSet # Import your viewsets here
|
# from .views import YourViewSet # Import your viewsets here
|
||||||
|
|
||||||
@@ -95,4 +96,7 @@ urlpatterns = [
|
|||||||
path('auditor/obtener-respuesta/acuse-cove-vu/', auditor_obtener_respuesta_acuse_cove_vu, name='obtener-respuesta-acuse-cove-vu'),
|
path('auditor/obtener-respuesta/acuse-cove-vu/', auditor_obtener_respuesta_acuse_cove_vu, name='obtener-respuesta-acuse-cove-vu'),
|
||||||
path('auditor/obtener-peticion/edocument-vu/', auditor_obtener_peticion_edocument_vu, name='obtener-peticion-edocument-vu'),
|
path('auditor/obtener-peticion/edocument-vu/', auditor_obtener_peticion_edocument_vu, name='obtener-peticion-edocument-vu'),
|
||||||
path('auditor/obtener-respuesta/edocument-vu/', auditor_obtener_respuesta_edocument_vu, name='obtener-respuesta-edocument-vu'),
|
path('auditor/obtener-respuesta/edocument-vu/', auditor_obtener_respuesta_edocument_vu, name='obtener-respuesta-edocument-vu'),
|
||||||
|
|
||||||
|
path('procesamientopedimentos-ejecutar-comando/', EjecutarComandoView.as_view(), name='procesamientopedimentos-ejecutar-comando'),
|
||||||
|
|
||||||
]
|
]
|
||||||
File diff suppressed because it is too large
Load Diff
@@ -667,28 +667,36 @@ def auditar_peticion_respuesta_pedimento_completo(request):
|
|||||||
pedimento_app = pedimento.pedimento_app
|
pedimento_app = pedimento.pedimento_app
|
||||||
tipo_documento_peticion = None
|
tipo_documento_peticion = None
|
||||||
tipo_documento_respuesta = None
|
tipo_documento_respuesta = None
|
||||||
|
vista = 'desconocido'
|
||||||
|
|
||||||
if vista_auditar == 'pc':
|
if vista_auditar == 'pc':
|
||||||
tipo_documento_peticion = 13
|
tipo_documento_peticion = 13
|
||||||
tipo_documento_respuesta = 14
|
tipo_documento_respuesta = 14
|
||||||
|
vista = 'Pedimento Completo'
|
||||||
elif vista_auditar == 'rm':
|
elif vista_auditar == 'rm':
|
||||||
tipo_documento_peticion = 15
|
tipo_documento_peticion = 15
|
||||||
tipo_documento_respuesta = 16
|
tipo_documento_respuesta = 16
|
||||||
|
vista = 'Remesa'
|
||||||
elif vista_auditar == 'pt':
|
elif vista_auditar == 'pt':
|
||||||
tipo_documento_peticion = 17
|
tipo_documento_peticion = 17
|
||||||
tipo_documento_respuesta = 18
|
tipo_documento_respuesta = 18
|
||||||
|
vista = 'Partidas'
|
||||||
elif vista_auditar == 'cove':
|
elif vista_auditar == 'cove':
|
||||||
tipo_documento_peticion = 19
|
tipo_documento_peticion = 19
|
||||||
tipo_documento_respuesta = 20
|
tipo_documento_respuesta = 20
|
||||||
|
vista = 'COVEs'
|
||||||
elif vista_auditar == 'edoc':
|
elif vista_auditar == 'edoc':
|
||||||
tipo_documento_peticion = 21
|
tipo_documento_peticion = 21
|
||||||
tipo_documento_respuesta = 22
|
tipo_documento_respuesta = 22
|
||||||
|
vista = 'Edocuments'
|
||||||
elif vista_auditar == 'ac_cove':
|
elif vista_auditar == 'ac_cove':
|
||||||
tipo_documento_peticion = 23
|
tipo_documento_peticion = 23
|
||||||
tipo_documento_respuesta = 24
|
tipo_documento_respuesta = 24
|
||||||
|
vista = 'Acuses COVEs'
|
||||||
elif vista_auditar == 'ac':
|
elif vista_auditar == 'ac':
|
||||||
tipo_documento_peticion = 25
|
tipo_documento_peticion = 25
|
||||||
tipo_documento_respuesta = 26
|
tipo_documento_respuesta = 26
|
||||||
|
vista = 'Acuses'
|
||||||
|
|
||||||
if not tipo_documento_peticion and not tipo_documento_respuesta:
|
if not tipo_documento_peticion and not tipo_documento_respuesta:
|
||||||
return Response(
|
return Response(
|
||||||
@@ -712,7 +720,7 @@ def auditar_peticion_respuesta_pedimento_completo(request):
|
|||||||
|
|
||||||
if not documentos_peticion and not documentos_respuesta:
|
if not documentos_peticion and not documentos_respuesta:
|
||||||
return Response(
|
return Response(
|
||||||
{'error': 'Registro de documentos de petición y respuesta de partidas no encontrado'},
|
{'error': f'Registro de documentos de petición y respuesta de {vista} no encontrado(s)'},
|
||||||
status=status.HTTP_404_NOT_FOUND
|
status=status.HTTP_404_NOT_FOUND
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|||||||
@@ -61,18 +61,35 @@ class DataStageViewSet(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
|
|||||||
|
|
||||||
if self.request.user.is_superuser:
|
if self.request.user.is_superuser:
|
||||||
# Permitir que el superusuario cree sin organización o la especifique
|
# Permitir que el superusuario cree sin organización o la especifique
|
||||||
serializer.save()
|
datastage = serializer.save()
|
||||||
|
self._trigger_processing(datastage)
|
||||||
return
|
return
|
||||||
|
|
||||||
if (self.request.user.groups.filter(name='developer').exists() or self.request.user.groups.filter(name='admin').exists() or self.request.user.groups.filter(name='user').exists()) and self.request.user.groups.filter(name='Agente Aduanal').exists():
|
if (self.request.user.groups.filter(name='developer').exists() or self.request.user.groups.filter(name='admin').exists() or self.request.user.groups.filter(name='user').exists()) and self.request.user.groups.filter(name='Agente Aduanal').exists():
|
||||||
if not organizacion:
|
if not organizacion:
|
||||||
serializer.save(organizacion=self.request.user.organizacion)
|
datastage = serializer.save(organizacion=self.request.user.organizacion)
|
||||||
else:
|
else:
|
||||||
serializer.save()
|
datastage = serializer.save()
|
||||||
|
|
||||||
|
self._trigger_processing(datastage)
|
||||||
|
|
||||||
return
|
return
|
||||||
|
|
||||||
raise ValueError("No cuentas con los permisos necesarios para crear un DataStage")
|
raise ValueError("No cuentas con los permisos necesarios para crear un DataStage")
|
||||||
|
|
||||||
|
def _trigger_processing(self, datastage):
|
||||||
|
"""
|
||||||
|
Método helper para disparar el procesamiento.
|
||||||
|
"""
|
||||||
|
from api.datastage.tasks import procesar_datastage_task
|
||||||
|
user_organizacion = getattr(self.request.user, 'organizacion', None)
|
||||||
|
user_organizacion_id = user_organizacion.id if user_organizacion else None
|
||||||
|
|
||||||
|
datastage.procesado = True
|
||||||
|
datastage.save()
|
||||||
|
|
||||||
|
task = procesar_datastage_task.delay(datastage.id, user_organizacion_id)
|
||||||
|
|
||||||
def perform_update(self, serializer):
|
def perform_update(self, serializer):
|
||||||
"""
|
"""
|
||||||
Override to ensure organization is set on update.
|
Override to ensure organization is set on update.
|
||||||
@@ -113,6 +130,7 @@ class DataStageViewSet(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
|
|||||||
"""
|
"""
|
||||||
Endpoint para procesar el DataStage de forma asíncrona usando Celery.
|
Endpoint para procesar el DataStage de forma asíncrona usando Celery.
|
||||||
"""
|
"""
|
||||||
|
# ojo aqui
|
||||||
from api.datastage.tasks import procesar_datastage_task
|
from api.datastage.tasks import procesar_datastage_task
|
||||||
datastage = self.get_object()
|
datastage = self.get_object()
|
||||||
user_organizacion = getattr(self.request.user, 'organizacion', None)
|
user_organizacion = getattr(self.request.user, 'organizacion', None)
|
||||||
|
|||||||
@@ -15,13 +15,21 @@ class Document(models.Model):
|
|||||||
extension = models.CharField(max_length=60, blank=True, null=True)
|
extension = models.CharField(max_length=60, blank=True, null=True)
|
||||||
size = models.PositiveIntegerField()
|
size = models.PositiveIntegerField()
|
||||||
fuente = models.ForeignKey('Fuente', on_delete=models.CASCADE, related_name='documents', blank=True, null=True)
|
fuente = models.ForeignKey('Fuente', on_delete=models.CASCADE, related_name='documents', blank=True, null=True)
|
||||||
|
vu = models.BooleanField(default=False)
|
||||||
|
|
||||||
created_at = models.DateTimeField(auto_now_add=True)
|
created_at = models.DateTimeField(auto_now_add=True)
|
||||||
updated_at = models.DateTimeField(auto_now=True)
|
updated_at = models.DateTimeField(auto_now=True)
|
||||||
|
|
||||||
def save(self, *args, **kwargs):
|
def save(self, *args, **kwargs):
|
||||||
is_new = self._state.adding
|
is_new = self._state.adding
|
||||||
|
|
||||||
|
# Calcular automáticamente el campo vu
|
||||||
|
if self.document_type_id:
|
||||||
|
# rango de IDs que indican documentos VU
|
||||||
|
self.vu = 13 <= self.document_type_id <= 26
|
||||||
|
else:
|
||||||
|
self.vu = False
|
||||||
|
|
||||||
# Usar get_or_create en lugar de get para manejar el caso cuando no existe
|
# Usar get_or_create en lugar de get para manejar el caso cuando no existe
|
||||||
uso_almacenamiento, created = UsoAlmacenamiento.objects.get_or_create(
|
uso_almacenamiento, created = UsoAlmacenamiento.objects.get_or_create(
|
||||||
organizacion=self.organizacion,
|
organizacion=self.organizacion,
|
||||||
|
|||||||
@@ -13,7 +13,7 @@ class DocumentSerializer(serializers.ModelSerializer):
|
|||||||
fuente = serializers.PrimaryKeyRelatedField(queryset=Fuente.objects.all())
|
fuente = serializers.PrimaryKeyRelatedField(queryset=Fuente.objects.all())
|
||||||
class Meta:
|
class Meta:
|
||||||
model = Document
|
model = Document
|
||||||
fields = ('id', 'organizacion', 'pedimento', 'pedimento_numero', 'archivo', 'document_type', 'size', 'extension', 'fuente','fuente_nombre','created_at', 'updated_at')
|
fields = ('id', 'organizacion', 'pedimento', 'pedimento_numero', 'archivo', 'document_type', 'size', 'extension', 'fuente','fuente_nombre','created_at', 'updated_at','vu')
|
||||||
read_only_fields = ('id', 'size', 'extension', 'created_at', 'updated_at', 'pedimento_numero')
|
read_only_fields = ('id', 'size', 'extension', 'created_at', 'updated_at', 'pedimento_numero')
|
||||||
|
|
||||||
def get_pedimento_numero(self, obj):
|
def get_pedimento_numero(self, obj):
|
||||||
|
|||||||
@@ -313,6 +313,85 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
uso.save()
|
uso.save()
|
||||||
instance.delete()
|
instance.delete()
|
||||||
|
|
||||||
|
@action(detail=False, methods=['get'], url_path='vu-documentos-errores')
|
||||||
|
def vu_documentos_errores(self, request):
|
||||||
|
"""
|
||||||
|
Endpoint para obtener los documentos VU de error obtenidoss.
|
||||||
|
Filtra documentos cuyo document_type está en el rango de IDs de documentos VU (13-26).
|
||||||
|
"""
|
||||||
|
queryset = self.get_queryset().filter(vu=True)
|
||||||
|
|
||||||
|
pedimento_id = request.query_params.get('pedimentoId')
|
||||||
|
filtroExtension = request.query_params.get('extension')
|
||||||
|
filtroArchivo = request.query_params.get('archivo__icontains')
|
||||||
|
filtroFechaCreacion = request.query_params.get('created_at__date')
|
||||||
|
filtroTipoError = request.query_params.get('tipo_error')
|
||||||
|
filtroFuente = request.query_params.get('fuente')
|
||||||
|
document_type_ids = request.query_params.get('document_type_id')
|
||||||
|
|
||||||
|
if pedimento_id:
|
||||||
|
try:
|
||||||
|
pedimento_obj = Pedimento.objects.get(id=pedimento_id)
|
||||||
|
queryset = queryset.filter(pedimento_id=pedimento_id)
|
||||||
|
except Pedimento.DoesNotExist:
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontró el pedimento especificado"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
|
||||||
|
if filtroArchivo:
|
||||||
|
try:
|
||||||
|
queryset = queryset.filter(archivo__icontains=filtroArchivo)
|
||||||
|
except ValueError:
|
||||||
|
return Response(
|
||||||
|
{"error": "El parámetro Archivo debe ser caracteres válidos"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
if filtroExtension:
|
||||||
|
try:
|
||||||
|
queryset = queryset.filter(extension__iexact=filtroExtension)
|
||||||
|
except ValueError:
|
||||||
|
return Response(
|
||||||
|
{"error": "El parámetro extension debe ser una extensión válida"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
if filtroFechaCreacion:
|
||||||
|
from django.utils.dateparse import parse_date
|
||||||
|
|
||||||
|
fecha = parse_date(filtroFechaCreacion)
|
||||||
|
if not fecha:
|
||||||
|
return Response(
|
||||||
|
{"error": "El parámetro created_at__date debe tener el formato YYYY-MM-DD"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
queryset = queryset.filter(created_at__date=fecha)
|
||||||
|
|
||||||
|
if filtroTipoError:
|
||||||
|
try:
|
||||||
|
ids = [int(i) for i in filtroTipoError.split(',')]
|
||||||
|
queryset = queryset.filter(document_type_id__in=ids)
|
||||||
|
except ValueError:
|
||||||
|
return Response(
|
||||||
|
{"error": "El parámetro document_type_id debe ser una lista de IDs separados por comas"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
if filtroFuente:
|
||||||
|
try:
|
||||||
|
ids = [int(i) for i in filtroFuente.split(',')]
|
||||||
|
queryset = queryset.filter(fuente_id__in=ids)
|
||||||
|
except ValueError:
|
||||||
|
return Response(
|
||||||
|
{"error": "El parámetro fuente debe ser una lista de IDs separados por comas"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
serializer = self.get_serializer(queryset, many=True)
|
||||||
|
return Response(serializer.data)
|
||||||
|
|
||||||
@action(detail=False, methods=['post'], url_path='bulk-delete')
|
@action(detail=False, methods=['post'], url_path='bulk-delete')
|
||||||
def bulk_delete(self, request):
|
def bulk_delete(self, request):
|
||||||
"""
|
"""
|
||||||
@@ -424,10 +503,23 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
except UsoAlmacenamiento.DoesNotExist:
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
# Si no existe el registro, no hay nada que actualizar
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
pass
|
pass
|
||||||
|
|
||||||
# Eliminar los documentos
|
# Eliminar los documentos (archivos físicos y registros de BD)
|
||||||
deleted_count = existing_documents.count()
|
archivos_eliminados = 0
|
||||||
existing_documents.delete()
|
for doc in existing_documents:
|
||||||
|
try:
|
||||||
|
# Eliminar archivo físico
|
||||||
|
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||||
|
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||||
|
|
||||||
|
# Eliminar registro de la base de datos
|
||||||
|
doc.delete()
|
||||||
|
archivos_eliminados += 1
|
||||||
|
except Exception as e:
|
||||||
|
errors.append(f"No se pudo eliminar el documento {doc.id}: {str(e)}")
|
||||||
|
failed_ids.append(str(doc.id))
|
||||||
|
|
||||||
|
deleted_count = archivos_eliminados
|
||||||
|
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
return Response(
|
return Response(
|
||||||
@@ -437,7 +529,7 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
|
|
||||||
# Agregar errores para IDs no encontrados
|
# Agregar errores para IDs no encontrados
|
||||||
if failed_ids:
|
if failed_ids:
|
||||||
errors = [f"No se encontró el documento con ID {id} o no pertenece a su organización" for id in failed_ids]
|
errors.extend([f"No se encontró el documento con ID {id} o no pertenece a su organización" for id in failed_ids])
|
||||||
|
|
||||||
# Convertir bytes a MB para la respuesta
|
# Convertir bytes a MB para la respuesta
|
||||||
space_freed_mb = round(total_space_freed / (1024 * 1024), 2)
|
space_freed_mb = round(total_space_freed / (1024 * 1024), 2)
|
||||||
@@ -449,7 +541,7 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
"space_freed_mb": space_freed_mb
|
"space_freed_mb": space_freed_mb
|
||||||
}
|
}
|
||||||
|
|
||||||
if failed_ids:
|
if errors or failed_ids:
|
||||||
response_data.update({
|
response_data.update({
|
||||||
"message": "Algunos documentos no pudieron ser eliminados",
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
"failed_ids": failed_ids,
|
"failed_ids": failed_ids,
|
||||||
|
|||||||
@@ -194,7 +194,7 @@ class ExportDataStageView(APIView):
|
|||||||
|
|
||||||
if export_type == 'excel':
|
if export_type == 'excel':
|
||||||
# Siempre usar el método particionado inteligente para Excel
|
# Siempre usar el método particionado inteligente para Excel
|
||||||
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
return self.export_datastage_multiple_partitioned_excel_agrupados(request, models_data, global_filters, related_keys)
|
||||||
else:
|
else:
|
||||||
# Para CSV, podemos mantener la lógica actual o mejorarla
|
# Para CSV, podemos mantener la lógica actual o mejorarla
|
||||||
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
||||||
@@ -278,6 +278,868 @@ class ExportDataStageView(APIView):
|
|||||||
)
|
)
|
||||||
response['Content-Disposition'] = 'attachment; filename="datastage_related_report.xlsx"'
|
response['Content-Disposition'] = 'attachment; filename="datastage_related_report.xlsx"'
|
||||||
return response
|
return response
|
||||||
|
|
||||||
|
def export_datastage_multiple_partitioned_excel_agrupados(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
# 🔥 PRECARGAR ORGANIZACIONES para mapeo rápido
|
||||||
|
from api.organization.models import Organizacion
|
||||||
|
organizaciones = Organizacion.objects.all()
|
||||||
|
org_mapping = {str(org.id): org.nombre for org in organizaciones}
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
|
||||||
|
# 1. Recopilar todos los datos de cada modelo
|
||||||
|
all_models_data = {} # Ahora será una lista por clave
|
||||||
|
model_field_mappings = {}
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Normalizar nombres de campo entrantes: si se pasó "Organizacion"
|
||||||
|
# (cualquier capitalización), usar el campo real de la BD `organizacion_id`.
|
||||||
|
normalized_fields = []
|
||||||
|
for f in fields:
|
||||||
|
try:
|
||||||
|
key = f.strip() if isinstance(f, str) else f
|
||||||
|
except Exception:
|
||||||
|
key = f
|
||||||
|
|
||||||
|
if isinstance(key, str) and key.lower() == 'organizacion':
|
||||||
|
if 'organizacion_id' not in normalized_fields:
|
||||||
|
normalized_fields.append('organizacion_id')
|
||||||
|
else:
|
||||||
|
if key not in normalized_fields:
|
||||||
|
normalized_fields.append(key)
|
||||||
|
|
||||||
|
fields = normalized_fields
|
||||||
|
|
||||||
|
# Asegurar que tenemos los campos de relación
|
||||||
|
required_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||||
|
for field in required_fields:
|
||||||
|
if field not in fields:
|
||||||
|
fields.append(field)
|
||||||
|
|
||||||
|
# 🔥 Añadir organizacion_id a los campos si no está y existe en el modelo
|
||||||
|
if 'organizacion_id' not in fields and 'organizacion_id' in [f.name for f in apps.get_model('datastage', model_name)._meta.get_fields()]:
|
||||||
|
fields.append('organizacion_id')
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Determinar campos de relación disponibles en este modelo
|
||||||
|
relation_fields = []
|
||||||
|
for field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||||
|
if field_name in fields:
|
||||||
|
relation_fields.append(field_name)
|
||||||
|
|
||||||
|
if not relation_fields:
|
||||||
|
# Si no hay campos de relación, usar un identificador único
|
||||||
|
relation_fields = ['datastage_id'] if 'datastage_id' in fields else [fields[0]]
|
||||||
|
|
||||||
|
# Guardar mapeo de campos para este modelo
|
||||||
|
if model_name not in model_field_mappings:
|
||||||
|
model_field_mappings[model_name] = fields
|
||||||
|
|
||||||
|
# Procesar cada registro
|
||||||
|
for record in queryset:
|
||||||
|
# Crear clave de relación
|
||||||
|
key_parts = []
|
||||||
|
for rel_field in relation_fields:
|
||||||
|
if rel_field in record and record[rel_field] is not None:
|
||||||
|
key_parts.append(str(record[rel_field]))
|
||||||
|
|
||||||
|
if not key_parts:
|
||||||
|
# Si no hay campos de relación, usar un hash del registro
|
||||||
|
import hashlib
|
||||||
|
record_str = str(sorted(record.items()))
|
||||||
|
key = hashlib.md5(record_str.encode()).hexdigest()[:10]
|
||||||
|
else:
|
||||||
|
key = "_".join(key_parts)
|
||||||
|
|
||||||
|
# 🔥 PROCESAR CAMPO organizacion_id para convertirlo a nombre
|
||||||
|
processed_record = {}
|
||||||
|
for field_name, value in record.items():
|
||||||
|
# Convertir organizacion_id a nombre
|
||||||
|
if field_name == 'organizacion_id' and value:
|
||||||
|
org_id_str = str(value)
|
||||||
|
# Usar el nombre de la organización si está en el mapeo
|
||||||
|
if org_id_str in org_mapping:
|
||||||
|
processed_value = org_mapping[org_id_str]
|
||||||
|
else:
|
||||||
|
# Si no se encuentra, intentar obtener de la base de datos
|
||||||
|
try:
|
||||||
|
org = Organizacion.objects.filter(id=value).first()
|
||||||
|
processed_value = org.nombre if org else str(value)
|
||||||
|
# Actualizar mapeo para futuras referencias
|
||||||
|
org_mapping[org_id_str] = processed_value
|
||||||
|
except:
|
||||||
|
processed_value = str(value)
|
||||||
|
else:
|
||||||
|
processed_value = value
|
||||||
|
|
||||||
|
# Agregar prefijo del modelo a los campos para evitar colisiones
|
||||||
|
if field_name in relation_fields:
|
||||||
|
prefixed_field_name = field_name
|
||||||
|
else:
|
||||||
|
prefixed_field_name = f"{model_name}_{field_name}"
|
||||||
|
|
||||||
|
# 🔥 RENOMBRAR organizacion_id a organizacion_nombre
|
||||||
|
if field_name == 'organizacion_id':
|
||||||
|
prefixed_field_name = prefixed_field_name.replace('organizacion_id', 'organizacion_nombre')
|
||||||
|
|
||||||
|
processed_record[prefixed_field_name] = self.safe_excel_value(processed_value)
|
||||||
|
|
||||||
|
# 🔥 CORRECIÓN: Ahora almacenamos una LISTA de registros por clave
|
||||||
|
if key not in all_models_data:
|
||||||
|
all_models_data[key] = {
|
||||||
|
'relation_fields': {}, # Campos de relación compartidos
|
||||||
|
'model_records': {} # Diccionario de listas por modelo
|
||||||
|
}
|
||||||
|
|
||||||
|
# Guardar campos de relación (solo una vez, ya que son los mismos)
|
||||||
|
for rel_field in relation_fields:
|
||||||
|
if rel_field in record:
|
||||||
|
all_models_data[key]['relation_fields'][rel_field] = record[rel_field]
|
||||||
|
|
||||||
|
# 🔥 GUARDAR COMO LISTA: Crear lista si no existe
|
||||||
|
if model_name not in all_models_data[key]['model_records']:
|
||||||
|
all_models_data[key]['model_records'][model_name] = []
|
||||||
|
|
||||||
|
# Agregar este registro a la lista del modelo
|
||||||
|
all_models_data[key]['model_records'][model_name].append(processed_record)
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Si no hay datos, retornar error
|
||||||
|
if not all_models_data:
|
||||||
|
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||||
|
|
||||||
|
# 2. Crear estructura de filas combinadas
|
||||||
|
# Ahora necesitamos expandir las filas cuando hay múltiples registros con la misma clave
|
||||||
|
combined_rows = []
|
||||||
|
|
||||||
|
for key, data in all_models_data.items():
|
||||||
|
relation_fields = data['relation_fields']
|
||||||
|
model_records = data['model_records']
|
||||||
|
|
||||||
|
# 🔥 NUEVO: Calcular cuántas filas necesitamos para esta clave
|
||||||
|
# Encontrar el modelo con más registros para esta clave
|
||||||
|
max_records_per_key = 1
|
||||||
|
for model_name, records in model_records.items():
|
||||||
|
if len(records) > max_records_per_key:
|
||||||
|
max_records_per_key = len(records)
|
||||||
|
|
||||||
|
# 🔗 CREAR UNA FILA POR CADA COMBINACIÓN
|
||||||
|
for i in range(max_records_per_key):
|
||||||
|
row_data = {}
|
||||||
|
|
||||||
|
# Campos de relación (mismos para todas las filas con esta clave)
|
||||||
|
for rel_field, rel_value in relation_fields.items():
|
||||||
|
row_data[rel_field] = self.safe_excel_value(rel_value)
|
||||||
|
|
||||||
|
# Datos de cada modelo
|
||||||
|
for model_name, records in model_records.items():
|
||||||
|
# Si hay un registro en esta posición i
|
||||||
|
if i < len(records):
|
||||||
|
record = records[i]
|
||||||
|
for field_name, value in record.items():
|
||||||
|
row_data[field_name] = value
|
||||||
|
else:
|
||||||
|
# Si no hay más registros para este modelo, poner campos vacíos
|
||||||
|
for field_name in model_field_mappings.get(model_name, []):
|
||||||
|
if field_name in ['seccion_aduanera', 'patente', 'pedimento', 'organizacion_id']:
|
||||||
|
# Los campos de relación ya están llenados o transformados
|
||||||
|
continue
|
||||||
|
prefixed_field_name = f"{model_name}_{field_name}"
|
||||||
|
# 🔥 RENOMBRAR organizacion_id a organizacion_nombre
|
||||||
|
if field_name == 'organizacion_id':
|
||||||
|
prefixed_field_name = prefixed_field_name.replace('organizacion_id', 'organizacion_nombre')
|
||||||
|
row_data[prefixed_field_name] = ''
|
||||||
|
|
||||||
|
combined_rows.append(row_data)
|
||||||
|
|
||||||
|
# 3. Determinar todos los campos únicos para los encabezados
|
||||||
|
all_fields_set = set()
|
||||||
|
|
||||||
|
# Campos de relación primero
|
||||||
|
common_relation_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||||
|
|
||||||
|
# Agregar todos los campos de todas las filas
|
||||||
|
for row in combined_rows:
|
||||||
|
all_fields_set.update(row.keys())
|
||||||
|
|
||||||
|
# Ordenar campos: relación primero, luego alfabéticamente
|
||||||
|
all_fields = []
|
||||||
|
for rel_field in common_relation_fields:
|
||||||
|
if rel_field in all_fields_set:
|
||||||
|
all_fields.append(rel_field)
|
||||||
|
all_fields_set.remove(rel_field)
|
||||||
|
|
||||||
|
# 🔥 Mover organizacion_nombre cerca de los campos de relación
|
||||||
|
org_fields = [f for f in all_fields_set if 'organizacion' in f.lower()]
|
||||||
|
for org_field in sorted(org_fields):
|
||||||
|
all_fields.append(org_field)
|
||||||
|
all_fields_set.remove(org_field)
|
||||||
|
|
||||||
|
# Agregar el resto de campos ordenados alfabéticamente
|
||||||
|
all_fields.extend(sorted(all_fields_set))
|
||||||
|
|
||||||
|
total_records = len(combined_rows)
|
||||||
|
|
||||||
|
# 4. Manejar particionado
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(combined_rows, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear nuevo workbook para cada partición
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_ws = current_wb.active
|
||||||
|
|
||||||
|
# Nombre de hoja limitado a 31 caracteres
|
||||||
|
sheet_name = f"Datastage_p{page_num}"
|
||||||
|
if len(sheet_name) > 31:
|
||||||
|
sheet_name = sheet_name[:31]
|
||||||
|
current_ws.title = sheet_name
|
||||||
|
|
||||||
|
# Escribir encabezados
|
||||||
|
current_ws.append(all_fields)
|
||||||
|
|
||||||
|
# Escribir datos de esta página
|
||||||
|
for row_data in page.object_list:
|
||||||
|
row_values = [row_data.get(field, '') for field in all_fields]
|
||||||
|
current_ws.append(row_values)
|
||||||
|
|
||||||
|
# Autoajustar anchos de columna
|
||||||
|
for column in current_ws.columns:
|
||||||
|
max_length = 0
|
||||||
|
column_letter = column[0].column_letter
|
||||||
|
|
||||||
|
for cell in column:
|
||||||
|
try:
|
||||||
|
if len(str(cell.value)) > max_length:
|
||||||
|
max_length = len(str(cell.value))
|
||||||
|
except:
|
||||||
|
pass
|
||||||
|
|
||||||
|
adjusted_width = min(max_length + 2, 50)
|
||||||
|
current_ws.column_dimensions[column_letter].width = adjusted_width
|
||||||
|
|
||||||
|
# Guardar archivo en ZIP
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{page_num}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
# Información de depuración
|
||||||
|
print(f"Creada partición {page_num} con {len(page.object_list)} registros combinados")
|
||||||
|
print(f"Total de claves únicas: {len(all_models_data)}")
|
||||||
|
print(f"Total de filas expandidas: {total_records}")
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
import traceback
|
||||||
|
error_details = traceback.format_exc()
|
||||||
|
print(f"Error en exportación: {error_details}")
|
||||||
|
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
|
||||||
|
def export_datastage_multiple_partitioned_excel_test_3(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
|
||||||
|
# 1. Recopilar todos los datos de cada modelo
|
||||||
|
all_models_data = {} # Ahora será una lista por clave
|
||||||
|
model_field_mappings = {}
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Asegurar que tenemos los campos de relación
|
||||||
|
required_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||||
|
for field in required_fields:
|
||||||
|
if field not in fields:
|
||||||
|
fields.append(field)
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Determinar campos de relación disponibles en este modelo
|
||||||
|
relation_fields = []
|
||||||
|
for field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||||
|
if field_name in fields:
|
||||||
|
relation_fields.append(field_name)
|
||||||
|
|
||||||
|
if not relation_fields:
|
||||||
|
# Si no hay campos de relación, usar un identificador único
|
||||||
|
relation_fields = ['datastage_id'] if 'datastage_id' in fields else [fields[0]]
|
||||||
|
|
||||||
|
# Guardar mapeo de campos para este modelo
|
||||||
|
if model_name not in model_field_mappings:
|
||||||
|
model_field_mappings[model_name] = fields
|
||||||
|
|
||||||
|
# Procesar cada registro
|
||||||
|
for record in queryset:
|
||||||
|
# Crear clave de relación
|
||||||
|
key_parts = []
|
||||||
|
for rel_field in relation_fields:
|
||||||
|
if rel_field in record and record[rel_field] is not None:
|
||||||
|
key_parts.append(str(record[rel_field]))
|
||||||
|
|
||||||
|
if not key_parts:
|
||||||
|
# Si no hay campos de relación, usar un hash del registro
|
||||||
|
import hashlib
|
||||||
|
record_str = str(sorted(record.items()))
|
||||||
|
key = hashlib.md5(record_str.encode()).hexdigest()[:10]
|
||||||
|
else:
|
||||||
|
key = "_".join(key_parts)
|
||||||
|
|
||||||
|
# Agregar prefijo del modelo a los campos para evitar colisiones
|
||||||
|
prefixed_fields = {}
|
||||||
|
for field_name, value in record.items():
|
||||||
|
# Solo agregar prefijo si no es un campo de relación
|
||||||
|
if field_name in relation_fields:
|
||||||
|
prefixed_field_name = field_name
|
||||||
|
else:
|
||||||
|
prefixed_field_name = f"{model_name}_{field_name}"
|
||||||
|
prefixed_fields[prefixed_field_name] = self.safe_excel_value(value)
|
||||||
|
|
||||||
|
# 🔥 CORRECIÓN: Ahora almacenamos una LISTA de registros por clave
|
||||||
|
if key not in all_models_data:
|
||||||
|
all_models_data[key] = {
|
||||||
|
'relation_fields': {}, # Campos de relación compartidos
|
||||||
|
'model_records': {} # Diccionario de listas por modelo
|
||||||
|
}
|
||||||
|
|
||||||
|
# Guardar campos de relación (solo una vez, ya que son los mismos)
|
||||||
|
for rel_field in relation_fields:
|
||||||
|
if rel_field in record:
|
||||||
|
all_models_data[key]['relation_fields'][rel_field] = record[rel_field]
|
||||||
|
|
||||||
|
# 🔥 GUARDAR COMO LISTA: Crear lista si no existe
|
||||||
|
if model_name not in all_models_data[key]['model_records']:
|
||||||
|
all_models_data[key]['model_records'][model_name] = []
|
||||||
|
|
||||||
|
# Agregar este registro a la lista del modelo
|
||||||
|
all_models_data[key]['model_records'][model_name].append(prefixed_fields)
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Si no hay datos, retornar error
|
||||||
|
if not all_models_data:
|
||||||
|
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||||
|
|
||||||
|
# 2. Crear estructura de filas combinadas
|
||||||
|
# Ahora necesitamos expandir las filas cuando hay múltiples registros con la misma clave
|
||||||
|
combined_rows = []
|
||||||
|
|
||||||
|
for key, data in all_models_data.items():
|
||||||
|
relation_fields = data['relation_fields']
|
||||||
|
model_records = data['model_records']
|
||||||
|
|
||||||
|
# 🔥 NUEVO: Calcular cuántas filas necesitamos para esta clave
|
||||||
|
# Encontrar el modelo con más registros para esta clave
|
||||||
|
max_records_per_key = 1
|
||||||
|
for model_name, records in model_records.items():
|
||||||
|
if len(records) > max_records_per_key:
|
||||||
|
max_records_per_key = len(records)
|
||||||
|
|
||||||
|
# 🔗 CREAR UNA FILA POR CADA COMBINACIÓN
|
||||||
|
for i in range(max_records_per_key):
|
||||||
|
row_data = {}
|
||||||
|
|
||||||
|
# Campos de relación (mismos para todas las filas con esta clave)
|
||||||
|
for rel_field, rel_value in relation_fields.items():
|
||||||
|
row_data[rel_field] = self.safe_excel_value(rel_value)
|
||||||
|
|
||||||
|
# Datos de cada modelo
|
||||||
|
for model_name, records in model_records.items():
|
||||||
|
# Si hay un registro en esta posición i
|
||||||
|
if i < len(records):
|
||||||
|
record = records[i]
|
||||||
|
for field_name, value in record.items():
|
||||||
|
row_data[field_name] = value
|
||||||
|
else:
|
||||||
|
# Si no hay más registros para este modelo, poner campos vacíos
|
||||||
|
for field_name in model_field_mappings.get(model_name, []):
|
||||||
|
if field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||||
|
# Los campos de relación ya están llenados
|
||||||
|
continue
|
||||||
|
prefixed_field_name = f"{model_name}_{field_name}"
|
||||||
|
row_data[prefixed_field_name] = ''
|
||||||
|
|
||||||
|
combined_rows.append(row_data)
|
||||||
|
|
||||||
|
# 3. Determinar todos los campos únicos para los encabezados
|
||||||
|
all_fields_set = set()
|
||||||
|
|
||||||
|
# Campos de relación primero
|
||||||
|
common_relation_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||||
|
|
||||||
|
# Agregar todos los campos de todas las filas
|
||||||
|
for row in combined_rows:
|
||||||
|
all_fields_set.update(row.keys())
|
||||||
|
|
||||||
|
# Ordenar campos: relación primero, luego alfabéticamente
|
||||||
|
all_fields = []
|
||||||
|
for rel_field in common_relation_fields:
|
||||||
|
if rel_field in all_fields_set:
|
||||||
|
all_fields.append(rel_field)
|
||||||
|
all_fields_set.remove(rel_field)
|
||||||
|
|
||||||
|
# Agregar el resto de campos ordenados alfabéticamente
|
||||||
|
all_fields.extend(sorted(all_fields_set))
|
||||||
|
|
||||||
|
total_records = len(combined_rows)
|
||||||
|
|
||||||
|
# 4. Manejar particionado
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(combined_rows, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear nuevo workbook para cada partición
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_ws = current_wb.active
|
||||||
|
|
||||||
|
# Nombre de hoja limitado a 31 caracteres
|
||||||
|
sheet_name = f"Datastage_p{page_num}"
|
||||||
|
if len(sheet_name) > 31:
|
||||||
|
sheet_name = sheet_name[:31]
|
||||||
|
current_ws.title = sheet_name
|
||||||
|
|
||||||
|
# Escribir encabezados
|
||||||
|
current_ws.append(all_fields)
|
||||||
|
|
||||||
|
# Escribir datos de esta página
|
||||||
|
for row_data in page.object_list:
|
||||||
|
row_values = [row_data.get(field, '') for field in all_fields]
|
||||||
|
current_ws.append(row_values)
|
||||||
|
|
||||||
|
# Autoajustar anchos de columna
|
||||||
|
for column in current_ws.columns:
|
||||||
|
max_length = 0
|
||||||
|
column_letter = column[0].column_letter
|
||||||
|
|
||||||
|
for cell in column:
|
||||||
|
try:
|
||||||
|
if len(str(cell.value)) > max_length:
|
||||||
|
max_length = len(str(cell.value))
|
||||||
|
except:
|
||||||
|
pass
|
||||||
|
|
||||||
|
adjusted_width = min(max_length + 2, 50)
|
||||||
|
current_ws.column_dimensions[column_letter].width = adjusted_width
|
||||||
|
|
||||||
|
# Guardar archivo en ZIP
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{page_num}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
# Información de depuración
|
||||||
|
print(f"Creada partición {page_num} con {len(page.object_list)} registros combinados")
|
||||||
|
print(f"Total de claves únicas: {len(all_models_data)}")
|
||||||
|
print(f"Total de filas expandidas: {total_records}")
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
import traceback
|
||||||
|
error_details = traceback.format_exc()
|
||||||
|
print(f"Error en exportación: {error_details}")
|
||||||
|
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def export_datastage_multiple_partitioned_excel_test_2(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
|
||||||
|
# 1. Recopilar todos los datos de cada modelo por clave (aduana, patente, pedimento)
|
||||||
|
all_models_data = {}
|
||||||
|
model_field_mappings = {}
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
required_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||||
|
|
||||||
|
for field in required_fields:
|
||||||
|
if field not in fields:
|
||||||
|
fields.append(field)
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Determinar campos de relación disponibles en este modelo
|
||||||
|
relation_fields = []
|
||||||
|
for field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||||
|
if field_name in fields:
|
||||||
|
relation_fields.append(field_name)
|
||||||
|
|
||||||
|
if not relation_fields:
|
||||||
|
# Si no hay campos de relación, usar un identificador único
|
||||||
|
relation_fields = ['datastage_id'] if 'datastage_id' in fields else [fields[0]]
|
||||||
|
|
||||||
|
# Procesar cada registro
|
||||||
|
for record in queryset:
|
||||||
|
# Crear clave de relación
|
||||||
|
key_parts = []
|
||||||
|
for rel_field in relation_fields:
|
||||||
|
if rel_field in record and record[rel_field] is not None:
|
||||||
|
key_parts.append(str(record[rel_field]))
|
||||||
|
|
||||||
|
if not key_parts:
|
||||||
|
# Si no hay campos de relación, usar un hash del registro
|
||||||
|
import hashlib
|
||||||
|
record_str = str(sorted(record.items()))
|
||||||
|
key = hashlib.md5(record_str.encode()).hexdigest()[:10]
|
||||||
|
else:
|
||||||
|
key = "_".join(key_parts)
|
||||||
|
|
||||||
|
# Agregar prefijo del modelo a los campos para evitar colisiones
|
||||||
|
prefixed_fields = {}
|
||||||
|
for field_name, value in record.items():
|
||||||
|
prefixed_field_name = f"{model_name}_{field_name}"
|
||||||
|
prefixed_fields[prefixed_field_name] = self.safe_excel_value(value)
|
||||||
|
# Registrar mapeo de campos
|
||||||
|
if model_name not in model_field_mappings:
|
||||||
|
model_field_mappings[model_name] = []
|
||||||
|
if field_name not in model_field_mappings[model_name]:
|
||||||
|
model_field_mappings[model_name].append(field_name)
|
||||||
|
|
||||||
|
# Guardar datos bajo la clave
|
||||||
|
if key not in all_models_data:
|
||||||
|
all_models_data[key] = {
|
||||||
|
'relation_fields': {},
|
||||||
|
'model_data': {}
|
||||||
|
}
|
||||||
|
|
||||||
|
# Guardar campos de relación
|
||||||
|
for rel_field in relation_fields:
|
||||||
|
if rel_field in record:
|
||||||
|
all_models_data[key]['relation_fields'][rel_field] = record[rel_field]
|
||||||
|
|
||||||
|
# Guardar datos del modelo
|
||||||
|
all_models_data[key]['model_data'][model_name] = prefixed_fields
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Si no hay datos, retornar error
|
||||||
|
if not all_models_data:
|
||||||
|
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||||
|
|
||||||
|
# 2. Determinar todos los campos únicos que necesitaremos
|
||||||
|
all_fields_set = set()
|
||||||
|
|
||||||
|
# Primero agregar campos de relación comunes
|
||||||
|
common_relation_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||||
|
|
||||||
|
for key, data in all_models_data.items():
|
||||||
|
# Agregar campos de relación
|
||||||
|
for rel_field in common_relation_fields:
|
||||||
|
if rel_field in data['relation_fields']:
|
||||||
|
all_fields_set.add(rel_field)
|
||||||
|
|
||||||
|
# Agregar campos de todos los modelos para esta clave
|
||||||
|
for model_name, model_fields in data['model_data'].items():
|
||||||
|
for field_name in model_fields.keys():
|
||||||
|
all_fields_set.add(field_name)
|
||||||
|
|
||||||
|
# Convertir a lista ordenada (campos de relación primero)
|
||||||
|
all_fields = []
|
||||||
|
for rel_field in common_relation_fields:
|
||||||
|
if rel_field in all_fields_set:
|
||||||
|
all_fields.append(rel_field)
|
||||||
|
all_fields_set.remove(rel_field)
|
||||||
|
|
||||||
|
# Luego agregar el resto de campos ordenados alfabéticamente
|
||||||
|
all_fields.extend(sorted(all_fields_set))
|
||||||
|
|
||||||
|
# 3. Crear datos combinados por fila
|
||||||
|
combined_rows = []
|
||||||
|
|
||||||
|
for key, data in all_models_data.items():
|
||||||
|
row_data = {}
|
||||||
|
|
||||||
|
# Campos de relación
|
||||||
|
for rel_field in common_relation_fields:
|
||||||
|
if rel_field in data['relation_fields']:
|
||||||
|
row_data[rel_field] = self.safe_excel_value(data['relation_fields'][rel_field])
|
||||||
|
else:
|
||||||
|
row_data[rel_field] = ''
|
||||||
|
|
||||||
|
# Datos de cada modelo
|
||||||
|
for model_name, model_fields in data['model_data'].items():
|
||||||
|
for field_name, value in model_fields.items():
|
||||||
|
row_data[field_name] = value
|
||||||
|
|
||||||
|
# Rellenar campos faltantes con vacío
|
||||||
|
for field in all_fields:
|
||||||
|
if field not in row_data:
|
||||||
|
row_data[field] = ''
|
||||||
|
|
||||||
|
combined_rows.append(row_data)
|
||||||
|
|
||||||
|
total_records = len(combined_rows)
|
||||||
|
|
||||||
|
# 4. Manejar particionado
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(combined_rows, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear nuevo workbook para cada partición
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_ws = current_wb.active
|
||||||
|
|
||||||
|
# Nombre de hoja limitado a 31 caracteres
|
||||||
|
sheet_name = f"Datastage_p{page_num}"
|
||||||
|
if len(sheet_name) > 31:
|
||||||
|
sheet_name = sheet_name[:31]
|
||||||
|
current_ws.title = sheet_name
|
||||||
|
|
||||||
|
# Escribir encabezados
|
||||||
|
current_ws.append(all_fields)
|
||||||
|
|
||||||
|
# Escribir datos de esta página
|
||||||
|
for row_data in page.object_list:
|
||||||
|
row_values = [row_data.get(field, '') for field in all_fields]
|
||||||
|
current_ws.append(row_values)
|
||||||
|
|
||||||
|
# Autoajustar anchos de columna (opcional)
|
||||||
|
for column in current_ws.columns:
|
||||||
|
max_length = 0
|
||||||
|
column_letter = column[0].column_letter
|
||||||
|
|
||||||
|
for cell in column:
|
||||||
|
try:
|
||||||
|
if len(str(cell.value)) > max_length:
|
||||||
|
max_length = len(str(cell.value))
|
||||||
|
except:
|
||||||
|
pass
|
||||||
|
|
||||||
|
adjusted_width = min(max_length + 2, 50) # Máximo 50 caracteres
|
||||||
|
current_ws.column_dimensions[column_letter].width = adjusted_width
|
||||||
|
|
||||||
|
# Guardar archivo en ZIP
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{page_num}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
# Información de depuración
|
||||||
|
print(f"Creada partición {page_num} con {len(page.object_list)} registros combinados")
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
import traceback
|
||||||
|
error_details = traceback.format_exc()
|
||||||
|
print(f"Error en exportación: {error_details}")
|
||||||
|
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
|
||||||
|
def export_datastage_multiple_partitioned_excel_test(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
file_counter = 1
|
||||||
|
current_wb = None
|
||||||
|
current_ws = None
|
||||||
|
current_record_count = 0
|
||||||
|
combined_fields = [] # Almacenar todos los campos únicos
|
||||||
|
combined_data = [] # Almacenar todos los datos
|
||||||
|
|
||||||
|
# 1. Primero recopilar todos los campos y datos
|
||||||
|
all_models_data = {}
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Almacenar los datos de este modelo
|
||||||
|
all_models_data[model_name] = {
|
||||||
|
'fields': fields,
|
||||||
|
'data': list(queryset),
|
||||||
|
'total_records': total_records
|
||||||
|
}
|
||||||
|
|
||||||
|
# Agregar campos únicos a la lista combinada
|
||||||
|
for field in fields:
|
||||||
|
if field not in combined_fields:
|
||||||
|
combined_fields.append(field)
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Si no hay datos, retornar error
|
||||||
|
if not all_models_data:
|
||||||
|
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||||
|
|
||||||
|
# 2. Crear estructura de datos combinada
|
||||||
|
# Primero, preparar los datos combinados
|
||||||
|
for model_name, model_info in all_models_data.items():
|
||||||
|
fields = model_info['fields']
|
||||||
|
data = model_info['data']
|
||||||
|
|
||||||
|
for record in data:
|
||||||
|
combined_record = {}
|
||||||
|
|
||||||
|
# Para cada campo en la lista combinada
|
||||||
|
for combined_field in combined_fields:
|
||||||
|
if combined_field in fields:
|
||||||
|
# Si el campo existe en este modelo, usar su valor
|
||||||
|
value = record.get(combined_field)
|
||||||
|
combined_record[combined_field] = self.safe_excel_value(value)
|
||||||
|
else:
|
||||||
|
# Si no existe, poner vacío
|
||||||
|
combined_record[combined_field] = ''
|
||||||
|
|
||||||
|
# Agregar columna para identificar el modelo origen
|
||||||
|
combined_record['_modelo_origen'] = model_name
|
||||||
|
|
||||||
|
combined_data.append(combined_record)
|
||||||
|
|
||||||
|
# Agregar campo de modelo origen a la lista de campos si no está ya
|
||||||
|
if '_modelo_origen' not in combined_fields:
|
||||||
|
combined_fields.append('_modelo_origen')
|
||||||
|
|
||||||
|
total_combined_records = len(combined_data)
|
||||||
|
|
||||||
|
# 3. Manejar particionado
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(combined_data, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear nuevo workbook para cada partición
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_ws = current_wb.active
|
||||||
|
current_ws.title = f"Todos_Modelos_p{page_num}"[:31]
|
||||||
|
|
||||||
|
# Escribir encabezados
|
||||||
|
current_ws.append(combined_fields)
|
||||||
|
|
||||||
|
# Escribir datos de esta página
|
||||||
|
for record in page.object_list:
|
||||||
|
row_values = [record.get(field, '') for field in combined_fields]
|
||||||
|
current_ws.append(row_values)
|
||||||
|
|
||||||
|
# Guardar archivo en ZIP
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_combinado_part{page_num}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
# Información de depuración (opcional)
|
||||||
|
print(f"Creada partición {page_num} con {len(page.object_list)} registros")
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
import traceback
|
||||||
|
error_details = traceback.format_exc()
|
||||||
|
print(f"Error en exportación: {error_details}")
|
||||||
|
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
||||||
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados inteligentemente"""
|
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados inteligentemente"""
|
||||||
|
|||||||
@@ -8,7 +8,8 @@ class TaskFilter(filters.FilterSet):
|
|||||||
timestamp_gte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='gte')
|
timestamp_gte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='gte')
|
||||||
timestamp_lte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='lte')
|
timestamp_lte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='lte')
|
||||||
status = filters.CharFilter(field_name='status')
|
status = filters.CharFilter(field_name='status')
|
||||||
|
organizacion = filters.UUIDFilter(field_name='organizacion__id') # Cambiado a relación directa
|
||||||
|
|
||||||
class Meta:
|
class Meta:
|
||||||
model = Task
|
model = Task
|
||||||
fields = ['servicio', 'pedimento_app', 'pedimento', 'timestamp_gte', 'timestamp_lte', 'status']
|
fields = ['servicio', 'pedimento_app', 'pedimento', 'timestamp_gte', 'timestamp_lte', 'status', 'organizacion']
|
||||||
@@ -4,6 +4,7 @@ from django_filters.rest_framework import DjangoFilterBackend
|
|||||||
from rest_framework.pagination import PageNumberPagination
|
from rest_framework.pagination import PageNumberPagination
|
||||||
|
|
||||||
from api.logger.mixins import LoggingMixin
|
from api.logger.mixins import LoggingMixin
|
||||||
|
from mixins.filtrado_organizacion import OrganizacionFiltradaMixin, ProcesosPorOrganizacionMixin
|
||||||
from .models import Task
|
from .models import Task
|
||||||
from .serializers import TaskSerializer
|
from .serializers import TaskSerializer
|
||||||
from .filters import TaskFilter
|
from .filters import TaskFilter
|
||||||
@@ -22,7 +23,7 @@ class TaskPagination(PageNumberPagination):
|
|||||||
page_size_query_param = 'page_size'
|
page_size_query_param = 'page_size'
|
||||||
max_page_size = 100
|
max_page_size = 100
|
||||||
|
|
||||||
class TaskViewSet(LoggingMixin,viewsets.ModelViewSet):
|
class TaskViewSet(LoggingMixin,viewsets.ModelViewSet,OrganizacionFiltradaMixin):
|
||||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||||
queryset = Task.objects.select_related('pedimento', 'servicio').all()
|
queryset = Task.objects.select_related('pedimento', 'servicio').all()
|
||||||
serializer_class = TaskSerializer
|
serializer_class = TaskSerializer
|
||||||
@@ -32,4 +33,19 @@ class TaskViewSet(LoggingMixin,viewsets.ModelViewSet):
|
|||||||
ordering_fields = ['timestamp']
|
ordering_fields = ['timestamp']
|
||||||
ordering = ['-timestamp'] # ordenamiento por defecto, más reciente primero
|
ordering = ['-timestamp'] # ordenamiento por defecto, más reciente primero
|
||||||
|
|
||||||
my_tags = ['tasks']
|
my_tags = ['tasks']
|
||||||
|
|
||||||
|
def get_queryset(self):
|
||||||
|
|
||||||
|
"""
|
||||||
|
Filtra las tareas según la organización del usuario.
|
||||||
|
Superusuarios pueden ver todas las tareas.
|
||||||
|
"""
|
||||||
|
queryset = self.get_queryset_filtrado_por_organizacion() # Tambien filtra por importador
|
||||||
|
# if user.is_superuser:
|
||||||
|
# return self.queryset
|
||||||
|
# # return self.queryset.filter(organizacion_id=user.organizacion.id)
|
||||||
|
# else:
|
||||||
|
# return self.queryset.filter(organizacion_id=user.organizacion.id)
|
||||||
|
return queryset
|
||||||
|
|
||||||
0
api/utils/__init__.py
Normal file
0
api/utils/__init__.py
Normal file
194
api/utils/helpers.py
Normal file
194
api/utils/helpers.py
Normal file
@@ -0,0 +1,194 @@
|
|||||||
|
# auditoria_xml.py
|
||||||
|
import xml.etree.ElementTree as ET
|
||||||
|
from datetime import datetime
|
||||||
|
|
||||||
|
def extraer_info_pedimento_xml(xml_content):
|
||||||
|
"""
|
||||||
|
Extrae información específica de un XML de pedimento.
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
# Parsear el XML
|
||||||
|
root = ET.fromstring(xml_content)
|
||||||
|
|
||||||
|
# Buscar el namespace (puede variar)
|
||||||
|
namespaces = {
|
||||||
|
'S': 'http://schemas.xmlsoap.org/soap/envelope/',
|
||||||
|
'ns2': 'http://www.ventanillaunica.gob.mx/pedimentos/ws/oxml/consultarpedimentocompleto',
|
||||||
|
'ns3': 'http://www.ventanillaunica.gob.mx/common/ws/oxml/respuesta'
|
||||||
|
}
|
||||||
|
|
||||||
|
resultado = {}
|
||||||
|
|
||||||
|
# Extraer número de operación
|
||||||
|
num_op = root.find('.//ns2:numeroOperacion', namespaces)
|
||||||
|
if num_op is not None and num_op.text:
|
||||||
|
resultado['numero_operacion'] = num_op.text
|
||||||
|
|
||||||
|
# Extraer información del pedimento
|
||||||
|
pedimento_elem = root.find('.//ns2:pedimento', namespaces)
|
||||||
|
if pedimento_elem is not None:
|
||||||
|
# Número de pedimento
|
||||||
|
ped_num = pedimento_elem.find('ns2:pedimento', namespaces)
|
||||||
|
if ped_num is not None and ped_num.text:
|
||||||
|
resultado['numero_pedimento'] = ped_num.text
|
||||||
|
|
||||||
|
# Número de partidas
|
||||||
|
partidas = pedimento_elem.find('ns2:partidas', namespaces)
|
||||||
|
if partidas is not None and partidas.text:
|
||||||
|
try:
|
||||||
|
resultado['numero_partidas'] = int(partidas.text)
|
||||||
|
except (ValueError, TypeError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Tipo de operación clave
|
||||||
|
tipo_op_clave = pedimento_elem.find('.//ns2:tipoOperacion/ns2:clave', namespaces)
|
||||||
|
if tipo_op_clave is not None and tipo_op_clave.text:
|
||||||
|
if tipo_op_clave.text.strip() == '1':
|
||||||
|
|
||||||
|
resultado['tipo_operacion'] = 'Importacion'
|
||||||
|
resultado['tipo_operacion_descripcion'] = 'Indica operacion como Importaciones'
|
||||||
|
|
||||||
|
elif tipo_op_clave.text.strip() == '2':
|
||||||
|
|
||||||
|
resultado['tipo_operacion'] = 'Exportacion'
|
||||||
|
resultado['tipo_operacion_descripcion'] = 'Indica operacion de exportacion'
|
||||||
|
|
||||||
|
|
||||||
|
# Clave del documento (clave_pedimento)
|
||||||
|
clave_doc = pedimento_elem.find('.//ns2:claveDocumento/ns2:clave', namespaces)
|
||||||
|
if clave_doc is not None and clave_doc.text:
|
||||||
|
resultado['clave_pedimento'] = clave_doc.text.strip()
|
||||||
|
|
||||||
|
# Aduana (patente)
|
||||||
|
aduana = pedimento_elem.find('.//ns2:aduanaEntradaSalida/ns2:clave', namespaces)
|
||||||
|
if aduana is not None and aduana.text:
|
||||||
|
resultado['aduana_clave'] = aduana.text.strip()
|
||||||
|
|
||||||
|
# Importador/Exportador
|
||||||
|
importador = pedimento_elem.find('.//ns2:importadorExportador', namespaces)
|
||||||
|
if importador is not None:
|
||||||
|
rfc = importador.find('ns2:rfc', namespaces)
|
||||||
|
if rfc is not None and rfc.text:
|
||||||
|
resultado['contribuyente_rfc'] = rfc.text.strip()
|
||||||
|
|
||||||
|
razon_social = importador.find('ns2:razonSocial', namespaces)
|
||||||
|
if razon_social is not None and razon_social.text:
|
||||||
|
resultado['contribuyente_nombre'] = razon_social.text.strip()
|
||||||
|
|
||||||
|
# Valor en dólares
|
||||||
|
valor_dolares = importador.find('ns2:valorDolares', namespaces)
|
||||||
|
if valor_dolares is not None and valor_dolares.text:
|
||||||
|
try:
|
||||||
|
resultado['valor_dolares'] = float(valor_dolares.text)
|
||||||
|
except (ValueError, TypeError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Aduana de despacho
|
||||||
|
aduana_despacho = importador.find('ns2:aaduanaDespacho/ns2:clave', namespaces)
|
||||||
|
if aduana_despacho is not None and aduana_despacho.text:
|
||||||
|
resultado['aduana_despacho'] = aduana_despacho.text.strip()
|
||||||
|
|
||||||
|
# Encabezado del pedimento
|
||||||
|
encabezado = pedimento_elem.find('ns2:encabezado', namespaces)
|
||||||
|
if encabezado is not None:
|
||||||
|
# Aduana
|
||||||
|
aduana = encabezado.find('ns2:aduanaEntradaSalida/ns2:clave', namespaces)
|
||||||
|
if aduana is not None and aduana.text:
|
||||||
|
resultado['aduana_clave'] = aduana.text.strip()
|
||||||
|
|
||||||
|
# Tipo de cambio
|
||||||
|
tipo_cambio = encabezado.find('ns2:tipoCambio', namespaces)
|
||||||
|
if tipo_cambio is not None and tipo_cambio.text:
|
||||||
|
try:
|
||||||
|
resultado['tipo_cambio'] = float(tipo_cambio.text)
|
||||||
|
except (ValueError, TypeError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
# RFC Agente Aduanal
|
||||||
|
rfc_agente = encabezado.find('ns2:rfcAgenteAduanalSocFactura', namespaces)
|
||||||
|
if rfc_agente is not None and rfc_agente.text:
|
||||||
|
resultado['rfc_agente_aduanal'] = rfc_agente.text.strip()
|
||||||
|
|
||||||
|
# CURP Apoderado
|
||||||
|
curp_apoderado = encabezado.find('ns2:curpApoderadomandatario', namespaces)
|
||||||
|
if curp_apoderado is not None and curp_apoderado.text:
|
||||||
|
resultado['curp_apoderado'] = curp_apoderado.text.strip()
|
||||||
|
|
||||||
|
# Valor Aduanal Total
|
||||||
|
valor_aduanal = encabezado.find('ns2:valorAduanalTotal', namespaces)
|
||||||
|
if valor_aduanal is not None and valor_aduanal.text:
|
||||||
|
try:
|
||||||
|
resultado['valor_aduanal_total'] = float(valor_aduanal.text)
|
||||||
|
except (ValueError, TypeError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Valor Comercial Total
|
||||||
|
valor_comercial = encabezado.find('ns2:valorComercialTotal', namespaces)
|
||||||
|
if valor_comercial is not None and valor_comercial.text:
|
||||||
|
try:
|
||||||
|
resultado['valor_comercial_total'] = float(valor_comercial.text)
|
||||||
|
except (ValueError, TypeError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Fechas
|
||||||
|
fechas = pedimento_elem.findall('.//ns2:fechas', namespaces)
|
||||||
|
for fecha_elem in fechas:
|
||||||
|
fecha = fecha_elem.find('ns2:fecha', namespaces)
|
||||||
|
clave_fecha = fecha_elem.find('ns2:tipo/ns2:clave', namespaces)
|
||||||
|
|
||||||
|
if fecha is not None and fecha.text and clave_fecha is not None and clave_fecha.text:
|
||||||
|
|
||||||
|
fecha_texto = fecha.text.strip()
|
||||||
|
clave_fecha_texto = clave_fecha.text.strip()
|
||||||
|
|
||||||
|
# Mapeo de claves según especificación
|
||||||
|
if clave_fecha_texto == '1': # Entrada
|
||||||
|
resultado['fecha_entrada'] = fecha_texto
|
||||||
|
elif clave_fecha_texto == '2': # Pago
|
||||||
|
resultado['fecha_pago'] = fecha_texto
|
||||||
|
elif clave_fecha_texto == '3': # Extracción
|
||||||
|
resultado['fecha_extraccion'] = fecha_texto
|
||||||
|
elif clave_fecha_texto == '5': # Presentación
|
||||||
|
resultado['fecha_presentacion'] = fecha_texto
|
||||||
|
elif clave_fecha_texto == '6': # Importación
|
||||||
|
resultado['fecha_importacion'] = fecha_texto
|
||||||
|
elif clave_fecha_texto == '7': # Original
|
||||||
|
resultado['fecha_original'] = fecha_texto
|
||||||
|
else:
|
||||||
|
resultado[f'fecha_clave_{clave_fecha_texto}'] = fecha_texto
|
||||||
|
|
||||||
|
# Facturas (para COVEs)
|
||||||
|
facturas = pedimento_elem.findall('.//ns2:facturas', namespaces)
|
||||||
|
coves_encontrados = []
|
||||||
|
for factura in facturas:
|
||||||
|
numero = factura.find('ns2:numero', namespaces)
|
||||||
|
if numero is not None and numero.text:
|
||||||
|
coves_encontrados.append(numero.text.strip())
|
||||||
|
|
||||||
|
if coves_encontrados:
|
||||||
|
resultado['coves_en_xml'] = coves_encontrados
|
||||||
|
|
||||||
|
# E-Documents
|
||||||
|
identificadores = pedimento_elem.findall('.//ns2:identificadores/ns2:identificadores', namespaces)
|
||||||
|
edocs_encontrados = []
|
||||||
|
for ident in identificadores:
|
||||||
|
clave = ident.find('claveIdentificador/descripcion', namespaces)
|
||||||
|
complemento = ident.find('complemento1', namespaces)
|
||||||
|
if clave is not None and clave.text and 'E_DOCUMENT' in clave.text:
|
||||||
|
if complemento is not None and complemento.text:
|
||||||
|
edocs_encontrados.append(complemento.text.strip())
|
||||||
|
|
||||||
|
if edocs_encontrados:
|
||||||
|
resultado['edocuments_en_xml'] = edocs_encontrados
|
||||||
|
|
||||||
|
# Verificar si hay error en la respuesta
|
||||||
|
tiene_error = root.find('.//ns3:tieneError', namespaces)
|
||||||
|
if tiene_error is not None:
|
||||||
|
resultado['tiene_error'] = tiene_error.text.lower() == 'true'
|
||||||
|
|
||||||
|
return resultado
|
||||||
|
|
||||||
|
except ET.ParseError as e:
|
||||||
|
return {'error_parse': str(e)}
|
||||||
|
except Exception as e:
|
||||||
|
return {'error': str(e)}
|
||||||
Reference in New Issue
Block a user