Compare commits
23 Commits
req--T2025
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
| c890e79394 | |||
|
|
39504e196c | ||
| 69d07f2713 | |||
|
|
27c8d24a56 | ||
| 627d78f4b8 | |||
|
|
4c7eb22b28 | ||
| 30b6d73567 | |||
|
|
460da47571 | ||
| 32aff7649e | |||
|
|
d115cdd072 | ||
| 28d2eaedda | |||
| f2bf904c84 | |||
| 271c562654 | |||
| 1c350cf2bf | |||
| e81a1aef4d | |||
| eca519a789 | |||
| 1dd05463c5 | |||
| cbbcb3b323 | |||
| 70999d413e | |||
| fa518972ba | |||
| 6299c6f0fe | |||
| 67f339bd18 | |||
| 6eaf6dc6d9 |
1
.gitignore
vendored
1
.gitignore
vendored
@@ -179,3 +179,4 @@ cython_debug/
|
||||
|
||||
# End of https://www.toptal.com/developers/gitignore/api/django
|
||||
*.bak
|
||||
.vscode/
|
||||
@@ -1,2 +1,3 @@
|
||||
from .microservice import *
|
||||
from .internal_services import *
|
||||
from .internal_services import *
|
||||
from .bulk_upload import *
|
||||
|
||||
711
api/customs/tasks/bulk_upload.py
Normal file
711
api/customs/tasks/bulk_upload.py
Normal file
@@ -0,0 +1,711 @@
|
||||
from celery import shared_task
|
||||
from django.core.files.base import ContentFile
|
||||
from django.utils import timezone
|
||||
import os
|
||||
import zipfile
|
||||
import tempfile
|
||||
import shutil
|
||||
import logging
|
||||
import re
|
||||
import uuid
|
||||
from datetime import datetime
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
def normalize_filename(filename):
|
||||
"""
|
||||
Normaliza el nombre del archivo removiendo caracteres especiales,
|
||||
espacios y asegurando consistencia.
|
||||
"""
|
||||
from unicodedata import normalize
|
||||
filename = normalize('NFKD', filename).encode('ASCII', 'ignore').decode('ASCII')
|
||||
filename = re.sub(r'[^\w\s.-]', '_', filename)
|
||||
filename = re.sub(r'[\s()]+', '_', filename)
|
||||
filename = re.sub(r'_+', '_', filename)
|
||||
filename = filename.strip('_')
|
||||
return filename
|
||||
|
||||
|
||||
def get_clean_base_filename(filename):
|
||||
"""
|
||||
Obtiene el nombre base limpio sin el sufijo de Django.
|
||||
"""
|
||||
normalized = normalize_filename(filename)
|
||||
name_without_ext, ext = os.path.splitext(normalized)
|
||||
|
||||
django_suffix = extract_django_suffix(name_without_ext)
|
||||
if django_suffix:
|
||||
base_name = name_without_ext[:-8]
|
||||
else:
|
||||
base_name = name_without_ext
|
||||
|
||||
base_name = re.sub(r'(_copy|_copia|_-_copia|_-_copy)(_\d+)?$', '', base_name)
|
||||
|
||||
return base_name.lower().strip('_')
|
||||
|
||||
|
||||
def extract_django_suffix(filename):
|
||||
"""
|
||||
Extrae el sufijo único que Django añade a los archivos.
|
||||
"""
|
||||
name_without_ext = os.path.splitext(filename)[0]
|
||||
match = re.search(r'_([a-zA-Z0-9]{7})$', name_without_ext)
|
||||
if match:
|
||||
return match.group(1)
|
||||
return None
|
||||
|
||||
|
||||
def is_same_document(existing_doc, new_filename):
|
||||
"""
|
||||
Compara si un documento existente y un nuevo archivo son el mismo documento.
|
||||
"""
|
||||
existing_basename = os.path.basename(existing_doc.archivo.name)
|
||||
existing_base = get_clean_base_filename(existing_basename)
|
||||
|
||||
new_base = get_clean_base_filename(new_filename)
|
||||
|
||||
existing_ext = existing_doc.extension.lower()
|
||||
new_ext = os.path.splitext(new_filename)[1].lower().lstrip('.')
|
||||
|
||||
return existing_base == new_base and existing_ext == new_ext
|
||||
|
||||
|
||||
def procesar_archivo_m_con_nomenclatura(content, pedimento_instance):
|
||||
"""
|
||||
Procesa archivos con nomenclatura M8988852.300 (7 dígitos, punto, 3 dígitos)
|
||||
y extrae información de registros específicos para actualizar el pedimento.
|
||||
|
||||
Args:
|
||||
content: bytes del contenido del archivo
|
||||
pedimento_instance: instancia del modelo Pedimento
|
||||
|
||||
Returns:
|
||||
dict: Diccionario con información extraída
|
||||
"""
|
||||
try:
|
||||
content_text = content.decode('utf-8', errors='ignore')
|
||||
|
||||
registros = {}
|
||||
|
||||
for line in content_text.splitlines():
|
||||
line = line.strip()
|
||||
if not line:
|
||||
continue
|
||||
|
||||
parts = line.split('|')
|
||||
if len(parts) < 2:
|
||||
continue
|
||||
|
||||
tipo_registro = parts[0]
|
||||
|
||||
if tipo_registro not in registros:
|
||||
registros[tipo_registro] = []
|
||||
registros[tipo_registro].append(parts)
|
||||
|
||||
info_extraida = {
|
||||
'tiene_nomenclatura_especial': False,
|
||||
'registros_encontrados': list(registros.keys()),
|
||||
'detalles_registro_500': [],
|
||||
'detalles_registro_506': [],
|
||||
'detalles_registro_501': [],
|
||||
'detalles_registro_551': [],
|
||||
'detalles_registro_800': [],
|
||||
'detalles_registro_801': [],
|
||||
'actualizaciones_aplicadas': []
|
||||
}
|
||||
|
||||
if '500' in registros:
|
||||
info_extraida['tiene_nomenclatura_especial'] = True
|
||||
|
||||
for reg_500 in registros['500']:
|
||||
if len(reg_500) >= 1:
|
||||
info_extraida['detalles_registro_500'].append({
|
||||
'tipo_movimiento': reg_500[1] if len(reg_500) > 1 else None,
|
||||
'patente': reg_500[2] if len(reg_500) > 1 else None,
|
||||
'numero_pedimento': reg_500[3] if len(reg_500) > 1 else None,
|
||||
'aduana_seccion': reg_500[4] if len(reg_500) > 1 else None,
|
||||
'acuse_electronico': reg_500[5] if len(reg_500) > 1 else None,
|
||||
})
|
||||
|
||||
for reg_506 in registros.get('506', []):
|
||||
if len(reg_506) >= 1:
|
||||
info_extraida['detalles_registro_506'].append({
|
||||
'numero_pedimento': reg_506[1] if len(reg_506) > 1 else None,
|
||||
'tipo_fecha': reg_506[2] if len(reg_506) > 1 else None,
|
||||
'fecha': reg_506[3] if len(reg_506) > 1 else None
|
||||
})
|
||||
|
||||
for reg_501 in registros.get('501', []):
|
||||
if len(reg_501) >= 1:
|
||||
info_extraida['detalles_registro_501'].append({
|
||||
'patente': reg_501[1] if len(reg_501) > 1 else None,
|
||||
'numero_pedimento': reg_501[2] if len(reg_501) > 1 else None,
|
||||
'aduana_seccion': reg_501[3] if len(reg_501) > 1 else None,
|
||||
'rfc': reg_501[8] if len(reg_501) > 1 else None,
|
||||
'curp': reg_501[9] if len(reg_501) > 1 else None
|
||||
})
|
||||
|
||||
for reg_551 in registros.get('551', []):
|
||||
if len(reg_551) >= 1:
|
||||
info_extraida['detalles_registro_551'].append({
|
||||
'numero_pedimento': reg_501[1] if len(reg_501) > 1 else None,
|
||||
'fraccion_arancelaria': reg_551[2] if len(reg_551) > 1 else None,
|
||||
'partida': reg_551[3] if len(reg_551) > 1 else None,
|
||||
'subfraccion': reg_551[4] if len(reg_551) > 1 else None
|
||||
})
|
||||
|
||||
for reg_801 in registros.get('800', []):
|
||||
if len(reg_801) >= 1:
|
||||
info_extraida['detalles_registro_800'].append({
|
||||
'numero_pedimento': reg_801[1] if len(reg_801) > 1 else None
|
||||
})
|
||||
|
||||
for reg_801 in registros.get('801', []):
|
||||
if len(reg_801) >= 1:
|
||||
info_extraida['detalles_registro_801'].append({
|
||||
'total_partidas': reg_801[1] if len(reg_801) > 1 else None
|
||||
})
|
||||
|
||||
actualizaciones = actualizar_pedimento_con_registros(pedimento_instance, registros)
|
||||
info_extraida['actualizaciones_aplicadas'] = actualizaciones
|
||||
|
||||
return info_extraida
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error al procesar archivo con nomenclatura especial: {str(e)}")
|
||||
return {
|
||||
'tiene_nomenclatura_especial': False,
|
||||
'error': str(e),
|
||||
'registros_encontrados': []
|
||||
}
|
||||
|
||||
|
||||
def actualizar_pedimento_con_registros(pedimento_instance, registros):
|
||||
"""
|
||||
Actualiza el pedimento con información extraída de los registros.
|
||||
|
||||
Args:
|
||||
pedimento_instance: Instancia del pedimento a actualizar
|
||||
registros: Diccionario con registros parseados
|
||||
|
||||
Returns:
|
||||
list: Lista de actualizaciones aplicadas
|
||||
"""
|
||||
actualizaciones = []
|
||||
|
||||
try:
|
||||
if '500' in registros and registros['500']:
|
||||
for reg_500 in registros['500']:
|
||||
if len(reg_500) >= 1:
|
||||
if pedimento_instance.pedimento == reg_500[3]:
|
||||
try:
|
||||
pedimento_instance.aduana = reg_500[4]
|
||||
actualizaciones.append(f"aduana actualizada a {reg_500[4]}")
|
||||
except ValueError:
|
||||
pass
|
||||
|
||||
if '501' in registros and registros['501']:
|
||||
for reg_501 in registros['501']:
|
||||
if len(reg_501) >= 1:
|
||||
rfc = reg_501[8] if len(reg_501) > 1 else None
|
||||
|
||||
if rfc and not pedimento_instance.contribuyente and pedimento_instance.pedimento == reg_501[2]:
|
||||
try:
|
||||
from api.customs.models import Importador
|
||||
importador, created = Importador.objects.get_or_create(
|
||||
rfc=rfc,
|
||||
defaults={
|
||||
'nombre': f"Importador {rfc}",
|
||||
'organizacion': pedimento_instance.organizacion
|
||||
}
|
||||
)
|
||||
pedimento_instance.contribuyente = importador
|
||||
if created:
|
||||
actualizaciones.append(f"importador creado con RFC {rfc}")
|
||||
else:
|
||||
actualizaciones.append(f"importador asociado con RFC {rfc}")
|
||||
except Exception as e:
|
||||
logger.error(f"Error al crear/obtener importador: {str(e)}")
|
||||
|
||||
if '501' in registros and registros['501']:
|
||||
for reg_501 in registros['501']:
|
||||
if len(reg_501) >= 1:
|
||||
curp = reg_501[9] if len(reg_501) > 1 else None
|
||||
if curp and not pedimento_instance.curp_apoderado and pedimento_instance.pedimento == reg_501[2]:
|
||||
pedimento_instance.curp_apoderado = curp
|
||||
actualizaciones.append(f"curp_apoderado actualizado a {curp}")
|
||||
|
||||
if '501' in registros and registros['501']:
|
||||
for reg_501 in registros['501']:
|
||||
if len(reg_501) >= 1:
|
||||
tipo_operacion = reg_501[4] if len(reg_501) > 1 else None
|
||||
if tipo_operacion and pedimento_instance.pedimento == reg_501[2]:
|
||||
|
||||
if tipo_operacion=='1':
|
||||
nombre_tipo_op = "Importacion"
|
||||
elif tipo_operacion=='2':
|
||||
nombre_tipo_op = "Exportacion"
|
||||
else:
|
||||
nombre_tipo_op = f"Tipo {tipo_operacion}"
|
||||
|
||||
try:
|
||||
from api.customs.models import TipoOperacion
|
||||
tipo_op_obj, created = TipoOperacion.objects.get_or_create(
|
||||
id=tipo_operacion,
|
||||
tipo=nombre_tipo_op,
|
||||
defaults={'descripcion': f"Tipo de Operación {tipo_operacion}"}
|
||||
)
|
||||
pedimento_instance.tipo_operacion = tipo_op_obj
|
||||
if created:
|
||||
actualizaciones.append(f"tipo_operacion creado con tipo {tipo_operacion}")
|
||||
else:
|
||||
actualizaciones.append(f"tipo_operacion asociado con tipo {tipo_operacion}")
|
||||
except Exception as e:
|
||||
logger.error(f"Error al crear/obtener tipo de operación: {str(e)}")
|
||||
|
||||
if '501' in registros and registros['501']:
|
||||
for reg_501 in registros['501']:
|
||||
if len(reg_501) >= 1:
|
||||
clave = reg_501[5] if len(reg_501) > 1 else None
|
||||
if clave and pedimento_instance.pedimento == reg_501[2]:
|
||||
pedimento_instance.clave_pedimento = clave
|
||||
actualizaciones.append(f"clave pedimento actualizada a {clave}")
|
||||
|
||||
if '506' in registros and registros['506']:
|
||||
for reg_506 in registros['506']:
|
||||
|
||||
if not pedimento_instance.pedimento == reg_506[1]:
|
||||
continue
|
||||
|
||||
if len(reg_506) >= 1:
|
||||
tipo_fecha = reg_506[2] if len(reg_506) > 1 else None
|
||||
fecha_str = reg_506[3] if len(reg_506) > 1 else None
|
||||
|
||||
if not tipo_fecha == '2':
|
||||
continue
|
||||
|
||||
if fecha_str:
|
||||
try:
|
||||
if len(fecha_str) == 8:
|
||||
fecha = datetime.strptime(fecha_str, '%d%m%Y').date()
|
||||
elif len(fecha_str) == 6:
|
||||
fecha = datetime.strptime(fecha_str, '%d%m%y').date()
|
||||
else:
|
||||
continue
|
||||
|
||||
pedimento_instance.fecha_pago = fecha
|
||||
actualizaciones.append(f"fecha_pago actualizada a {fecha}")
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
num_partidas = 0
|
||||
if '551' in registros and registros['551']:
|
||||
for reg_551 in registros['551']:
|
||||
if not pedimento_instance.pedimento == reg_551[1]:
|
||||
continue
|
||||
|
||||
num_partidas += 1
|
||||
pedimento_instance.numero_partidas = num_partidas
|
||||
actualizaciones.append(f"numero_partidas actualizado a {num_partidas}")
|
||||
|
||||
|
||||
if actualizaciones:
|
||||
pedimento_instance.save()
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error al actualizar pedimento con registros: {str(e)}")
|
||||
actualizaciones.append(f"error: {str(e)}")
|
||||
|
||||
return actualizaciones
|
||||
|
||||
|
||||
@shared_task(bind=True, max_retries=3, time_limit=600)
|
||||
def bulk_upload_record_task(self, organizacion_id, parametros, archivo_paths):
|
||||
"""
|
||||
Procesa archivos ZIP de pedimentos en segundo plano.
|
||||
|
||||
Args:
|
||||
organizacion_id: UUID de la organización
|
||||
parametros: dict con keys:
|
||||
- contribuyente
|
||||
- fecha_pago_input
|
||||
- clave_pedimento_input
|
||||
- patente_input
|
||||
- tipo_operacion_input
|
||||
- aduana_input
|
||||
- curp_apoderado_input
|
||||
- partidas_input
|
||||
archivo_paths: lista de rutas temporales de archivos ZIP
|
||||
"""
|
||||
from api.organization.models import Organizacion
|
||||
from api.customs.models import Pedimento, Importador, TipoOperacion
|
||||
from api.record.models import Document, DocumentType, Fuente
|
||||
|
||||
created_pedimentos = []
|
||||
updated_pedimentos = []
|
||||
failed_records = []
|
||||
documents_created = 0
|
||||
temp_dir = None
|
||||
|
||||
try:
|
||||
organizacion = Organizacion.objects.get(id=organizacion_id)
|
||||
|
||||
# Extraer parámetros
|
||||
contribuyente = parametros.get('contribuyente', None)
|
||||
fecha_pago_input = parametros.get('fecha_pago_input', None)
|
||||
clave_pedimento_input = parametros.get('clave_pedimento_input', None)
|
||||
patente_input = parametros.get('patente_input', None)
|
||||
tipo_operacion_input = parametros.get('tipo_operacion_input', None)
|
||||
aduana_input = parametros.get('aduana_input', None)
|
||||
curp_apoderado_input = parametros.get('curp_apoderado_input', None)
|
||||
partidas_input = parametros.get('partidas_input', None)
|
||||
|
||||
# Regex patterns
|
||||
nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
|
||||
nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
|
||||
|
||||
# Obtener DocumentType
|
||||
try:
|
||||
document_type = DocumentType.objects.get(nombre="Pedimento")
|
||||
except DocumentType.DoesNotExist:
|
||||
document_type = DocumentType.objects.create(
|
||||
nombre="Pedimento",
|
||||
descripcion="Documento de pedimento"
|
||||
)
|
||||
|
||||
# Fuente
|
||||
fuente, _ = Fuente.objects.get_or_create(
|
||||
nombre="APP-EFC",
|
||||
descripcion='Transmitido por la app de escritorio'
|
||||
)
|
||||
|
||||
# Usar el directorio donde están los archivos (ya guardado en MEDIA_ROOT)
|
||||
# El directorio base es el padre del primer archivo
|
||||
if archivo_paths:
|
||||
temp_dir = os.path.dirname(archivo_paths[0])
|
||||
else:
|
||||
temp_dir = tempfile.mkdtemp()
|
||||
|
||||
# Patrón para nomenclatura especial M8988852.300
|
||||
patron_nomenclatura = re.compile(r'^[m|M]\d{7}\.\d{3}$', re.IGNORECASE)
|
||||
|
||||
existing_pedimento = None
|
||||
|
||||
for archivo_path in archivo_paths:
|
||||
archivo_name = os.path.basename(archivo_path).lower()
|
||||
archivo_name_sin_extension = os.path.splitext(os.path.basename(archivo_path))[0]
|
||||
|
||||
sub_dir = os.path.join(temp_dir, archivo_name_sin_extension)
|
||||
os.makedirs(sub_dir, exist_ok=True)
|
||||
|
||||
print(f"Procesando archivo: {archivo_name} en ruta temporal: {archivo_path}")
|
||||
|
||||
if archivo_name.endswith('.zip'):
|
||||
try:
|
||||
with zipfile.ZipFile(archivo_path, 'r') as zip_ref:
|
||||
zip_ref.extractall(sub_dir)
|
||||
os.remove(archivo_path) # Eliminar el archivo ZIP después de extraerlo
|
||||
except zipfile.BadZipFile as e:
|
||||
failed_records.append({
|
||||
"file": archivo_path,
|
||||
"archivo_original": archivo_name,
|
||||
"error": f"Archivo ZIP corrupto o inválido: {str(e)}"
|
||||
})
|
||||
continue
|
||||
except Exception as e:
|
||||
failed_records.append({
|
||||
"file": archivo_path,
|
||||
"archivo_original": archivo_name,
|
||||
"error": f"Error al extraer ZIP: {str(e)}"
|
||||
})
|
||||
continue
|
||||
else:
|
||||
failed_records.append({
|
||||
"file": archivo_path,
|
||||
"archivo_original": archivo_name,
|
||||
"error": "Solo se admiten archivos ZIP"
|
||||
})
|
||||
continue
|
||||
|
||||
# Procesar archivos extraídos
|
||||
for root, dirs, files in os.walk(temp_dir):
|
||||
for file_name in files:
|
||||
file_path = os.path.join(root, file_name)
|
||||
relative_path = os.path.relpath(file_path, temp_dir)
|
||||
|
||||
# Determinar folder_name
|
||||
folder_name = None
|
||||
if os.path.dirname(relative_path):
|
||||
folder_parts = relative_path.split(os.sep)
|
||||
folder_name = folder_parts[0]
|
||||
else:
|
||||
folder_name = os.path.splitext(file_name)[0]
|
||||
|
||||
# Validar nomenclatura
|
||||
match = nomenclatura_pattern.match(folder_name)
|
||||
match_sin_anio = nomenclatura_pattern_sin_anio.match(folder_name)
|
||||
|
||||
if not match and not match_sin_anio:
|
||||
archivo_original = folder_name + '.zip'
|
||||
failed_records.append({
|
||||
"file": relative_path,
|
||||
"archivo_original": archivo_original,
|
||||
"error": f"Nomenclatura inválida: {folder_name}. Esperado: anio-aduana-patente-pedimento"
|
||||
})
|
||||
continue
|
||||
|
||||
if match:
|
||||
anio, aduana, patente, pedimento_num = match.groups()
|
||||
try:
|
||||
anio_completo = 2000 + int(anio) if int(anio) < 50 else 1900 + int(anio)
|
||||
fecha_pago = datetime(anio_completo, 1, 1).date()
|
||||
except ValueError:
|
||||
failed_records.append({
|
||||
"file": relative_path,
|
||||
"archivo_original": folder_name + '.zip',
|
||||
"error": f"Año inválido: {anio}"
|
||||
})
|
||||
continue
|
||||
|
||||
elif match_sin_anio:
|
||||
aduana, patente, pedimento_num = match_sin_anio.groups()
|
||||
|
||||
primer_digito_pedimento = int(pedimento_num[0]) if pedimento_num else 0
|
||||
año_actual = datetime.now().year
|
||||
año_con_digito = int(str(año_actual)[:-1] + str(primer_digito_pedimento))
|
||||
|
||||
if año_con_digito <= año_actual:
|
||||
año_final = año_con_digito
|
||||
else:
|
||||
año_final = año_con_digito - 10
|
||||
|
||||
anio = año_final % 100
|
||||
fecha_pago = datetime(año_final, 1, 1).date()
|
||||
|
||||
# Generar pedimento_app
|
||||
pedimento_app = f"{anio}-{aduana.zfill(2)}-{patente}-{pedimento_num}"
|
||||
|
||||
# Verificar si el pedimento ya existe
|
||||
existing_pedimento = Pedimento.objects.filter(
|
||||
pedimento_app=pedimento_app,
|
||||
organizacion=organizacion
|
||||
).first()
|
||||
|
||||
if not existing_pedimento:
|
||||
# Crear nuevo pedimento
|
||||
try:
|
||||
importador = None
|
||||
if contribuyente:
|
||||
importador, created = Importador.objects.get_or_create(
|
||||
rfc=contribuyente,
|
||||
defaults={
|
||||
'nombre': f"Importador {contribuyente}",
|
||||
'organizacion': organizacion
|
||||
}
|
||||
)
|
||||
|
||||
tipo_op = None
|
||||
if tipo_operacion_input:
|
||||
tipo_op = TipoOperacion.objects.get(id=tipo_operacion_input)
|
||||
|
||||
pedimento = Pedimento.objects.create(
|
||||
organizacion=organizacion,
|
||||
contribuyente=importador if importador else None,
|
||||
pedimento=str(pedimento_num),
|
||||
aduana=str(aduana),
|
||||
patente=str(patente),
|
||||
fecha_pago=fecha_pago_input if fecha_pago_input else fecha_pago,
|
||||
curp_apoderado=curp_apoderado_input if curp_apoderado_input else "",
|
||||
numero_partidas=partidas_input if partidas_input else 0,
|
||||
tipo_operacion=tipo_op if tipo_op else None,
|
||||
pedimento_app=pedimento_app,
|
||||
agente_aduanal=f"Agente {patente}",
|
||||
clave_pedimento=clave_pedimento_input if clave_pedimento_input else "A1"
|
||||
)
|
||||
|
||||
existing_pedimento = pedimento
|
||||
|
||||
created_pedimentos.append({
|
||||
"id": str(pedimento.id),
|
||||
"pedimento_app": pedimento_app,
|
||||
"contribuyente": getattr(importador, 'rfc', None),
|
||||
"contribuyente_nombre": getattr(importador, 'nombre', None)
|
||||
})
|
||||
|
||||
except Exception as e:
|
||||
failed_records.append({
|
||||
"file": relative_path,
|
||||
"archivo_original": folder_name + '.zip',
|
||||
"error": f"Error al crear pedimento: {str(e)}"
|
||||
})
|
||||
continue
|
||||
else:
|
||||
# Actualizar pedimento existente
|
||||
if contribuyente:
|
||||
importador, created = Importador.objects.get_or_create(
|
||||
rfc=contribuyente,
|
||||
defaults={
|
||||
'nombre': f"Importador {contribuyente}",
|
||||
'organizacion': organizacion
|
||||
}
|
||||
)
|
||||
|
||||
importador_db = existing_pedimento.contribuyente
|
||||
if importador_db:
|
||||
if importador_db != importador:
|
||||
existing_pedimento.contribuyente = importador
|
||||
else:
|
||||
existing_pedimento.contribuyente = importador
|
||||
|
||||
existing_pedimento.save()
|
||||
|
||||
# Actualizar Tipo Operacion
|
||||
if tipo_operacion_input:
|
||||
tipo_op = TipoOperacion.objects.get(id=tipo_operacion_input)
|
||||
if tipo_op and not existing_pedimento.tipo_operacion:
|
||||
existing_pedimento.tipo_operacion = tipo_op
|
||||
existing_pedimento.save()
|
||||
|
||||
# Actualizar fecha de pago
|
||||
if fecha_pago_input:
|
||||
fecha_db = existing_pedimento.fecha_pago
|
||||
if fecha_db:
|
||||
if isinstance(fecha_db, datetime):
|
||||
fecha_db = fecha_db.date()
|
||||
if fecha_db.month == 1 and fecha_db.day == 1:
|
||||
existing_pedimento.fecha_pago = fecha_pago_input
|
||||
existing_pedimento.save()
|
||||
else:
|
||||
existing_pedimento.fecha_pago = fecha_pago_input
|
||||
existing_pedimento.save()
|
||||
|
||||
# Actualizar clave_pedimento
|
||||
if clave_pedimento_input:
|
||||
clave_pedimento = existing_pedimento.clave_pedimento
|
||||
if not clave_pedimento or clave_pedimento.strip() != clave_pedimento_input.strip():
|
||||
existing_pedimento.clave_pedimento = clave_pedimento_input
|
||||
existing_pedimento.save()
|
||||
|
||||
# Actualizar curp_apoderado
|
||||
if curp_apoderado_input:
|
||||
if not existing_pedimento.curp_apoderado:
|
||||
existing_pedimento.curp_apoderado = curp_apoderado_input
|
||||
existing_pedimento.save()
|
||||
|
||||
# Actualizar partidas
|
||||
if partidas_input:
|
||||
num_partidas = existing_pedimento.numero_partidas
|
||||
if not num_partidas or num_partidas <= 0:
|
||||
existing_pedimento.numero_partidas = partidas_input
|
||||
existing_pedimento.save()
|
||||
|
||||
# Crear documento asociado al pedimento
|
||||
try:
|
||||
with open(file_path, 'rb') as f:
|
||||
file_content = f.read()
|
||||
|
||||
file_name_lower = file_name.lower()
|
||||
tiene_nomenclatura_especial = False
|
||||
info_extraida = {}
|
||||
|
||||
nombre_base, extension = os.path.splitext(file_name)
|
||||
|
||||
if patron_nomenclatura.match(file_name_lower):
|
||||
tiene_nomenclatura_especial = True
|
||||
info_extraida = procesar_archivo_m_con_nomenclatura(file_content, existing_pedimento)
|
||||
|
||||
django_file = ContentFile(file_content, name=file_name)
|
||||
|
||||
# Buscar documento existente
|
||||
existing_documents = Document.objects.filter(
|
||||
pedimento_id=existing_pedimento.id,
|
||||
organizacion=organizacion
|
||||
)
|
||||
|
||||
existing_document = None
|
||||
for doc in existing_documents:
|
||||
if is_same_document(doc, file_name):
|
||||
existing_document = doc
|
||||
break
|
||||
|
||||
if existing_document:
|
||||
# Actualizar documento existente
|
||||
# try:
|
||||
# if existing_document.archivo and os.path.exists(existing_document.archivo.path):
|
||||
# os.remove(existing_document.archivo.path)
|
||||
# except (ValueError, OSError):
|
||||
# pass
|
||||
|
||||
# existing_document.archivo = django_file
|
||||
# existing_document.size = len(file_content)
|
||||
# existing_document.extension = extension
|
||||
# existing_document.updated_at = timezone.now()
|
||||
# existing_document.save()
|
||||
|
||||
# doc = Document.objects.get(id=existing_document.id)
|
||||
# doc.archivo.delete(save=False) # Eliminar el archivo anterior
|
||||
# doc.delete() # Eliminar el registro para crear uno nuevo (evita problemas con archivos en Django)
|
||||
|
||||
updated_pedimentos.append({
|
||||
"id": str(existing_pedimento.id),
|
||||
"pedimento_app": existing_pedimento.pedimento_app,
|
||||
"accion": "Documento actualizado",
|
||||
"documento": file_name
|
||||
})
|
||||
|
||||
documents_created += 1
|
||||
else:
|
||||
# Crear nuevo documento
|
||||
document = Document.objects.create(
|
||||
organizacion=organizacion,
|
||||
pedimento_id=existing_pedimento.id,
|
||||
document_type=document_type,
|
||||
fuente_id=fuente.id,
|
||||
archivo=django_file,
|
||||
size=len(file_content),
|
||||
extension=os.path.splitext(file_name)[1].lower().lstrip('.')
|
||||
)
|
||||
|
||||
updated_pedimentos.append({
|
||||
"id": str(existing_pedimento.id),
|
||||
"pedimento_app": existing_pedimento.pedimento_app,
|
||||
"accion": "Documento creado",
|
||||
"documento": file_name
|
||||
})
|
||||
|
||||
documents_created += 1
|
||||
|
||||
except Exception as e:
|
||||
failed_records.append({
|
||||
"file": relative_path,
|
||||
"archivo_original": folder_name + '.zip',
|
||||
"error": f"Error al crear documento: {str(e)}"
|
||||
})
|
||||
continue
|
||||
|
||||
# Actualizar estado de expediente
|
||||
if documents_created > 0 and existing_pedimento:
|
||||
existing_pedimento.existe_expediente = True
|
||||
existing_pedimento.save()
|
||||
|
||||
return {
|
||||
'status': 'completed',
|
||||
'created_pedimentos': created_pedimentos,
|
||||
'updated_pedimentos': updated_pedimentos,
|
||||
'failed_records': failed_records,
|
||||
'documents_created': documents_created,
|
||||
'tieneError': len(failed_records) > 0
|
||||
}
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error en bulk_upload_record_task: {str(e)}")
|
||||
raise self.retry(exc=e, countdown=60)
|
||||
|
||||
finally:
|
||||
# Limpiar directorio temporal
|
||||
if temp_dir and os.path.exists(temp_dir):
|
||||
try:
|
||||
shutil.rmtree(temp_dir)
|
||||
except Exception as e:
|
||||
logger.warning(f"Error al limpiar directorio temporal: {e}")
|
||||
@@ -12,13 +12,28 @@ import json
|
||||
def credenciales_to_dict(credenciales):
|
||||
if not credenciales:
|
||||
return {}
|
||||
|
||||
key_value = None
|
||||
if credenciales.key:
|
||||
if hasattr(credenciales.key, 'url'):
|
||||
key_value = credenciales.key.url
|
||||
else:
|
||||
key_value = str(credenciales.key)
|
||||
|
||||
cer_value = None
|
||||
if credenciales.cer:
|
||||
if hasattr(credenciales.cer, 'url'):
|
||||
cer_value = credenciales.cer.url
|
||||
else:
|
||||
cer_value = str(credenciales.cer)
|
||||
|
||||
return {
|
||||
"id": str(credenciales.id),
|
||||
"user": credenciales.usuario,
|
||||
"password": credenciales.password,
|
||||
"efirma": credenciales.efirma,
|
||||
"key": credenciales.key.url if credenciales.key else None,
|
||||
"cer": credenciales.cer.url if credenciales.cer else None,
|
||||
"key": key_value,
|
||||
"cer": cer_value,
|
||||
"is_active": credenciales.is_active,
|
||||
"organizacion": str(credenciales.organizacion.id) if credenciales.organizacion else None,
|
||||
}
|
||||
@@ -217,10 +232,24 @@ def procesar_pedimentos_completos(organizacion_id):
|
||||
pedimentos = Pedimento.objects.filter(organizacion_id=organizacion_id)
|
||||
respuestas = []
|
||||
for pedimento in pedimentos:
|
||||
|
||||
if not pedimento.contribuyente:
|
||||
print(f"Pedimento {pedimento.pedimento} no tiene contribuyente")
|
||||
continue
|
||||
|
||||
credencial_importador = CredencialesImportador.objects.filter(
|
||||
rfc=pedimento.contribuyente
|
||||
).first()
|
||||
|
||||
if not credencial_importador:
|
||||
print(f"No credencial para RFC {pedimento.contribuyente.rfc}")
|
||||
continue
|
||||
|
||||
if not pedimento.documents.filter(document_type=2).exists(): # Tipo 2: Pedimento Completo
|
||||
# Convertir el pedimento a JSON usando el serializer
|
||||
pedimento_dict = pedimento_to_dict(pedimento)
|
||||
credenciales = Vucem.objects.filter(id=CredencialesImportador.objects.filter(rfc=pedimento.contribuyente).first().vucem.id).first()
|
||||
# credenciales = Vucem.objects.filter(id=CredencialesImportador.objects.filter(rfc=pedimento.contribuyente).first().vucem.id).first()
|
||||
credenciales = Vucem.objects.filter(id=credencial_importador.vucem.id).first()
|
||||
|
||||
if not credenciales:
|
||||
print(f"No se encontraron credenciales para el pedimento {pedimento.pedimento_app}")
|
||||
@@ -231,9 +260,13 @@ def procesar_pedimentos_completos(organizacion_id):
|
||||
"pedimento": pedimento_dict,
|
||||
"credencial": credenciales_dict
|
||||
}
|
||||
|
||||
url = f"{SERVICE_API_URL_V2}/services/pedimento_completo"
|
||||
dataJson = json.dumps(payload)
|
||||
|
||||
response = requests.post(
|
||||
f"{SERVICE_API_URL_V2}/services/pedimento_completo",
|
||||
data=json.dumps(payload),
|
||||
url,
|
||||
data=dataJson,
|
||||
headers={"Content-Type": "application/json"}
|
||||
)
|
||||
# Aquí puedes continuar con el resto de tu lógica
|
||||
|
||||
1513
api/customs/views.py
1513
api/customs/views.py
File diff suppressed because it is too large
Load Diff
@@ -26,6 +26,49 @@ from api.organization.models import Organizacion
|
||||
from api.record.models import Document
|
||||
from .tasks.auditoria import auditar_pedimento_por_id
|
||||
from .tasks.auditoria_xml import extraer_info_pedimento_xml
|
||||
import tempfile
|
||||
import os
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
def get_document_content(documento):
|
||||
"""
|
||||
Obtiene el contenido de un documento (MinIO o local).
|
||||
Retorna el contenido como string o bytes.
|
||||
"""
|
||||
ruta = str(documento.archivo)
|
||||
|
||||
with tempfile.NamedTemporaryFile(delete=False) as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
try:
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
if not success:
|
||||
return None
|
||||
|
||||
with open(tmp_path, 'r', encoding='utf-8', errors='ignore') as f:
|
||||
content = f.read()
|
||||
|
||||
return content
|
||||
finally:
|
||||
if os.path.exists(tmp_path):
|
||||
os.unlink(tmp_path)
|
||||
|
||||
def get_document_path(documento):
|
||||
"""
|
||||
Obtiene la ruta temporal de un documento para lectura.
|
||||
Retorna la ruta del archivo temporal descargado.
|
||||
"""
|
||||
ruta = str(documento.archivo)
|
||||
|
||||
tmp = tempfile.NamedTemporaryFile(delete=False)
|
||||
tmp_path = tmp.name
|
||||
tmp.close()
|
||||
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
if not success:
|
||||
return None
|
||||
|
||||
return tmp_path
|
||||
|
||||
@swagger_auto_schema(
|
||||
method='post',
|
||||
@@ -729,10 +772,10 @@ def auditar_peticion_respuesta_pedimento_completo(request):
|
||||
for documento in documentos_peticion:
|
||||
|
||||
nombre_archivo = os.path.basename(documento.archivo.name)
|
||||
|
||||
ruta_temporal = get_document_path(documento)
|
||||
documentos_lista_peticiones.append({
|
||||
'id': str(documento.id),
|
||||
'archivo': documento.archivo.path,
|
||||
'archivo': ruta_temporal,
|
||||
'archivo_original': nombre_archivo,
|
||||
'extension': documento.extension,
|
||||
'size': documento.size,
|
||||
@@ -1623,36 +1666,32 @@ def auditar_pedimento_endpoint(request):
|
||||
try:
|
||||
xml_info = {
|
||||
'documento_id': str(documento.id),
|
||||
'nombre_archivo': os.path.basename(documento.archivo.name),
|
||||
'nombre_archivo': os.path.basename(str(documento.archivo)),
|
||||
'tamanio': documento.size,
|
||||
'extension': documento.extension,
|
||||
'tipo_documento': documento.document_type.descripcion if documento.document_type else 'Desconocido'
|
||||
}
|
||||
|
||||
# Intentar extraer información del XML
|
||||
try:
|
||||
with open(documento.archivo.path, 'r', encoding='utf-8') as xml_file:
|
||||
xml_content = xml_file.read()
|
||||
|
||||
# Extraer información específica del XML
|
||||
xml_content = get_document_content(documento)
|
||||
|
||||
if xml_content is None:
|
||||
xml_info['error_lectura'] = 'No se pudo descargar el archivo'
|
||||
else:
|
||||
info_pedimento = extraer_info_pedimento_xml(xml_content)
|
||||
|
||||
if info_pedimento:
|
||||
xml_info['informacion_extraida'] = info_pedimento
|
||||
informacion_extraida.append(info_pedimento)
|
||||
|
||||
|
||||
# Actualizar el pedimento con la información encontrada si es necesario
|
||||
actualizar_info_pedimento(pedimento, info_pedimento)
|
||||
|
||||
except Exception as e:
|
||||
xml_info['error_lectura'] = str(e)
|
||||
|
||||
xmls_analizados.append(xml_info)
|
||||
|
||||
except Exception as e:
|
||||
xmls_analizados.append({
|
||||
'documento_id': str(documento.id),
|
||||
'nombre_archivo': os.path.basename(documento.archivo.name),
|
||||
'nombre_archivo': os.path.basename(str(documento.archivo)),
|
||||
'error': f'Error procesando archivo: {str(e)}'
|
||||
})
|
||||
|
||||
|
||||
@@ -3,7 +3,8 @@ from django.db import models
|
||||
# Create your models here.
|
||||
class DataStage(models.Model):
|
||||
organizacion = models.ForeignKey('organization.Organizacion', on_delete=models.CASCADE, related_name='datastages', null=True, blank=True)
|
||||
archivo = models.FileField(upload_to='datastages/', blank=False, null=False)
|
||||
# archivo = models.FileField(upload_to='datastages/', blank=False, null=False)
|
||||
archivo = models.CharField(max_length=500, blank=True, null=True)
|
||||
contribuyente = models.CharField(max_length=100, blank=False, null=False)
|
||||
procesado = models.BooleanField(default=False)
|
||||
|
||||
|
||||
@@ -1,12 +1,86 @@
|
||||
from api.utils.storage_service import storage_service
|
||||
from rest_framework import serializers
|
||||
|
||||
from .models import DataStage
|
||||
from api.organization.models import Organizacion
|
||||
|
||||
class DataStageSerializer(serializers.ModelSerializer):
|
||||
archivo = serializers.FileField(write_only=True, required=False, allow_null=True)
|
||||
download_url = serializers.SerializerMethodField(read_only=True)
|
||||
|
||||
organizacion = serializers.PrimaryKeyRelatedField(required=False, allow_null=True, queryset=Organizacion.objects.all())
|
||||
|
||||
class Meta:
|
||||
model = DataStage
|
||||
fields = '__all__'
|
||||
read_only_fields = ('id', 'created_at', 'updated_at')
|
||||
read_only_fields = ('id', 'created_at', 'updated_at')
|
||||
# extra_kwargs = {'archivo': {'read_only': True},}
|
||||
|
||||
def get_download_url(self, obj):
|
||||
"""Retorna URL de descarga según dónde esté el archivo"""
|
||||
if not obj.archivo:
|
||||
return None
|
||||
|
||||
if storage_service.is_minio_path(obj.archivo):
|
||||
return storage_service.get_file_url(obj.archivo)
|
||||
else:
|
||||
request = self.context.get('request')
|
||||
if request:
|
||||
return request.build_absolute_uri(
|
||||
f"/api/v1/datastage/datastages/{obj.id}/download-datastage/"
|
||||
)
|
||||
return f"/api/v1/datastage/datastages/{obj.id}/download-datastage/"
|
||||
|
||||
def create(self, validated_data):
|
||||
"""Override para manejar la subida del archivo a MinIO"""
|
||||
archivo_file = validated_data.pop('archivo', None)
|
||||
organizacion = validated_data.get('organizacion')
|
||||
datastage = super().create(validated_data)
|
||||
print(f"ENDPOINT DE CREATE >>>>")
|
||||
# guardarlo en MinIO
|
||||
if archivo_file:
|
||||
ruta = storage_service.save_datastage(
|
||||
file=archivo_file,
|
||||
organizacion_id=organizacion.id if organizacion else datastage.organizacion.id,
|
||||
metadata={
|
||||
'datastage_id': str(datastage.id),
|
||||
'nombre': datastage.nombre if hasattr(datastage, 'nombre') else ''
|
||||
}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
datastage.archivo = ruta
|
||||
datastage.save()
|
||||
else:
|
||||
# eliminar el registro creado
|
||||
datastage.delete()
|
||||
raise serializers.ValidationError({"archivo": "Error al guardar el archivo en el almacenamiento"})
|
||||
|
||||
return datastage
|
||||
|
||||
def update(self, instance, validated_data):
|
||||
"""Override para manejar actualización de archivo"""
|
||||
archivo_file = validated_data.pop('archivo', None)
|
||||
organizacion = validated_data.get('organizacion', instance.organizacion)
|
||||
instance = super().update(instance, validated_data)
|
||||
|
||||
# Si hay nuevo archivo, reemplazarlo
|
||||
if archivo_file:
|
||||
if instance.archivo:
|
||||
storage_service.delete_file(instance.archivo)
|
||||
|
||||
ruta = storage_service.save_datastage(
|
||||
file=archivo_file,
|
||||
organizacion_id=organizacion.id,
|
||||
metadata={
|
||||
'datastage_id': str(instance.id),
|
||||
'updated': 'true'
|
||||
}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
instance.archivo = ruta
|
||||
instance.save()
|
||||
else:
|
||||
raise serializers.ValidationError({"archivo": "Error al guardar el nuevo archivo"})
|
||||
return instance
|
||||
@@ -1,3 +1,4 @@
|
||||
import tempfile
|
||||
from celery import group
|
||||
from celery import shared_task
|
||||
import logging
|
||||
@@ -6,81 +7,130 @@ from django.utils import timezone
|
||||
import os
|
||||
import zipfile
|
||||
import re
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
@shared_task
|
||||
def procesar_datastage_task(datastage_id, user_organizacion_id=None):
|
||||
import traceback
|
||||
tmp_path = None
|
||||
try:
|
||||
logger = logging.getLogger(__name__)
|
||||
from api.datastage.models import DataStage
|
||||
from api.organization.models import Organizacion
|
||||
from api.customs.models import Pedimento, TipoOperacion, Regimen
|
||||
|
||||
datastage = DataStage.objects.get(id=datastage_id)
|
||||
# Obtener datastage
|
||||
try:
|
||||
datastage = DataStage.objects.get(id=datastage_id)
|
||||
except DataStage.DoesNotExist:
|
||||
return {'error': f'DataStage {datastage_id} no encontrado'}
|
||||
|
||||
# Validar archivo
|
||||
if not datastage.archivo:
|
||||
print("DataStage no tiene archivo asociado")
|
||||
return {'detail': 'No hay archivo asociado a este DataStage.'}
|
||||
file_path = datastage.archivo.path
|
||||
if not os.path.exists(file_path):
|
||||
return {'detail': 'El archivo no existe en el servidor.'}
|
||||
if not file_path.endswith('.zip'):
|
||||
|
||||
ruta_archivo = str(datastage.archivo)
|
||||
|
||||
if not ruta_archivo.lower().endswith('.zip'):
|
||||
return {'detail': 'El archivo no es un .zip.'}
|
||||
|
||||
documentos_encontrados = []
|
||||
registros_cargados = {}
|
||||
registros_por_archivo = {}
|
||||
errores_por_archivo = {}
|
||||
errores_pedimento = []
|
||||
|
||||
# Descargar archivo
|
||||
with tempfile.NamedTemporaryFile(delete=False, suffix='.zip') as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(ruta_archivo, tmp_path)
|
||||
|
||||
if not success:
|
||||
print(f"No se pudo descargar: {ruta_archivo}")
|
||||
return {'detail': f'No se pudo descargar el archivo: {ruta_archivo}'}
|
||||
|
||||
file_path = tmp_path
|
||||
|
||||
# Obtener organización
|
||||
user_organizacion = None
|
||||
|
||||
if user_organizacion_id:
|
||||
user_organizacion = Organizacion.objects.get(id=user_organizacion_id)
|
||||
try:
|
||||
user_organizacion = Organizacion.objects.get(id=user_organizacion_id)
|
||||
except Organizacion.DoesNotExist:
|
||||
print(f"Organización no encontrada: {user_organizacion_id}")
|
||||
|
||||
def to_snake_case(name):
|
||||
s1 = re.sub('(.)([A-Z][a-z]+)', r'\1_\2', name)
|
||||
s2 = re.sub('([a-z0-9])([A-Z])', r'\1_\2', s1)
|
||||
return s2.replace('__', '_').lower()
|
||||
|
||||
# Lanzar una subtarea por cada archivo ASC
|
||||
# Leer ZIP y lanzar subtareas
|
||||
subtasks = []
|
||||
with zipfile.ZipFile(file_path, 'r') as zip_ref:
|
||||
for asc_name in zip_ref.namelist():
|
||||
namelist = zip_ref.namelist()
|
||||
|
||||
for asc_name in namelist:
|
||||
if asc_name.endswith('.asc'):
|
||||
subtasks.append(procesar_archivo_asc_task.s(datastage_id, user_organizacion_id, asc_name))
|
||||
subtasks.append(
|
||||
procesar_archivo_asc_task.s(datastage_id, user_organizacion_id, asc_name)
|
||||
)
|
||||
|
||||
if subtasks:
|
||||
job = group(subtasks).apply_async()
|
||||
print(f"Grupo de tareas lanzado: {job.id}")
|
||||
return {
|
||||
'group_id': job.id,
|
||||
'subtask_ids': [t.id for t in job.results],
|
||||
'detail': 'Procesamiento lanzado. Monitorea el estado de cada subtask_id.'
|
||||
'detail': f'Procesamiento lanzado. {len(subtasks)} archivos .ASC en cola.'
|
||||
}
|
||||
|
||||
print("No se encontraron archivos .ASC")
|
||||
return {'detail': 'No se encontraron archivos .asc'}
|
||||
|
||||
except Exception as e:
|
||||
import traceback
|
||||
return {'error': str(e), 'traceback': traceback.format_exc()}
|
||||
|
||||
finally:
|
||||
# Limpiar temporal
|
||||
if tmp_path and os.path.exists(tmp_path):
|
||||
try:
|
||||
os.unlink(tmp_path)
|
||||
except Exception as e:
|
||||
print(f"No se pudo eliminar temporal: {e}")
|
||||
|
||||
@shared_task
|
||||
def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
import traceback
|
||||
"""
|
||||
Procesa un archivo .ASC individual dentro del ZIP
|
||||
"""
|
||||
tmp_path = None
|
||||
try:
|
||||
logger = logging.getLogger(__name__)
|
||||
from api.datastage.models import DataStage
|
||||
from api.organization.models import Organizacion
|
||||
from api.customs.models import Pedimento, TipoOperacion, Regimen
|
||||
from django.apps import apps
|
||||
import zipfile
|
||||
import re
|
||||
import datetime
|
||||
|
||||
# Obtener datastage
|
||||
datastage = DataStage.objects.get(id=datastage_id)
|
||||
user_organizacion = None
|
||||
if user_organizacion_id:
|
||||
user_organizacion = Organizacion.objects.get(id=user_organizacion_id)
|
||||
file_path = datastage.archivo.path
|
||||
|
||||
ruta_archivo = str(datastage.archivo)
|
||||
|
||||
# Descargar archivo
|
||||
with tempfile.NamedTemporaryFile(delete=False, suffix='.zip') as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(ruta_archivo, tmp_path)
|
||||
if not success:
|
||||
return {'errores': [f'No se pudo descargar el archivo: {ruta_archivo}']}
|
||||
|
||||
file_path = tmp_path
|
||||
|
||||
def to_snake_case(name):
|
||||
s1 = re.sub('(.)([A-Z][a-z]+)', r'\1_\2', name)
|
||||
s2 = re.sub('([a-z0-9])([A-Z])', r'\1_\2', s1)
|
||||
return s2.replace('__', '_').lower()
|
||||
|
||||
objects_to_create = []
|
||||
|
||||
with zipfile.ZipFile(file_path, 'r') as zip_ref:
|
||||
if asc_name not in zip_ref.namelist():
|
||||
print(f"❌ {asc_name} no encontrado en el ZIP")
|
||||
return {'errores': [f'{asc_name} no encontrado en el zip']}
|
||||
|
||||
# Determinar modelo
|
||||
match = re.match(r'.*_(\d+)\.asc$', asc_name)
|
||||
if match:
|
||||
registro_key = match.group(1)
|
||||
@@ -96,53 +146,53 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
Model = apps.get_model('datastage', model_name)
|
||||
except LookupError:
|
||||
return {'errores': [f"No existe el modelo para {model_name}"]}
|
||||
|
||||
# Procesar archivo
|
||||
with zip_ref.open(asc_name) as asc_file:
|
||||
first = True
|
||||
field_names = []
|
||||
field_names_snake = []
|
||||
objects_to_create = []
|
||||
errores_pedimento = []
|
||||
line_count = 0
|
||||
|
||||
for line in asc_file:
|
||||
line_decoded = None
|
||||
line_count += 1
|
||||
try:
|
||||
line_decoded = line.decode('utf-8').strip()
|
||||
except UnicodeDecodeError:
|
||||
try:
|
||||
line_decoded = line.decode('latin-1').strip()
|
||||
except Exception as e:
|
||||
except Exception:
|
||||
continue
|
||||
except Exception as e:
|
||||
continue
|
||||
|
||||
if not line_decoded:
|
||||
continue
|
||||
|
||||
if first:
|
||||
field_names = [f for f in line_decoded.split('|')]
|
||||
field_names_snake = [to_snake_case(f) for f in field_names]
|
||||
first = False
|
||||
continue
|
||||
|
||||
values = line_decoded.split('|')
|
||||
while values and values[-1] == '':
|
||||
values.pop()
|
||||
if len(values) == len(field_names_snake) + 1 and values[-1] == '':
|
||||
values = values[:-1]
|
||||
if len(values) < len(field_names_snake):
|
||||
values += [None] * (len(field_names_snake) - len(values))
|
||||
if len(values) != len(field_names_snake):
|
||||
continue
|
||||
|
||||
data = dict(zip(field_names_snake, values))
|
||||
|
||||
if hasattr(Model, 'organizacion_id'):
|
||||
data['organizacion_id'] = user_organizacion.id if user_organizacion else None
|
||||
if hasattr(Model, 'datastage_id'):
|
||||
data['datastage_id'] = datastage.id
|
||||
# Limpiar campos de fecha vacíos ('') a None
|
||||
|
||||
# Limpiar fechas vacías
|
||||
for field in Model._meta.get_fields():
|
||||
if hasattr(field, 'get_internal_type') and field.get_internal_type() in ["DateField", "DateTimeField"]:
|
||||
if data.get(field.name) == "":
|
||||
data[field.name] = None
|
||||
# Convertir fecha_pago_real a timezone-aware si existe
|
||||
|
||||
# Convertir fecha_pago_real
|
||||
if 'fecha_pago_real' in data and data['fecha_pago_real']:
|
||||
from django.utils import timezone
|
||||
import datetime
|
||||
fecha_val = data['fecha_pago_real']
|
||||
if isinstance(fecha_val, str):
|
||||
try:
|
||||
@@ -156,11 +206,11 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
dt = timezone.make_aware(dt)
|
||||
if dt:
|
||||
data['fecha_pago_real'] = dt
|
||||
elif isinstance(fecha_val, datetime.datetime) and timezone.is_naive(fecha_val):
|
||||
data['fecha_pago_real'] = timezone.make_aware(fecha_val)
|
||||
|
||||
try:
|
||||
obj = Model(**data)
|
||||
objects_to_create.append(obj)
|
||||
|
||||
# Si es Registro501, crear Pedimento
|
||||
if model_name == 'Registro501':
|
||||
organizacion_instance = None
|
||||
@@ -169,7 +219,7 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
try:
|
||||
organizacion_instance = Organizacion.objects.get(id=org_id)
|
||||
except Exception as org_exc:
|
||||
logger.warning(f"No se encontró la organización con id {org_id}: {org_exc}")
|
||||
print(f"No se encontró la organización con id {org_id}: {org_exc}")
|
||||
if not organizacion_instance:
|
||||
organizacion_instance = user_organizacion
|
||||
fecha_pago_raw = data.get('fecha_pago_real')
|
||||
@@ -182,6 +232,7 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
else:
|
||||
fecha_pago = fecha_pago_raw
|
||||
aduana = data.get('seccion_aduanera')
|
||||
# logger.info(f"aduana >>>> {aduana}")
|
||||
patente = data.get('patente')
|
||||
pedimento_num = data.get('pedimento')
|
||||
pedimento_app = ""
|
||||
@@ -191,9 +242,13 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
year = fecha_pago[:4]
|
||||
else:
|
||||
year = str(fecha_pago.year)
|
||||
pedimento_app = f"{year[-2:]}-{str(aduana).zfill(2)[-2:]}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
|
||||
# mantener aduana con sus digitos intactos
|
||||
# pedimento_app = f"{year[-2:]}-{str(aduana).zfill(2)[-2:]}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
|
||||
# pedimento_app = f"{year[-2:]}-{str(aduana)}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
|
||||
pedimento_app = f"{year[-2:]}-{str(aduana).zfill(2)[:2]}-{str(patente).zfill(4)[-4:]}-{str(pedimento_num).zfill(7)[-7:]}"
|
||||
# logger.info(f"pedimento_app >>>> {pedimento_app}")
|
||||
except Exception as ped_app_exc:
|
||||
logger.warning(f"No se pudo generar pedimento_app: {ped_app_exc}")
|
||||
print(f"No se pudo generar pedimento_app: {ped_app_exc}")
|
||||
tipo_operacion_val = data.get('tipo_operacion')
|
||||
tipo_operacion = TipoOperacion.objects.filter(id=int(tipo_operacion_val)).first() if tipo_operacion_val else None
|
||||
regimen = Regimen.objects.filter(claveped=data.get('clave_documento', '').strip(), tipo=tipo_operacion.id if tipo_operacion else None).first() if tipo_operacion else None
|
||||
@@ -232,11 +287,14 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
pass
|
||||
except Exception as e:
|
||||
continue
|
||||
if objects_to_create:
|
||||
try:
|
||||
Model.objects.bulk_create(objects_to_create, batch_size=1000)
|
||||
except Exception as e:
|
||||
return {'archivo': asc_name, 'error': str(e), 'traceback': traceback.format_exc()}
|
||||
|
||||
# Bulk create
|
||||
if objects_to_create:
|
||||
try:
|
||||
Model.objects.bulk_create(objects_to_create, batch_size=1000)
|
||||
except Exception as e:
|
||||
return {'archivo': asc_name, 'error': str(e)}
|
||||
|
||||
return {
|
||||
'archivo': asc_name,
|
||||
'insertados': len(objects_to_create)
|
||||
@@ -244,33 +302,11 @@ def procesar_archivo_asc_task(datastage_id, user_organizacion_id, asc_name):
|
||||
except Exception as e:
|
||||
import traceback
|
||||
return {'archivo': asc_name, 'error': str(e), 'traceback': traceback.format_exc()}
|
||||
|
||||
detalles = {}
|
||||
for key in ['502', '503', '504']:
|
||||
model_name = f'Registro{key}'
|
||||
asc_file = None
|
||||
encabezado = None
|
||||
errores = []
|
||||
for asc_name in registros_por_archivo:
|
||||
if asc_name.endswith(f'_{key}.asc'):
|
||||
asc_file = asc_name
|
||||
break
|
||||
if asc_file:
|
||||
|
||||
finally:
|
||||
# Limpiar temporal
|
||||
if tmp_path and os.path.exists(tmp_path):
|
||||
try:
|
||||
with zipfile.ZipFile(file_path, 'r') as zip_ref:
|
||||
with zip_ref.open(asc_file) as f:
|
||||
for line in f:
|
||||
try:
|
||||
encabezado = line.decode('utf-8').strip()
|
||||
except UnicodeDecodeError:
|
||||
encabezado = line.decode('latin-1').strip()
|
||||
break
|
||||
os.unlink(tmp_path)
|
||||
except Exception as e:
|
||||
encabezado = f'Error leyendo encabezado: {e}'
|
||||
errores = errores_por_archivo.get(asc_file, [])
|
||||
detalles[model_name] = {
|
||||
'archivo': asc_file,
|
||||
'encabezado': encabezado,
|
||||
'errores': errores
|
||||
}
|
||||
return {'registros_cargados': registros_cargados, 'errores_pedimento': errores_pedimento}
|
||||
print(f"No se pudo eliminar temporal: {e}")
|
||||
@@ -1,3 +1,8 @@
|
||||
import atexit
|
||||
import tempfile
|
||||
|
||||
from api.utils.storage_service import storage_service
|
||||
from config import settings
|
||||
from rest_framework.pagination import PageNumberPagination
|
||||
from api.customs.models import Pedimento, TipoOperacion, Regimen
|
||||
from django.shortcuts import render
|
||||
@@ -112,18 +117,65 @@ class DataStageViewSet(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltrada
|
||||
def download_datastage(self, request, pk=None):
|
||||
"""
|
||||
Endpoint para descargar el archivo asociado a un DataStage.
|
||||
Soporta tanto archivos en MinIO como archivos locales antiguos.
|
||||
"""
|
||||
try:
|
||||
datastage = self.get_object()
|
||||
if not datastage.archivo:
|
||||
raise Http404("No hay archivo asociado a este DataStage.")
|
||||
file_path = datastage.archivo.path
|
||||
if not os.path.exists(file_path):
|
||||
raise Http404("El archivo no existe en el servidor.")
|
||||
response = FileResponse(open(file_path, 'rb'), as_attachment=True, filename=os.path.basename(file_path))
|
||||
return response
|
||||
|
||||
# Detectar si es ruta de MinIO o local
|
||||
is_minio_path = datastage.archivo.startswith('org_')
|
||||
|
||||
if is_minio_path:
|
||||
import tempfile
|
||||
|
||||
with tempfile.NamedTemporaryFile(delete=False) as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(datastage.archivo, tmp_path)
|
||||
|
||||
if not success:
|
||||
raise Http404("No se pudo descargar el archivo de MinIO")
|
||||
|
||||
filename = os.path.basename(datastage.archivo)
|
||||
|
||||
response = FileResponse(
|
||||
open(tmp_path, 'rb'),
|
||||
as_attachment=True,
|
||||
filename=filename
|
||||
)
|
||||
|
||||
import atexit
|
||||
atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
|
||||
|
||||
return response
|
||||
|
||||
else:
|
||||
file_path = os.path.join(settings.MEDIA_ROOT, str(datastage.archivo))
|
||||
|
||||
if not os.path.exists(file_path):
|
||||
raise Http404(f"El archivo no existe: {file_path}")
|
||||
|
||||
filename = os.path.basename(file_path)
|
||||
|
||||
response = FileResponse(
|
||||
open(file_path, 'rb'),
|
||||
as_attachment=True,
|
||||
filename=filename
|
||||
)
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
return Response({'detail': str(e)}, status=404)
|
||||
|
||||
def perform_destroy(self, instance):
|
||||
"""
|
||||
Al eliminar un DataStage, también eliminar su archivo asociado.
|
||||
"""
|
||||
if instance.archivo:
|
||||
storage_service.delete_file(instance.archivo)
|
||||
instance.delete()
|
||||
|
||||
@action(detail=True, methods=['post'], url_path='procesar')
|
||||
def procesar(self, request, pk=None):
|
||||
|
||||
0
api/management/__init__.py
Normal file
0
api/management/__init__.py
Normal file
0
api/management/commands/__init__.py
Normal file
0
api/management/commands/__init__.py
Normal file
472
api/management/commands/migrate_to_minio.py
Normal file
472
api/management/commands/migrate_to_minio.py
Normal file
@@ -0,0 +1,472 @@
|
||||
import os
|
||||
import time
|
||||
from pathlib import Path
|
||||
from concurrent.futures import ThreadPoolExecutor, as_completed
|
||||
|
||||
from django.core.management.base import BaseCommand
|
||||
from django.conf import settings
|
||||
|
||||
from minio import Minio
|
||||
|
||||
from api.record.models import Document
|
||||
from api.datastage.models import DataStage
|
||||
from api.vucem.models import Vucem
|
||||
from api.reports.models import ReportDocument
|
||||
|
||||
|
||||
class Command(BaseCommand):
|
||||
help = 'Migra archivos existentes del sistema local a MinIO (versión optimizada)'
|
||||
|
||||
def add_arguments(self, parser):
|
||||
parser.add_argument('--dry-run', action='store_true', help='Solo muestra lo que se migraría')
|
||||
parser.add_argument('--model', type=str, help='Document, DataStage, Vucem, ReportDocument')
|
||||
parser.add_argument('--limit', type=int, help='Límite de registros')
|
||||
parser.add_argument('--batch-size', type=int, default=200, help='Tamaño del lote (default: 200)')
|
||||
parser.add_argument('--workers', type=int, default=3, help='Número de workers (default: 3)')
|
||||
parser.add_argument('--offset', type=int, default=0, help='Offset inicial (para reanudar)')
|
||||
|
||||
def __init__(self):
|
||||
super().__init__()
|
||||
self.client = None
|
||||
self.bucket_name = None
|
||||
|
||||
def _init_minio_client(self):
|
||||
"""Inicializa el cliente MinIO"""
|
||||
if self.client is None:
|
||||
self.client = Minio(
|
||||
endpoint=os.getenv('MINIO_ENDPOINT', 'minio:9000'),
|
||||
access_key=os.getenv('MINIO_ACCESS_KEY'),
|
||||
secret_key=os.getenv('MINIO_SECRET_KEY'),
|
||||
secure=os.getenv('MINIO_SECURE', 'false').lower() == 'true'
|
||||
)
|
||||
self.bucket_name = os.getenv('MINIO_BUCKET_NAME', 'efc-backend-dev')
|
||||
|
||||
def handle(self, *args, **options):
|
||||
dry_run = options.get('dry_run', False)
|
||||
model_filter = options.get('model')
|
||||
limit = options.get('limit')
|
||||
batch_size = options.get('batch_size', 200)
|
||||
workers = options.get('workers', 3)
|
||||
offset = options.get('offset', 0)
|
||||
|
||||
self.stdout.write(self.style.WARNING('=' * 60))
|
||||
self.stdout.write(self.style.WARNING('INICIANDO MIGRACIÓN A MINIO (OPTIMIZADA)'))
|
||||
self.stdout.write(self.style.WARNING(f'Batch size: {batch_size} | Workers: {workers} | Offset: {offset}'))
|
||||
if dry_run:
|
||||
self.stdout.write(self.style.WARNING('MODO: DRY RUN (sin cambios)'))
|
||||
self.stdout.write(self.style.WARNING('=' * 60))
|
||||
|
||||
results = {}
|
||||
|
||||
if not model_filter or model_filter.lower() == 'document':
|
||||
results['Document'] = self.migrate_documents(dry_run, limit, batch_size, workers, offset)
|
||||
|
||||
if not model_filter or model_filter.lower() == 'datastage':
|
||||
results['DataStage'] = self.migrate_datastage(dry_run, limit, batch_size, workers, offset)
|
||||
|
||||
if not model_filter or model_filter.lower() == 'vucem':
|
||||
results['Vucem'] = self.migrate_vucem(dry_run, limit, workers)
|
||||
|
||||
if not model_filter or model_filter.lower() == 'reportdocument':
|
||||
results['ReportDocument'] = self.migrate_reports(dry_run, limit, batch_size, workers, offset)
|
||||
|
||||
# Resumen final
|
||||
self.stdout.write('\n' + '=' * 60)
|
||||
self.stdout.write(self.style.SUCCESS('RESUMEN DE MIGRACIÓN'))
|
||||
self.stdout.write('=' * 60)
|
||||
|
||||
total_migrados = 0
|
||||
total_no_encontrados = 0
|
||||
total_errores = 0
|
||||
|
||||
for model_name, stats in results.items():
|
||||
self.stdout.write(f"\n📁 {model_name}:")
|
||||
self.stdout.write(f" ✅ Migrados: {stats['migrated']}")
|
||||
self.stdout.write(f" ⚠️ No encontrados: {stats['not_found']}")
|
||||
self.stdout.write(f" ❌ Errores: {stats['errors']}")
|
||||
total_migrados += stats['migrated']
|
||||
total_no_encontrados += stats['not_found']
|
||||
total_errores += stats['errors']
|
||||
|
||||
self.stdout.write('\n' + '-' * 40)
|
||||
self.stdout.write(f"📊 TOTAL Migrados: {total_migrados}")
|
||||
self.stdout.write(f"📊 TOTAL No encontrados: {total_no_encontrados}")
|
||||
self.stdout.write(f"📊 TOTAL Errores: {total_errores}")
|
||||
|
||||
if dry_run:
|
||||
self.stdout.write('\n' + self.style.WARNING('⚠️ MODO DRY RUN - No se realizaron cambios'))
|
||||
|
||||
def get_local_file_path(self, path_str):
|
||||
"""Obtiene la ruta completa del archivo local"""
|
||||
return Path(settings.MEDIA_ROOT) / path_str
|
||||
|
||||
def migrate_documents(self, dry_run, limit, batch_size, workers, offset):
|
||||
"""Migra documentos del modelo Document"""
|
||||
self._init_minio_client()
|
||||
stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
|
||||
|
||||
queryset = Document.objects.exclude(archivo='').exclude(archivo__isnull=True)
|
||||
queryset = queryset.exclude(archivo__startswith='org_')
|
||||
queryset = queryset.order_by('created_at')
|
||||
|
||||
if offset:
|
||||
queryset = queryset[offset:]
|
||||
|
||||
if limit:
|
||||
queryset = queryset[:limit]
|
||||
|
||||
total = queryset.count()
|
||||
self.stdout.write(f"\n📄 Procesando {total} documentos...")
|
||||
|
||||
if total == 0:
|
||||
return stats
|
||||
|
||||
start_time = time.time()
|
||||
processed = 0
|
||||
|
||||
# Procesar en lotes
|
||||
for batch_start in range(0, total, batch_size):
|
||||
batch = queryset[batch_start:batch_start + batch_size]
|
||||
batch_docs = list(batch)
|
||||
|
||||
if dry_run:
|
||||
stats['migrated'] += len(batch_docs)
|
||||
processed += len(batch_docs)
|
||||
self._print_progress(processed, total, start_time, stats)
|
||||
continue
|
||||
|
||||
# Preparar items para workers
|
||||
items = []
|
||||
for doc in batch_docs:
|
||||
path_str = str(doc.archivo)
|
||||
local_path = self.get_local_file_path(path_str)
|
||||
|
||||
if not local_path.exists():
|
||||
stats['not_found'] += 1
|
||||
continue
|
||||
|
||||
pedimento_app = doc.pedimento.pedimento_app if doc.pedimento else 'unknown'
|
||||
items.append({
|
||||
'doc': doc,
|
||||
'local_path': local_path,
|
||||
'path_str': path_str,
|
||||
'pedimento_app': pedimento_app
|
||||
})
|
||||
|
||||
# Procesar en paralelo
|
||||
if items:
|
||||
with ThreadPoolExecutor(max_workers=workers) as executor:
|
||||
futures = {executor.submit(self._upload_document, item): item for item in items}
|
||||
|
||||
for future in as_completed(futures):
|
||||
result = future.result()
|
||||
if result['success']:
|
||||
stats['migrated'] += 1
|
||||
else:
|
||||
stats['errors'] += 1
|
||||
|
||||
processed += len(batch_docs)
|
||||
self._print_progress(processed, total, start_time, stats)
|
||||
|
||||
total_time = time.time() - start_time
|
||||
self.stdout.write(f"\n ✅ Completado en {total_time/60:.1f} minutos")
|
||||
|
||||
return stats
|
||||
|
||||
def _upload_document(self, item):
|
||||
"""Sube un documento directamente a MinIO"""
|
||||
try:
|
||||
doc = item['doc']
|
||||
local_path = item['local_path']
|
||||
pedimento_app = item['pedimento_app']
|
||||
filename = local_path.name
|
||||
|
||||
# Generar ruta MinIO
|
||||
object_name = f"org_{doc.organizacion_id}/documents/{pedimento_app}/{filename}"
|
||||
|
||||
# Subir directamente a MinIO
|
||||
self.client.fput_object(
|
||||
bucket_name=self.bucket_name,
|
||||
object_name=object_name,
|
||||
file_path=str(local_path)
|
||||
)
|
||||
|
||||
# Actualizar base de datos
|
||||
doc.archivo = object_name
|
||||
doc.save(update_fields=['archivo'])
|
||||
|
||||
return {'success': True, 'doc_id': doc.id}
|
||||
|
||||
except Exception as e:
|
||||
return {'success': False, 'doc_id': doc.id, 'error': str(e)}
|
||||
|
||||
def migrate_datastage(self, dry_run, limit, batch_size, workers, offset):
|
||||
"""Migra archivos del modelo DataStage"""
|
||||
self._init_minio_client()
|
||||
stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
|
||||
|
||||
queryset = DataStage.objects.exclude(archivo='').exclude(archivo__isnull=True)
|
||||
queryset = queryset.exclude(archivo__startswith='org_')
|
||||
queryset = queryset.order_by('created_at')
|
||||
|
||||
if offset:
|
||||
queryset = queryset[offset:]
|
||||
|
||||
if limit:
|
||||
queryset = queryset[:limit]
|
||||
|
||||
total = queryset.count()
|
||||
self.stdout.write(f"\n📦 Procesando {total} archivos DataStage...")
|
||||
|
||||
if total == 0:
|
||||
return stats
|
||||
|
||||
start_time = time.time()
|
||||
processed = 0
|
||||
|
||||
for batch_start in range(0, total, batch_size):
|
||||
batch = queryset[batch_start:batch_start + batch_size]
|
||||
batch_docs = list(batch)
|
||||
|
||||
if dry_run:
|
||||
stats['migrated'] += len(batch_docs)
|
||||
processed += len(batch_docs)
|
||||
self._print_progress(processed, total, start_time, stats)
|
||||
continue
|
||||
|
||||
items = []
|
||||
for ds in batch_docs:
|
||||
path_str = str(ds.archivo)
|
||||
local_path = self.get_local_file_path(path_str)
|
||||
|
||||
if not local_path.exists():
|
||||
stats['not_found'] += 1
|
||||
continue
|
||||
|
||||
items.append({'ds': ds, 'local_path': local_path})
|
||||
|
||||
if items:
|
||||
with ThreadPoolExecutor(max_workers=workers) as executor:
|
||||
futures = {executor.submit(self._upload_datastage, item): item for item in items}
|
||||
|
||||
for future in as_completed(futures):
|
||||
result = future.result()
|
||||
if result['success']:
|
||||
stats['migrated'] += 1
|
||||
else:
|
||||
stats['errors'] += 1
|
||||
|
||||
processed += len(batch_docs)
|
||||
self._print_progress(processed, total, start_time, stats)
|
||||
|
||||
total_time = time.time() - start_time
|
||||
self.stdout.write(f"\n ✅ Completado en {total_time/60:.1f} minutos")
|
||||
|
||||
return stats
|
||||
|
||||
def _upload_datastage(self, item):
|
||||
"""Sube un DataStage directamente a MinIO"""
|
||||
try:
|
||||
ds = item['ds']
|
||||
local_path = item['local_path']
|
||||
filename = local_path.name
|
||||
|
||||
object_name = f"org_{ds.organizacion_id}/datastage/{filename}"
|
||||
|
||||
self.client.fput_object(
|
||||
bucket_name=self.bucket_name,
|
||||
object_name=object_name,
|
||||
file_path=str(local_path)
|
||||
)
|
||||
|
||||
ds.archivo = object_name
|
||||
ds.save(update_fields=['archivo'])
|
||||
|
||||
return {'success': True, 'id': ds.id}
|
||||
|
||||
except Exception as e:
|
||||
return {'success': False, 'id': ds.id, 'error': str(e)}
|
||||
|
||||
def migrate_vucem(self, dry_run, limit, workers):
|
||||
"""Migra archivos key y cer del modelo Vucem"""
|
||||
self._init_minio_client()
|
||||
stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
|
||||
|
||||
queryset = Vucem.objects.all()
|
||||
if limit:
|
||||
queryset = queryset[:limit]
|
||||
|
||||
total = queryset.count() * 2
|
||||
self.stdout.write(f"\n🔐 Procesando {queryset.count()} registros VUCEM (key + cer)...")
|
||||
|
||||
if total == 0:
|
||||
return stats
|
||||
|
||||
items = []
|
||||
for vucem in queryset:
|
||||
if vucem.key and not str(vucem.key).startswith('org_'):
|
||||
path_str = str(vucem.key)
|
||||
local_path = self.get_local_file_path(path_str)
|
||||
if local_path.exists():
|
||||
items.append({'vucem': vucem, 'local_path': local_path, 'tipo': 'key'})
|
||||
else:
|
||||
stats['not_found'] += 1
|
||||
|
||||
if vucem.cer and not str(vucem.cer).startswith('org_'):
|
||||
path_str = str(vucem.cer)
|
||||
local_path = self.get_local_file_path(path_str)
|
||||
if local_path.exists():
|
||||
items.append({'vucem': vucem, 'local_path': local_path, 'tipo': 'cer'})
|
||||
else:
|
||||
stats['not_found'] += 1
|
||||
|
||||
if dry_run:
|
||||
stats['migrated'] = len(items)
|
||||
self.stdout.write(f" 📝 [DRY RUN] Se migrarían {len(items)} archivos")
|
||||
return stats
|
||||
|
||||
if items:
|
||||
with ThreadPoolExecutor(max_workers=workers) as executor:
|
||||
futures = {executor.submit(self._upload_vucem, item): item for item in items}
|
||||
|
||||
for future in as_completed(futures):
|
||||
result = future.result()
|
||||
if result['success']:
|
||||
stats['migrated'] += 1
|
||||
self.stdout.write(self.style.SUCCESS(f" ✅ {result['tipo']} migrado: {result['id']}"))
|
||||
else:
|
||||
stats['errors'] += 1
|
||||
|
||||
return stats
|
||||
|
||||
def _upload_vucem(self, item):
|
||||
"""Sube un archivo VUCEM directamente a MinIO"""
|
||||
try:
|
||||
vucem = item['vucem']
|
||||
local_path = item['local_path']
|
||||
tipo = item['tipo']
|
||||
filename = local_path.name
|
||||
|
||||
if tipo == 'key':
|
||||
object_name = f"org_{vucem.organizacion_id}/vucem_keys/{filename}"
|
||||
vucem.key = object_name
|
||||
vucem.save(update_fields=['key'])
|
||||
else:
|
||||
object_name = f"org_{vucem.organizacion_id}/vucem_certs/{filename}"
|
||||
vucem.cer = object_name
|
||||
vucem.save(update_fields=['cer'])
|
||||
|
||||
self.client.fput_object(
|
||||
bucket_name=self.bucket_name,
|
||||
object_name=object_name,
|
||||
file_path=str(local_path)
|
||||
)
|
||||
|
||||
return {'success': True, 'id': vucem.id, 'tipo': tipo}
|
||||
|
||||
except Exception as e:
|
||||
return {'success': False, 'id': vucem.id, 'tipo': tipo, 'error': str(e)}
|
||||
|
||||
def migrate_reports(self, dry_run, limit, batch_size, workers, offset):
|
||||
"""Migra archivos del modelo ReportDocument"""
|
||||
self._init_minio_client()
|
||||
stats = {'migrated': 0, 'not_found': 0, 'errors': 0}
|
||||
|
||||
queryset = ReportDocument.objects.exclude(file='').exclude(file__isnull=True)
|
||||
queryset = queryset.exclude(file__startswith='org_')
|
||||
queryset = queryset.order_by('created_at')
|
||||
|
||||
if offset:
|
||||
queryset = queryset[offset:]
|
||||
|
||||
if limit:
|
||||
queryset = queryset[:limit]
|
||||
|
||||
total = queryset.count()
|
||||
self.stdout.write(f"\n📊 Procesando {total} reportes...")
|
||||
|
||||
if total == 0:
|
||||
return stats
|
||||
|
||||
start_time = time.time()
|
||||
processed = 0
|
||||
|
||||
for batch_start in range(0, total, batch_size):
|
||||
batch = queryset[batch_start:batch_start + batch_size]
|
||||
batch_docs = list(batch)
|
||||
|
||||
if dry_run:
|
||||
stats['migrated'] += len(batch_docs)
|
||||
processed += len(batch_docs)
|
||||
self._print_progress(processed, total, start_time, stats)
|
||||
continue
|
||||
|
||||
items = []
|
||||
for report in batch_docs:
|
||||
path_str = str(report.file)
|
||||
local_path = self.get_local_file_path(path_str)
|
||||
|
||||
if not local_path.exists():
|
||||
stats['not_found'] += 1
|
||||
continue
|
||||
|
||||
items.append({'report': report, 'local_path': local_path})
|
||||
|
||||
if items:
|
||||
with ThreadPoolExecutor(max_workers=workers) as executor:
|
||||
futures = {executor.submit(self._upload_report, item): item for item in items}
|
||||
|
||||
for future in as_completed(futures):
|
||||
result = future.result()
|
||||
if result['success']:
|
||||
stats['migrated'] += 1
|
||||
else:
|
||||
stats['errors'] += 1
|
||||
|
||||
processed += len(batch_docs)
|
||||
self._print_progress(processed, total, start_time, stats)
|
||||
|
||||
total_time = time.time() - start_time
|
||||
self.stdout.write(f"\n ✅ Completado en {total_time/60:.1f} minutos")
|
||||
|
||||
return stats
|
||||
|
||||
def _upload_report(self, item):
|
||||
"""Sube un reporte directamente a MinIO"""
|
||||
try:
|
||||
report = item['report']
|
||||
local_path = item['local_path']
|
||||
filename = local_path.name
|
||||
|
||||
filters = report.filters or {}
|
||||
org_id = filters.get('organizacion_id', 'unknown')
|
||||
|
||||
object_name = f"org_{org_id}/reports/{filename}"
|
||||
|
||||
self.client.fput_object(
|
||||
bucket_name=self.bucket_name,
|
||||
object_name=object_name,
|
||||
file_path=str(local_path)
|
||||
)
|
||||
|
||||
report.file = object_name
|
||||
report.save(update_fields=['file'])
|
||||
|
||||
return {'success': True, 'id': report.id}
|
||||
|
||||
except Exception as e:
|
||||
return {'success': False, 'id': report.id, 'error': str(e)}
|
||||
|
||||
def _print_progress(self, processed, total, start_time, stats):
|
||||
"""Imprime el progreso actual"""
|
||||
elapsed = time.time() - start_time
|
||||
rate = processed / elapsed if elapsed > 0 else 0
|
||||
pct = processed * 100 / total if total > 0 else 0
|
||||
|
||||
self.stdout.write(
|
||||
f" 📊 {processed}/{total} ({pct:.1f}%) | "
|
||||
f"{rate:.0f} docs/seg | "
|
||||
f"✅ {stats['migrated']} | "
|
||||
f"⚠️ {stats['not_found']} | "
|
||||
f"❌ {stats['errors']}"
|
||||
)
|
||||
@@ -17,6 +17,14 @@ class DocumentSerializer(serializers.ModelSerializer):
|
||||
read_only_fields = ('id', 'size', 'extension', 'created_at', 'updated_at', 'pedimento_numero')
|
||||
|
||||
def get_pedimento_numero(self, obj):
|
||||
# Si es un diccionario (durante create)
|
||||
if isinstance(obj, dict):
|
||||
pedimento = obj.get('pedimento')
|
||||
if pedimento and hasattr(pedimento, 'pedimento_app'):
|
||||
return pedimento.pedimento_app
|
||||
return None
|
||||
|
||||
# Si es una instancia del modelo (durante retrieve/list)
|
||||
if obj.pedimento:
|
||||
return obj.pedimento.pedimento_app
|
||||
return None
|
||||
@@ -28,9 +36,19 @@ class DocumentSerializer(serializers.ModelSerializer):
|
||||
return value
|
||||
|
||||
def get_fuente_nombre(self, obj):
|
||||
# Método 1: Si la fuente está precargada con select_related
|
||||
if obj.fuente:
|
||||
return obj.fuente.nombre
|
||||
"""Obtiene el nombre de la fuente de forma segura"""
|
||||
if isinstance(obj, dict):
|
||||
fuente = obj.get('fuente')
|
||||
if fuente and hasattr(fuente, 'nombre'):
|
||||
return fuente.nombre
|
||||
return "Desconocido"
|
||||
|
||||
try:
|
||||
if obj.fuente:
|
||||
return obj.fuente.nombre
|
||||
except AttributeError:
|
||||
pass
|
||||
|
||||
return "Desconocido"
|
||||
|
||||
class FuenteSerializer(serializers.ModelSerializer):
|
||||
|
||||
@@ -24,6 +24,7 @@ from rest_framework.decorators import action
|
||||
from datetime import timedelta
|
||||
from django.utils import timezone
|
||||
from django.db.models import Q
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
from core.permissions import (
|
||||
IsSameOrganization,
|
||||
@@ -156,11 +157,10 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
|
||||
def get_queryset(self):
|
||||
queryset = self.get_queryset_filtrado_por_organizacion()
|
||||
|
||||
modulo_efc = self.request.query_params.get('modulo')
|
||||
if modulo_efc:
|
||||
if modulo_efc == 'expedientes-detalle-pedimentos':
|
||||
queryset = queryset.exclude(document_type_id__in=['1','2','3','4','5','6','7','8','9','10'])
|
||||
queryset = queryset.exclude(document_type_id__in=['1','2','3','4','5','6','7','8','9','10','25','23','21','19','17','15','13','16'])
|
||||
# Filtro personalizado por document_type
|
||||
# document_type = self.request.query_params.get('document_type')
|
||||
# if document_type:
|
||||
@@ -252,14 +252,31 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
|
||||
try:
|
||||
|
||||
# Guardar documento y actualizar espacio atómicamente
|
||||
documento = serializer.save(
|
||||
pedimento = serializer.validated_data.get('pedimento')
|
||||
pedimento_app = pedimento.pedimento_app if pedimento else None
|
||||
|
||||
documento = Document.objects.create(
|
||||
document_type=document_type,
|
||||
organizacion=organizacion,
|
||||
pedimento=pedimento,
|
||||
size=archivo.size,
|
||||
extension=archivo.name.split('.')[-1].lower()
|
||||
)
|
||||
|
||||
ruta = storage_service.save_document(
|
||||
file=archivo,
|
||||
organizacion_id=organizacion.id,
|
||||
pedimento_app=pedimento_app,
|
||||
metadata={'source': 'document_create'}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
documento.archivo = ruta
|
||||
documento.save()
|
||||
else:
|
||||
documento.delete()
|
||||
raise ValidationError({"archivo": "Error al guardar el archivo"})
|
||||
|
||||
except Exception as e:
|
||||
# Guardar documento y actualizar espacio atómicamente
|
||||
documento = serializer.save(
|
||||
@@ -300,17 +317,45 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
}, code=status.HTTP_400_BAD_REQUEST)
|
||||
|
||||
# Actualizar documento y espacio
|
||||
serializer.save(size=new_file.size)
|
||||
uso.espacio_utilizado = nuevo_espacio_utilizado
|
||||
uso.save()
|
||||
if instance.archivo:
|
||||
ruta_anterior = str(instance.archivo)
|
||||
storage_service.delete_file(ruta_anterior)
|
||||
|
||||
pedimento = instance.pedimento
|
||||
pedimento_app = pedimento.pedimento_app if pedimento else None
|
||||
|
||||
ruta = storage_service.save_document(
|
||||
file=new_file,
|
||||
organizacion_id=organizacion.id,
|
||||
pedimento_app=pedimento_app,
|
||||
metadata={'source': 'document_update'}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
instance.archivo = ruta
|
||||
instance.size = new_file.size
|
||||
instance.extension = new_file.name.split('.')[-1].lower()
|
||||
instance.save()
|
||||
|
||||
uso.espacio_utilizado = nuevo_espacio_utilizado
|
||||
uso.save()
|
||||
else:
|
||||
raise ValidationError({"archivo": "Error al actualizar el archivo"})
|
||||
else:
|
||||
serializer.save()
|
||||
|
||||
def perform_destroy(self, instance):
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
if instance.archivo:
|
||||
ruta = str(instance.archivo)
|
||||
storage_service.delete_file(ruta)
|
||||
|
||||
# Restar el espacio al eliminar
|
||||
uso = UsoAlmacenamiento.objects.get(organizacion=instance.organizacion)
|
||||
uso.espacio_utilizado -= instance.size
|
||||
uso.save()
|
||||
|
||||
instance.delete()
|
||||
|
||||
@action(detail=False, methods=['get'], url_path='vu-documentos-errores')
|
||||
@@ -508,11 +553,10 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
archivos_eliminados = 0
|
||||
for doc in existing_documents:
|
||||
try:
|
||||
# Eliminar archivo físico
|
||||
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||
|
||||
# Eliminar registro de la base de datos
|
||||
if doc.archivo:
|
||||
ruta = str(doc.archivo)
|
||||
storage_service.delete_file(ruta)
|
||||
|
||||
doc.delete()
|
||||
archivos_eliminados += 1
|
||||
except Exception as e:
|
||||
@@ -700,13 +744,13 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
pass
|
||||
|
||||
# Eliminar los documentos
|
||||
archivos_eliminados = 0
|
||||
for doc in existing_documents:
|
||||
archivos_eliminados = 0
|
||||
try:
|
||||
# Eliminar archivo físico
|
||||
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||
|
||||
if doc.archivo:
|
||||
ruta = str(doc.archivo)
|
||||
storage_service.delete_file(ruta)
|
||||
|
||||
# Eliminar registro de la base de datos
|
||||
doc.delete()
|
||||
archivos_eliminados += 1
|
||||
@@ -899,13 +943,13 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
pass
|
||||
|
||||
# Eliminar los documentos
|
||||
archivos_eliminados = 0
|
||||
for doc in existing_documents:
|
||||
archivos_eliminados = 0
|
||||
try:
|
||||
# Eliminar archivo físico
|
||||
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||
|
||||
if doc.archivo:
|
||||
ruta = str(doc.archivo)
|
||||
storage_service.delete_file(ruta)
|
||||
|
||||
# Eliminar registro de la base de datos
|
||||
doc.delete()
|
||||
archivos_eliminados += 1
|
||||
@@ -1099,13 +1143,11 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
# Eliminar los documentos
|
||||
archivos_eliminados = 0
|
||||
for doc in existing_documents:
|
||||
|
||||
try:
|
||||
# Eliminar archivo físico
|
||||
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||
|
||||
# Eliminar registro de la base de datos
|
||||
if doc.archivo:
|
||||
ruta = str(doc.archivo)
|
||||
storage_service.delete_file(ruta)
|
||||
|
||||
doc.delete()
|
||||
archivos_eliminados += 1
|
||||
except Exception as e:
|
||||
@@ -1298,10 +1340,23 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
organizacion=organizacion,
|
||||
pedimento_id=pedimento_id,
|
||||
document_type=document_type,
|
||||
archivo=file,
|
||||
size=file.size,
|
||||
extension=extension
|
||||
)
|
||||
|
||||
ruta = storage_service.save_document(
|
||||
file=file,
|
||||
organizacion_id=organizacion.id,
|
||||
pedimento_app=pedimento.pedimento_app,
|
||||
metadata={'source': 'bulk_upload'}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
document.archivo = ruta
|
||||
document.save()
|
||||
else:
|
||||
document.delete()
|
||||
raise Exception(f"Error al guardar archivo: {file.name}")
|
||||
|
||||
# Actualizar espacio usado
|
||||
espacio_usado_temp += file.size
|
||||
@@ -1586,11 +1641,23 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
organizacion=organizacion,
|
||||
pedimento_id=pedimento_id,
|
||||
document_type=document_type,
|
||||
archivo=file,
|
||||
size=file.size,
|
||||
fuente_id=7,
|
||||
extension=extension
|
||||
)
|
||||
|
||||
ruta = storage_service.save_document(
|
||||
file=file,
|
||||
organizacion_id=organizacion.id,
|
||||
pedimento_app=pedimento.pedimento_app,
|
||||
metadata={'source': 'bulk_upload'}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
document.archivo = ruta
|
||||
document.save()
|
||||
else:
|
||||
document.delete()
|
||||
raise Exception(f"Error al guardar archivo: {file.name}")
|
||||
|
||||
# Actualizar espacio usado
|
||||
espacio_usado_temp += file.size
|
||||
@@ -1645,7 +1712,7 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
return Response(response_data, status=response_status)
|
||||
|
||||
class ProtectedDocumentDownloadView(APIView, DocumentosFiltradosMixin):
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
serializer_class = DocumentSerializer
|
||||
model = Document
|
||||
my_tags = ['Documents']
|
||||
@@ -1654,6 +1721,10 @@ class ProtectedDocumentDownloadView(APIView, DocumentosFiltradosMixin):
|
||||
return self.get_queryset_filtrado_por_organizacion()
|
||||
|
||||
def get(self, request, pk):
|
||||
import tempfile
|
||||
import os
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||
raise Http404("Usuario no autenticado")
|
||||
|
||||
@@ -1662,21 +1733,39 @@ class ProtectedDocumentDownloadView(APIView, DocumentosFiltradosMixin):
|
||||
except Document.DoesNotExist:
|
||||
raise Http404("Documento no encontrado")
|
||||
|
||||
# Verifica que el usuario pertenece a la organización del documento
|
||||
if not request.user.is_superuser:
|
||||
if doc.organizacion != request.user.organizacion:
|
||||
raise Http404("No autorizado")
|
||||
|
||||
if not doc.archivo:
|
||||
raise Http404("Documento sin archivo asociado")
|
||||
|
||||
ruta = str(doc.archivo)
|
||||
|
||||
if self.request.user.is_superuser:
|
||||
return FileResponse(doc.archivo.open('rb'))
|
||||
|
||||
if doc.organizacion != request.user.organizacion:
|
||||
raise Http404("No autorizado")
|
||||
|
||||
return FileResponse(doc.archivo.open('rb'))
|
||||
with tempfile.NamedTemporaryFile(delete=False) as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
|
||||
if not success:
|
||||
raise Http404("No se pudo descargar el archivo")
|
||||
|
||||
filename = os.path.basename(ruta)
|
||||
response = FileResponse(open(tmp_path, 'rb'),as_attachment=True,filename=filename)
|
||||
|
||||
import atexit
|
||||
atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
|
||||
|
||||
return response
|
||||
|
||||
class BulkDownloadZipView(APIView):
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
my_tags = ['Documents']
|
||||
|
||||
def post(self, request):
|
||||
import tempfile
|
||||
import os
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||
return Response({"error": "Usuario no autenticado o sin organización"}, status=401)
|
||||
@@ -1695,22 +1784,87 @@ class BulkDownloadZipView(APIView):
|
||||
return Response({"error": "Uno o más documentos no existen o no pertenecen a su organización."}, status=404)
|
||||
|
||||
buffer = BytesIO()
|
||||
with zipfile.ZipFile(buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
for doc in docs:
|
||||
# Usar solo el nombre del archivo sin descripcion
|
||||
file_name = slugify(doc.archivo.name.rsplit('/', 1)[-1].rsplit('.', 1)[0])
|
||||
ext = doc.archivo.name.split('.')[-1]
|
||||
zip_name = f"{file_name}.{ext}"
|
||||
doc.archivo.open('rb')
|
||||
zip_file.writestr(zip_name, doc.archivo.read())
|
||||
doc.archivo.close()
|
||||
missing_files = []
|
||||
temp_files = [] # Para limpiar después
|
||||
files_found = []
|
||||
|
||||
buffer.seek(0)
|
||||
safe_name = slugify(pedimento_nombre)
|
||||
response = HttpResponse(buffer, content_type='application/zip')
|
||||
response['Content-Disposition'] = f'attachment; filename={safe_name or "documentos"}.zip'
|
||||
|
||||
return response
|
||||
try:
|
||||
with zipfile.ZipFile(buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
for doc in docs:
|
||||
if not doc.archivo:
|
||||
missing_files.append(f"{doc.id} (sin archivo)")
|
||||
continue
|
||||
|
||||
ruta = str(doc.archivo)
|
||||
|
||||
# ============ DETECTAR TIPO DE RUTA ============
|
||||
is_minio = ruta.startswith('org_')
|
||||
|
||||
if is_minio:
|
||||
# Verificar en MinIO
|
||||
if not storage_service.file_exists(ruta):
|
||||
missing_files.append(f"{doc.id} ({ruta})")
|
||||
continue
|
||||
else:
|
||||
# Verificar en sistema local
|
||||
from pathlib import Path
|
||||
from django.conf import settings
|
||||
full_path = Path(settings.MEDIA_ROOT) / ruta
|
||||
if not full_path.exists():
|
||||
missing_files.append(f"{doc.id} ({ruta})")
|
||||
continue
|
||||
|
||||
with tempfile.NamedTemporaryFile(delete=False, suffix='.tmp') as tmp:
|
||||
tmp_path = tmp.name
|
||||
temp_files.append(tmp_path)
|
||||
|
||||
if is_minio:
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
else:
|
||||
import shutil
|
||||
full_path = Path(settings.MEDIA_ROOT) / ruta
|
||||
try:
|
||||
shutil.copy2(full_path, tmp_path)
|
||||
success = True
|
||||
except Exception as e:
|
||||
success = False
|
||||
|
||||
if not success:
|
||||
missing_files.append(f"{doc.id} ({ruta})")
|
||||
continue
|
||||
|
||||
files_found.append(f"{doc.id} ({ruta})")
|
||||
|
||||
file_name = slugify(ruta.rsplit('/', 1)[-1].rsplit('.', 1)[0])
|
||||
ext = ruta.split('.')[-1] if '.' in ruta else ''
|
||||
zip_name = f"{file_name}.{ext}" if ext else file_name
|
||||
|
||||
with open(tmp_path, 'rb') as f:
|
||||
zip_file.writestr(zip_name, f.read())
|
||||
|
||||
buffer.seek(0)
|
||||
safe_name = slugify(pedimento_nombre)
|
||||
response = HttpResponse(buffer, content_type='application/zip')
|
||||
response['Content-Disposition'] = f'attachment; filename={safe_name or "documentos"}.zip'
|
||||
|
||||
if missing_files:
|
||||
response['X-Missing-Files'] = ', '.join(missing_files[:5]) # Primeros 5
|
||||
response['Access-Control-Expose-Headers'] = 'X-Missing-Files'
|
||||
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
return Response(
|
||||
{"error": f"Error al crear el archivo ZIP: {str(e)}"},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
finally:
|
||||
for tmp_path in temp_files:
|
||||
try:
|
||||
if os.path.exists(tmp_path):
|
||||
os.unlink(tmp_path)
|
||||
except Exception as e:
|
||||
logger.warning(f"No se pudo eliminar archivo temporal {tmp_path}: {e}")
|
||||
|
||||
class GetFuenteView(APIView):
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
@@ -1745,7 +1899,7 @@ class DocumentTypeView(APIView):
|
||||
return Response(serializer.data, status=200)
|
||||
|
||||
class ExpedienteZipDownloadView(APIView, DocumentosFiltradosMixin):
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
my_tags = ['Documents']
|
||||
|
||||
def post(self, request):
|
||||
@@ -1753,6 +1907,10 @@ class ExpedienteZipDownloadView(APIView, DocumentosFiltradosMixin):
|
||||
Descarga todos los documentos de un pedimento (o filtrados) en un ZIP.
|
||||
Body: { "pedimento_id": "<uuid>" }
|
||||
"""
|
||||
import tempfile
|
||||
import os
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
pedimento_id = request.data.get('pedimento_id')
|
||||
if not pedimento_id:
|
||||
return Response({"error": "Falta pedimento_id"}, status=status.HTTP_400_BAD_REQUEST)
|
||||
@@ -1774,49 +1932,73 @@ class ExpedienteZipDownloadView(APIView, DocumentosFiltradosMixin):
|
||||
if not docs.exists():
|
||||
return Response({"error": "No hay documentos para este pedimento"}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
# 1. Crear un único buffer y ZIP para todos los archivos
|
||||
buffer = BytesIO()
|
||||
missing_files = [] # opcional: para informar después
|
||||
files_found = []
|
||||
|
||||
with zipfile.ZipFile(buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
for doc in docs:
|
||||
# 2. Validaciones
|
||||
if not doc.archivo.name:
|
||||
logger.warning("Documento %s no tiene archivo asociado", doc.id)
|
||||
missing_files.append(f"{doc.id} (sin archivo)")
|
||||
continue
|
||||
if not default_storage.exists(doc.archivo.name):
|
||||
logger.warning("Archivo no encontrado en disco: %s", doc.archivo.path)
|
||||
missing_files.append(f"{doc.id} ({doc.archivo.name})")
|
||||
continue
|
||||
|
||||
files_found.append(f"{doc.id} ({doc.archivo.name})")
|
||||
|
||||
# 3. Nombre seguro para dentro del ZIP
|
||||
file_name = slugify(doc.archivo.name.rsplit('/', 1)[-1].rsplit('.', 1)[0])
|
||||
ext = doc.archivo.name.split('.')[-1]
|
||||
name_inside_zip = f"{file_name}.{ext}"
|
||||
|
||||
# 4. Escribir el archivo dentro del ZIP
|
||||
with doc.archivo.open('rb') as f:
|
||||
zip_file.writestr(name_inside_zip, f.read())
|
||||
|
||||
# 5. Preparar respuesta
|
||||
buffer.seek(0)
|
||||
zip_name = slugify(f"expediente_{pedimento.pedimento_app}")
|
||||
response = HttpResponse(buffer, content_type='application/zip')
|
||||
response['Content-Disposition'] = f'attachment; filename={zip_name or "documentos"}.zip'
|
||||
|
||||
if not files_found:
|
||||
return Response({"error": f"No hay documentos para este pedimento: {pedimento.pedimento_app}"}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
# (Opcional) cabecera personalizada si faltaron archivos
|
||||
# if missing_files:
|
||||
# response['X-Missing-Files'] = ', '.join(missing_files)
|
||||
# return Response({"error": f"No hay documentos para este pedimento: {pedimento.pedimento_app}"}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
return response
|
||||
missing_files = []
|
||||
files_found = []
|
||||
temp_files = []
|
||||
|
||||
try:
|
||||
with zipfile.ZipFile(buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
for doc in docs:
|
||||
if not doc.archivo:
|
||||
missing_files.append(f"{doc.id} (sin archivo)")
|
||||
continue
|
||||
|
||||
ruta = str(doc.archivo)
|
||||
|
||||
if not storage_service.file_exists(ruta):
|
||||
missing_files.append(f"{doc.id} ({ruta})")
|
||||
continue
|
||||
|
||||
with tempfile.NamedTemporaryFile(delete=False, suffix='.tmp') as tmp:
|
||||
tmp_path = tmp.name
|
||||
temp_files.append(tmp_path)
|
||||
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
|
||||
if not success:
|
||||
missing_files.append(f"{doc.id} ({ruta})")
|
||||
continue
|
||||
|
||||
files_found.append(f"{doc.id} ({ruta})")
|
||||
|
||||
nombre_base = ruta.rsplit('/', 1)[-1]
|
||||
file_name = slugify(nombre_base.rsplit('.', 1)[0])
|
||||
ext = nombre_base.split('.')[-1] if '.' in nombre_base else ''
|
||||
name_inside_zip = f"{file_name}.{ext}" if ext else file_name
|
||||
|
||||
with open(tmp_path, 'rb') as f:
|
||||
zip_file.writestr(name_inside_zip, f.read())
|
||||
|
||||
buffer.seek(0)
|
||||
zip_name = slugify(f"expediente_{pedimento.pedimento_app}")
|
||||
response = HttpResponse(buffer, content_type='application/zip')
|
||||
response['Content-Disposition'] = f'attachment; filename={zip_name or "documentos"}.zip'
|
||||
|
||||
if not files_found:
|
||||
return Response(
|
||||
{"error": f"No se encontraron documentos descargables para el pedimento: {pedimento.pedimento_app}"},
|
||||
status=status.HTTP_404_NOT_FOUND
|
||||
)
|
||||
|
||||
if missing_files:
|
||||
response['X-Missing-Files-Count'] = str(len(missing_files))
|
||||
response['Access-Control-Expose-Headers'] = 'X-Missing-Files-Count'
|
||||
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
return Response(
|
||||
{"error": f"Error al crear el archivo ZIP: {str(e)}"},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
finally:
|
||||
for tmp_path in temp_files:
|
||||
try:
|
||||
if os.path.exists(tmp_path):
|
||||
os.unlink(tmp_path)
|
||||
except Exception as e:
|
||||
logger.warning(f"No se pudo eliminar archivo temporal {tmp_path}: {e}")
|
||||
|
||||
class MultiPedimentoZipDownloadView(APIView):
|
||||
permission_classes = [IsAuthenticated & (IsSuperUser | IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper)]
|
||||
@@ -1905,49 +2087,43 @@ class PedimentoDocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
||||
queryset = self.get_queryset_filtrado_por_organizacion()
|
||||
pedimento_id = self.request.query_params.get('pedimento')
|
||||
|
||||
# Obtener el pedimento primero para usar su organización
|
||||
# Validar que el pedimento existe
|
||||
from api.customs.models import Pedimento
|
||||
try:
|
||||
pedimento = Pedimento.objects.get(id=pedimento_id)
|
||||
except Pedimento.DoesNotExist:
|
||||
return Response(
|
||||
{"error": "Pedimento no encontrado"},
|
||||
status=status.HTTP_404_NOT_FOUND
|
||||
)
|
||||
return Document.objects.none() # Retornar queryset vacío
|
||||
|
||||
# Tipos de documento permitidos (fijos en código, Pedimento completo y remesas)
|
||||
TIPOS_PERMITIDOS = ['2', '3'] # <-- Ajusta aquí tus tipos
|
||||
# Filtrar SOLO por pedimento
|
||||
queryset = queryset.filter(pedimento_id=pedimento_id)
|
||||
|
||||
# Tipos de documento permitidos (fijos: 2 y 3)
|
||||
TIPOS_PERMITIDOS = ['2', '3']
|
||||
tipo_documento = self.request.query_params.get('document_type')
|
||||
|
||||
if tipo_documento:
|
||||
if tipo_documento == '2':
|
||||
queryset = queryset.filter(archivo__startswith=f'documents/vu_PC_{pedimento.pedimento_app}.xml')
|
||||
elif tipo_documento == '3':
|
||||
queryset = queryset.filter(archivo__startswith=f'documents/vu_RM_{pedimento.pedimento_app}.xml')
|
||||
else:
|
||||
queryset = queryset.filter(archivo__startswith=f'documents/NOTFOUND_{pedimento.pedimento_app}.xml')
|
||||
|
||||
# Si se especifica tipo, filtrar por ese tipo (si está en permitidos)
|
||||
if tipo_documento in TIPOS_PERMITIDOS:
|
||||
queryset = queryset.filter(document_type_id=tipo_documento)
|
||||
else:
|
||||
# Filtrar por tipos permitidos
|
||||
# queryset = queryset.filter(document_type_id__in=TIPOS_PERMITIDOS)
|
||||
queryset = queryset.filter(
|
||||
Q(archivo__startswith=f'documents/vu_PC_{pedimento.pedimento_app}.xml') |
|
||||
Q(archivo__startswith=f'documents/vu_RM_{pedimento.pedimento_app}.xml')
|
||||
)
|
||||
# Si no se especifica, filtrar por los tipos permitidos
|
||||
queryset = queryset.filter(document_type_id__in=TIPOS_PERMITIDOS)
|
||||
|
||||
# Filtros adicionales
|
||||
buscar_archivo = self.request.query_params.get('archivo__icontains')
|
||||
if buscar_archivo:
|
||||
queryset = queryset.filter(archivo__icontains=buscar_archivo)
|
||||
|
||||
created_at__date = self.request.query_params.get('created_at__date')
|
||||
if created_at__date:
|
||||
queryset = queryset.filter(created_at=created_at__date)
|
||||
queryset = queryset.filter(created_at__date=created_at__date)
|
||||
|
||||
# Filtro adicional por pedimento_numero si se proporciona
|
||||
pedimento_numero = self.request.query_params.get('pedimento_numero')
|
||||
if pedimento_numero:
|
||||
queryset = queryset.filter(pedimento__pedimento_app=pedimento_numero)
|
||||
|
||||
return queryset
|
||||
|
||||
class TriggerPedimentoCompletoView(APIView):
|
||||
"""
|
||||
Endpoint interno para disparar la descarga de pedimento completo
|
||||
|
||||
@@ -16,7 +16,8 @@ class ReportDocument(models.Model):
|
||||
user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='report_documents')
|
||||
filters = models.JSONField(blank=True, null=True)
|
||||
status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
|
||||
file = models.FileField(upload_to='reports/', blank=True, null=True)
|
||||
# file = models.FileField(upload_to='reports/', blank=True, null=True)
|
||||
file = models.CharField(max_length=500, blank=True, null=True)
|
||||
report_type = models.CharField(max_length=30, choices=TYPE_REPORT, default='cumplimiento')
|
||||
error_message = models.TextField(blank=True, null=True)
|
||||
created_at = models.DateTimeField(auto_now_add=True)
|
||||
|
||||
@@ -1,3 +1,6 @@
|
||||
import tempfile
|
||||
|
||||
from api.utils.storage_service import storage_service
|
||||
from celery import shared_task
|
||||
from api.organization.models import Organizacion
|
||||
from django.core.files.base import ContentFile
|
||||
@@ -10,6 +13,7 @@ from api.record.models import Document
|
||||
import csv
|
||||
import os
|
||||
from django.conf import settings
|
||||
from django.core.files.uploadedfile import SimpleUploadedFile
|
||||
|
||||
@shared_task
|
||||
def generate_report_document(report_id):
|
||||
@@ -46,15 +50,19 @@ def generate_report_document(report_id):
|
||||
filename = f"{filename}.csv" if not filename.endswith('.csv') else filename
|
||||
else:
|
||||
filename = f"report_{report.id}_{timezone.now().strftime('%Y%m%d%H%M%S')}.csv"
|
||||
file_path = os.path.join(settings.MEDIA_ROOT, 'reports', filename)
|
||||
os.makedirs(os.path.dirname(file_path), exist_ok=True)
|
||||
with open(file_path, 'w', newline='', encoding='utf-8') as f:
|
||||
|
||||
with tempfile.NamedTemporaryFile(mode='w', delete=False, suffix='.csv', encoding='utf-8', newline='') as f:
|
||||
tmp_path = f.name
|
||||
|
||||
# Escribir CSV en archivo temporal
|
||||
with open(tmp_path, 'w', newline='', encoding='utf-8') as f:
|
||||
writer = csv.writer(f)
|
||||
headers = [
|
||||
'aduana', 'patente', 'regimen', 'pedimento', 'pedimento_app', 'clave_pedimento',
|
||||
'tipo_operacion_id', 'contribuyente_id', 'tipo_documento', 'numero_documento', 'estado', 'acuse_estado'
|
||||
]
|
||||
writer.writerow(headers)
|
||||
|
||||
for ped in pedimentos:
|
||||
for cove in Cove.objects.filter(pedimento=ped):
|
||||
writer.writerow([
|
||||
@@ -74,12 +82,43 @@ def generate_report_document(report_id):
|
||||
ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
|
||||
'PARTIDA', partida.numero_partida, partida.descargado, ''
|
||||
])
|
||||
# Guardar el archivo en el modelo
|
||||
with open(file_path, 'rb') as f:
|
||||
report.file.save(filename, ContentFile(f.read()), save=True)
|
||||
report.status = 'ready'
|
||||
|
||||
# ============ NUEVO: Guardar en MinIO ============
|
||||
# Leer archivo temporal
|
||||
with open(tmp_path, 'rb') as f:
|
||||
file_content = f.read()
|
||||
|
||||
# Crear UploadedFile
|
||||
uploaded_file = SimpleUploadedFile(
|
||||
name=filename,
|
||||
content=file_content,
|
||||
content_type='text/csv'
|
||||
)
|
||||
|
||||
# Guardar en storage
|
||||
ruta = storage_service.save_report(
|
||||
file=uploaded_file,
|
||||
organizacion_id=filters.get('organizacion_id'),
|
||||
metadata={
|
||||
'report_id': str(report.id),
|
||||
'report_type': 'cumplimiento',
|
||||
'user_id': str(report.user.id) if report.user else None
|
||||
}
|
||||
)
|
||||
|
||||
if ruta:
|
||||
report.file = ruta
|
||||
report.status = 'ready'
|
||||
else:
|
||||
report.status = 'error'
|
||||
report.error_message = 'Error al guardar el archivo en storage'
|
||||
|
||||
# Limpiar temporal
|
||||
os.unlink(tmp_path)
|
||||
|
||||
report.finished_at = timezone.now()
|
||||
report.save(update_fields=['status', 'file', 'finished_at'])
|
||||
report.save(update_fields=['status', 'file', 'finished_at', 'error_message'])
|
||||
|
||||
except Exception as e:
|
||||
report.status = 'error'
|
||||
report.error_message = str(e)
|
||||
|
||||
@@ -194,7 +194,7 @@ class ExportDataStageView(APIView):
|
||||
|
||||
if export_type == 'excel':
|
||||
# Siempre usar el método particionado inteligente para Excel
|
||||
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
||||
return self.export_datastage_multiple_partitioned_excel_agrupados(request, models_data, global_filters, related_keys)
|
||||
else:
|
||||
# Para CSV, podemos mantener la lógica actual o mejorarla
|
||||
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
||||
@@ -278,6 +278,868 @@ class ExportDataStageView(APIView):
|
||||
)
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_related_report.xlsx"'
|
||||
return response
|
||||
|
||||
def export_datastage_multiple_partitioned_excel_agrupados(self, request, models_data, global_filters, related_keys):
|
||||
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||
try:
|
||||
zip_buffer = io.BytesIO()
|
||||
|
||||
# 🔥 PRECARGAR ORGANIZACIONES para mapeo rápido
|
||||
from api.organization.models import Organizacion
|
||||
organizaciones = Organizacion.objects.all()
|
||||
org_mapping = {str(org.id): org.nombre for org in organizaciones}
|
||||
|
||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
|
||||
# 1. Recopilar todos los datos de cada modelo
|
||||
all_models_data = {} # Ahora será una lista por clave
|
||||
model_field_mappings = {}
|
||||
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
fields = model_data.get('fields', [])
|
||||
|
||||
if not model_name or not fields:
|
||||
continue
|
||||
|
||||
# Normalizar nombres de campo entrantes: si se pasó "Organizacion"
|
||||
# (cualquier capitalización), usar el campo real de la BD `organizacion_id`.
|
||||
normalized_fields = []
|
||||
for f in fields:
|
||||
try:
|
||||
key = f.strip() if isinstance(f, str) else f
|
||||
except Exception:
|
||||
key = f
|
||||
|
||||
if isinstance(key, str) and key.lower() == 'organizacion':
|
||||
if 'organizacion_id' not in normalized_fields:
|
||||
normalized_fields.append('organizacion_id')
|
||||
else:
|
||||
if key not in normalized_fields:
|
||||
normalized_fields.append(key)
|
||||
|
||||
fields = normalized_fields
|
||||
|
||||
# Asegurar que tenemos los campos de relación
|
||||
required_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||
for field in required_fields:
|
||||
if field not in fields:
|
||||
fields.append(field)
|
||||
|
||||
# 🔥 Añadir organizacion_id a los campos si no está y existe en el modelo
|
||||
if 'organizacion_id' not in fields and 'organizacion_id' in [f.name for f in apps.get_model('datastage', model_name)._meta.get_fields()]:
|
||||
fields.append('organizacion_id')
|
||||
|
||||
try:
|
||||
model = apps.get_model('datastage', model_name)
|
||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||
|
||||
if filters:
|
||||
queryset = model.objects.filter(**filters).values(*fields)
|
||||
else:
|
||||
queryset = model.objects.none()
|
||||
|
||||
total_records = queryset.count()
|
||||
|
||||
if total_records == 0:
|
||||
continue
|
||||
|
||||
# Determinar campos de relación disponibles en este modelo
|
||||
relation_fields = []
|
||||
for field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||
if field_name in fields:
|
||||
relation_fields.append(field_name)
|
||||
|
||||
if not relation_fields:
|
||||
# Si no hay campos de relación, usar un identificador único
|
||||
relation_fields = ['datastage_id'] if 'datastage_id' in fields else [fields[0]]
|
||||
|
||||
# Guardar mapeo de campos para este modelo
|
||||
if model_name not in model_field_mappings:
|
||||
model_field_mappings[model_name] = fields
|
||||
|
||||
# Procesar cada registro
|
||||
for record in queryset:
|
||||
# Crear clave de relación
|
||||
key_parts = []
|
||||
for rel_field in relation_fields:
|
||||
if rel_field in record and record[rel_field] is not None:
|
||||
key_parts.append(str(record[rel_field]))
|
||||
|
||||
if not key_parts:
|
||||
# Si no hay campos de relación, usar un hash del registro
|
||||
import hashlib
|
||||
record_str = str(sorted(record.items()))
|
||||
key = hashlib.md5(record_str.encode()).hexdigest()[:10]
|
||||
else:
|
||||
key = "_".join(key_parts)
|
||||
|
||||
# 🔥 PROCESAR CAMPO organizacion_id para convertirlo a nombre
|
||||
processed_record = {}
|
||||
for field_name, value in record.items():
|
||||
# Convertir organizacion_id a nombre
|
||||
if field_name == 'organizacion_id' and value:
|
||||
org_id_str = str(value)
|
||||
# Usar el nombre de la organización si está en el mapeo
|
||||
if org_id_str in org_mapping:
|
||||
processed_value = org_mapping[org_id_str]
|
||||
else:
|
||||
# Si no se encuentra, intentar obtener de la base de datos
|
||||
try:
|
||||
org = Organizacion.objects.filter(id=value).first()
|
||||
processed_value = org.nombre if org else str(value)
|
||||
# Actualizar mapeo para futuras referencias
|
||||
org_mapping[org_id_str] = processed_value
|
||||
except:
|
||||
processed_value = str(value)
|
||||
else:
|
||||
processed_value = value
|
||||
|
||||
# Agregar prefijo del modelo a los campos para evitar colisiones
|
||||
if field_name in relation_fields:
|
||||
prefixed_field_name = field_name
|
||||
else:
|
||||
prefixed_field_name = f"{model_name}_{field_name}"
|
||||
|
||||
# 🔥 RENOMBRAR organizacion_id a organizacion_nombre
|
||||
if field_name == 'organizacion_id':
|
||||
prefixed_field_name = prefixed_field_name.replace('organizacion_id', 'organizacion_nombre')
|
||||
|
||||
processed_record[prefixed_field_name] = self.safe_excel_value(processed_value)
|
||||
|
||||
# 🔥 CORRECIÓN: Ahora almacenamos una LISTA de registros por clave
|
||||
if key not in all_models_data:
|
||||
all_models_data[key] = {
|
||||
'relation_fields': {}, # Campos de relación compartidos
|
||||
'model_records': {} # Diccionario de listas por modelo
|
||||
}
|
||||
|
||||
# Guardar campos de relación (solo una vez, ya que son los mismos)
|
||||
for rel_field in relation_fields:
|
||||
if rel_field in record:
|
||||
all_models_data[key]['relation_fields'][rel_field] = record[rel_field]
|
||||
|
||||
# 🔥 GUARDAR COMO LISTA: Crear lista si no existe
|
||||
if model_name not in all_models_data[key]['model_records']:
|
||||
all_models_data[key]['model_records'][model_name] = []
|
||||
|
||||
# Agregar este registro a la lista del modelo
|
||||
all_models_data[key]['model_records'][model_name].append(processed_record)
|
||||
|
||||
except LookupError:
|
||||
continue
|
||||
|
||||
# Si no hay datos, retornar error
|
||||
if not all_models_data:
|
||||
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
# 2. Crear estructura de filas combinadas
|
||||
# Ahora necesitamos expandir las filas cuando hay múltiples registros con la misma clave
|
||||
combined_rows = []
|
||||
|
||||
for key, data in all_models_data.items():
|
||||
relation_fields = data['relation_fields']
|
||||
model_records = data['model_records']
|
||||
|
||||
# 🔥 NUEVO: Calcular cuántas filas necesitamos para esta clave
|
||||
# Encontrar el modelo con más registros para esta clave
|
||||
max_records_per_key = 1
|
||||
for model_name, records in model_records.items():
|
||||
if len(records) > max_records_per_key:
|
||||
max_records_per_key = len(records)
|
||||
|
||||
# 🔗 CREAR UNA FILA POR CADA COMBINACIÓN
|
||||
for i in range(max_records_per_key):
|
||||
row_data = {}
|
||||
|
||||
# Campos de relación (mismos para todas las filas con esta clave)
|
||||
for rel_field, rel_value in relation_fields.items():
|
||||
row_data[rel_field] = self.safe_excel_value(rel_value)
|
||||
|
||||
# Datos de cada modelo
|
||||
for model_name, records in model_records.items():
|
||||
# Si hay un registro en esta posición i
|
||||
if i < len(records):
|
||||
record = records[i]
|
||||
for field_name, value in record.items():
|
||||
row_data[field_name] = value
|
||||
else:
|
||||
# Si no hay más registros para este modelo, poner campos vacíos
|
||||
for field_name in model_field_mappings.get(model_name, []):
|
||||
if field_name in ['seccion_aduanera', 'patente', 'pedimento', 'organizacion_id']:
|
||||
# Los campos de relación ya están llenados o transformados
|
||||
continue
|
||||
prefixed_field_name = f"{model_name}_{field_name}"
|
||||
# 🔥 RENOMBRAR organizacion_id a organizacion_nombre
|
||||
if field_name == 'organizacion_id':
|
||||
prefixed_field_name = prefixed_field_name.replace('organizacion_id', 'organizacion_nombre')
|
||||
row_data[prefixed_field_name] = ''
|
||||
|
||||
combined_rows.append(row_data)
|
||||
|
||||
# 3. Determinar todos los campos únicos para los encabezados
|
||||
all_fields_set = set()
|
||||
|
||||
# Campos de relación primero
|
||||
common_relation_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||
|
||||
# Agregar todos los campos de todas las filas
|
||||
for row in combined_rows:
|
||||
all_fields_set.update(row.keys())
|
||||
|
||||
# Ordenar campos: relación primero, luego alfabéticamente
|
||||
all_fields = []
|
||||
for rel_field in common_relation_fields:
|
||||
if rel_field in all_fields_set:
|
||||
all_fields.append(rel_field)
|
||||
all_fields_set.remove(rel_field)
|
||||
|
||||
# 🔥 Mover organizacion_nombre cerca de los campos de relación
|
||||
org_fields = [f for f in all_fields_set if 'organizacion' in f.lower()]
|
||||
for org_field in sorted(org_fields):
|
||||
all_fields.append(org_field)
|
||||
all_fields_set.remove(org_field)
|
||||
|
||||
# Agregar el resto de campos ordenados alfabéticamente
|
||||
all_fields.extend(sorted(all_fields_set))
|
||||
|
||||
total_records = len(combined_rows)
|
||||
|
||||
# 4. Manejar particionado
|
||||
from django.core.paginator import Paginator
|
||||
paginator = Paginator(combined_rows, self.MAX_RECORDS_PER_FILE)
|
||||
|
||||
for page_num in paginator.page_range:
|
||||
page = paginator.page(page_num)
|
||||
|
||||
# Crear nuevo workbook para cada partición
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_ws = current_wb.active
|
||||
|
||||
# Nombre de hoja limitado a 31 caracteres
|
||||
sheet_name = f"Datastage_p{page_num}"
|
||||
if len(sheet_name) > 31:
|
||||
sheet_name = sheet_name[:31]
|
||||
current_ws.title = sheet_name
|
||||
|
||||
# Escribir encabezados
|
||||
current_ws.append(all_fields)
|
||||
|
||||
# Escribir datos de esta página
|
||||
for row_data in page.object_list:
|
||||
row_values = [row_data.get(field, '') for field in all_fields]
|
||||
current_ws.append(row_values)
|
||||
|
||||
# Autoajustar anchos de columna
|
||||
for column in current_ws.columns:
|
||||
max_length = 0
|
||||
column_letter = column[0].column_letter
|
||||
|
||||
for cell in column:
|
||||
try:
|
||||
if len(str(cell.value)) > max_length:
|
||||
max_length = len(str(cell.value))
|
||||
except:
|
||||
pass
|
||||
|
||||
adjusted_width = min(max_length + 2, 50)
|
||||
current_ws.column_dimensions[column_letter].width = adjusted_width
|
||||
|
||||
# Guardar archivo en ZIP
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{page_num}.xlsx", part_buffer.getvalue())
|
||||
|
||||
# Información de depuración
|
||||
print(f"Creada partición {page_num} con {len(page.object_list)} registros combinados")
|
||||
print(f"Total de claves únicas: {len(all_models_data)}")
|
||||
print(f"Total de filas expandidas: {total_records}")
|
||||
|
||||
zip_buffer.seek(0)
|
||||
|
||||
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
import traceback
|
||||
error_details = traceback.format_exc()
|
||||
print(f"Error en exportación: {error_details}")
|
||||
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
|
||||
def export_datastage_multiple_partitioned_excel_test_3(self, request, models_data, global_filters, related_keys):
|
||||
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||
try:
|
||||
zip_buffer = io.BytesIO()
|
||||
|
||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
|
||||
# 1. Recopilar todos los datos de cada modelo
|
||||
all_models_data = {} # Ahora será una lista por clave
|
||||
model_field_mappings = {}
|
||||
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
fields = model_data.get('fields', [])
|
||||
|
||||
if not model_name or not fields:
|
||||
continue
|
||||
|
||||
# Asegurar que tenemos los campos de relación
|
||||
required_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||
for field in required_fields:
|
||||
if field not in fields:
|
||||
fields.append(field)
|
||||
|
||||
try:
|
||||
model = apps.get_model('datastage', model_name)
|
||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||
|
||||
if filters:
|
||||
queryset = model.objects.filter(**filters).values(*fields)
|
||||
else:
|
||||
queryset = model.objects.none()
|
||||
|
||||
total_records = queryset.count()
|
||||
|
||||
if total_records == 0:
|
||||
continue
|
||||
|
||||
# Determinar campos de relación disponibles en este modelo
|
||||
relation_fields = []
|
||||
for field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||
if field_name in fields:
|
||||
relation_fields.append(field_name)
|
||||
|
||||
if not relation_fields:
|
||||
# Si no hay campos de relación, usar un identificador único
|
||||
relation_fields = ['datastage_id'] if 'datastage_id' in fields else [fields[0]]
|
||||
|
||||
# Guardar mapeo de campos para este modelo
|
||||
if model_name not in model_field_mappings:
|
||||
model_field_mappings[model_name] = fields
|
||||
|
||||
# Procesar cada registro
|
||||
for record in queryset:
|
||||
# Crear clave de relación
|
||||
key_parts = []
|
||||
for rel_field in relation_fields:
|
||||
if rel_field in record and record[rel_field] is not None:
|
||||
key_parts.append(str(record[rel_field]))
|
||||
|
||||
if not key_parts:
|
||||
# Si no hay campos de relación, usar un hash del registro
|
||||
import hashlib
|
||||
record_str = str(sorted(record.items()))
|
||||
key = hashlib.md5(record_str.encode()).hexdigest()[:10]
|
||||
else:
|
||||
key = "_".join(key_parts)
|
||||
|
||||
# Agregar prefijo del modelo a los campos para evitar colisiones
|
||||
prefixed_fields = {}
|
||||
for field_name, value in record.items():
|
||||
# Solo agregar prefijo si no es un campo de relación
|
||||
if field_name in relation_fields:
|
||||
prefixed_field_name = field_name
|
||||
else:
|
||||
prefixed_field_name = f"{model_name}_{field_name}"
|
||||
prefixed_fields[prefixed_field_name] = self.safe_excel_value(value)
|
||||
|
||||
# 🔥 CORRECIÓN: Ahora almacenamos una LISTA de registros por clave
|
||||
if key not in all_models_data:
|
||||
all_models_data[key] = {
|
||||
'relation_fields': {}, # Campos de relación compartidos
|
||||
'model_records': {} # Diccionario de listas por modelo
|
||||
}
|
||||
|
||||
# Guardar campos de relación (solo una vez, ya que son los mismos)
|
||||
for rel_field in relation_fields:
|
||||
if rel_field in record:
|
||||
all_models_data[key]['relation_fields'][rel_field] = record[rel_field]
|
||||
|
||||
# 🔥 GUARDAR COMO LISTA: Crear lista si no existe
|
||||
if model_name not in all_models_data[key]['model_records']:
|
||||
all_models_data[key]['model_records'][model_name] = []
|
||||
|
||||
# Agregar este registro a la lista del modelo
|
||||
all_models_data[key]['model_records'][model_name].append(prefixed_fields)
|
||||
|
||||
except LookupError:
|
||||
continue
|
||||
|
||||
# Si no hay datos, retornar error
|
||||
if not all_models_data:
|
||||
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
# 2. Crear estructura de filas combinadas
|
||||
# Ahora necesitamos expandir las filas cuando hay múltiples registros con la misma clave
|
||||
combined_rows = []
|
||||
|
||||
for key, data in all_models_data.items():
|
||||
relation_fields = data['relation_fields']
|
||||
model_records = data['model_records']
|
||||
|
||||
# 🔥 NUEVO: Calcular cuántas filas necesitamos para esta clave
|
||||
# Encontrar el modelo con más registros para esta clave
|
||||
max_records_per_key = 1
|
||||
for model_name, records in model_records.items():
|
||||
if len(records) > max_records_per_key:
|
||||
max_records_per_key = len(records)
|
||||
|
||||
# 🔗 CREAR UNA FILA POR CADA COMBINACIÓN
|
||||
for i in range(max_records_per_key):
|
||||
row_data = {}
|
||||
|
||||
# Campos de relación (mismos para todas las filas con esta clave)
|
||||
for rel_field, rel_value in relation_fields.items():
|
||||
row_data[rel_field] = self.safe_excel_value(rel_value)
|
||||
|
||||
# Datos de cada modelo
|
||||
for model_name, records in model_records.items():
|
||||
# Si hay un registro en esta posición i
|
||||
if i < len(records):
|
||||
record = records[i]
|
||||
for field_name, value in record.items():
|
||||
row_data[field_name] = value
|
||||
else:
|
||||
# Si no hay más registros para este modelo, poner campos vacíos
|
||||
for field_name in model_field_mappings.get(model_name, []):
|
||||
if field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||
# Los campos de relación ya están llenados
|
||||
continue
|
||||
prefixed_field_name = f"{model_name}_{field_name}"
|
||||
row_data[prefixed_field_name] = ''
|
||||
|
||||
combined_rows.append(row_data)
|
||||
|
||||
# 3. Determinar todos los campos únicos para los encabezados
|
||||
all_fields_set = set()
|
||||
|
||||
# Campos de relación primero
|
||||
common_relation_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||
|
||||
# Agregar todos los campos de todas las filas
|
||||
for row in combined_rows:
|
||||
all_fields_set.update(row.keys())
|
||||
|
||||
# Ordenar campos: relación primero, luego alfabéticamente
|
||||
all_fields = []
|
||||
for rel_field in common_relation_fields:
|
||||
if rel_field in all_fields_set:
|
||||
all_fields.append(rel_field)
|
||||
all_fields_set.remove(rel_field)
|
||||
|
||||
# Agregar el resto de campos ordenados alfabéticamente
|
||||
all_fields.extend(sorted(all_fields_set))
|
||||
|
||||
total_records = len(combined_rows)
|
||||
|
||||
# 4. Manejar particionado
|
||||
from django.core.paginator import Paginator
|
||||
paginator = Paginator(combined_rows, self.MAX_RECORDS_PER_FILE)
|
||||
|
||||
for page_num in paginator.page_range:
|
||||
page = paginator.page(page_num)
|
||||
|
||||
# Crear nuevo workbook para cada partición
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_ws = current_wb.active
|
||||
|
||||
# Nombre de hoja limitado a 31 caracteres
|
||||
sheet_name = f"Datastage_p{page_num}"
|
||||
if len(sheet_name) > 31:
|
||||
sheet_name = sheet_name[:31]
|
||||
current_ws.title = sheet_name
|
||||
|
||||
# Escribir encabezados
|
||||
current_ws.append(all_fields)
|
||||
|
||||
# Escribir datos de esta página
|
||||
for row_data in page.object_list:
|
||||
row_values = [row_data.get(field, '') for field in all_fields]
|
||||
current_ws.append(row_values)
|
||||
|
||||
# Autoajustar anchos de columna
|
||||
for column in current_ws.columns:
|
||||
max_length = 0
|
||||
column_letter = column[0].column_letter
|
||||
|
||||
for cell in column:
|
||||
try:
|
||||
if len(str(cell.value)) > max_length:
|
||||
max_length = len(str(cell.value))
|
||||
except:
|
||||
pass
|
||||
|
||||
adjusted_width = min(max_length + 2, 50)
|
||||
current_ws.column_dimensions[column_letter].width = adjusted_width
|
||||
|
||||
# Guardar archivo en ZIP
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{page_num}.xlsx", part_buffer.getvalue())
|
||||
|
||||
# Información de depuración
|
||||
print(f"Creada partición {page_num} con {len(page.object_list)} registros combinados")
|
||||
print(f"Total de claves únicas: {len(all_models_data)}")
|
||||
print(f"Total de filas expandidas: {total_records}")
|
||||
|
||||
zip_buffer.seek(0)
|
||||
|
||||
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
import traceback
|
||||
error_details = traceback.format_exc()
|
||||
print(f"Error en exportación: {error_details}")
|
||||
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
|
||||
|
||||
def export_datastage_multiple_partitioned_excel_test_2(self, request, models_data, global_filters, related_keys):
|
||||
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||
try:
|
||||
zip_buffer = io.BytesIO()
|
||||
|
||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
|
||||
# 1. Recopilar todos los datos de cada modelo por clave (aduana, patente, pedimento)
|
||||
all_models_data = {}
|
||||
model_field_mappings = {}
|
||||
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
fields = model_data.get('fields', [])
|
||||
|
||||
if not model_name or not fields:
|
||||
continue
|
||||
|
||||
required_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||
|
||||
for field in required_fields:
|
||||
if field not in fields:
|
||||
fields.append(field)
|
||||
|
||||
try:
|
||||
model = apps.get_model('datastage', model_name)
|
||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||
|
||||
if filters:
|
||||
queryset = model.objects.filter(**filters).values(*fields)
|
||||
else:
|
||||
queryset = model.objects.none()
|
||||
|
||||
total_records = queryset.count()
|
||||
|
||||
if total_records == 0:
|
||||
continue
|
||||
|
||||
# Determinar campos de relación disponibles en este modelo
|
||||
relation_fields = []
|
||||
for field_name in ['seccion_aduanera', 'patente', 'pedimento']:
|
||||
if field_name in fields:
|
||||
relation_fields.append(field_name)
|
||||
|
||||
if not relation_fields:
|
||||
# Si no hay campos de relación, usar un identificador único
|
||||
relation_fields = ['datastage_id'] if 'datastage_id' in fields else [fields[0]]
|
||||
|
||||
# Procesar cada registro
|
||||
for record in queryset:
|
||||
# Crear clave de relación
|
||||
key_parts = []
|
||||
for rel_field in relation_fields:
|
||||
if rel_field in record and record[rel_field] is not None:
|
||||
key_parts.append(str(record[rel_field]))
|
||||
|
||||
if not key_parts:
|
||||
# Si no hay campos de relación, usar un hash del registro
|
||||
import hashlib
|
||||
record_str = str(sorted(record.items()))
|
||||
key = hashlib.md5(record_str.encode()).hexdigest()[:10]
|
||||
else:
|
||||
key = "_".join(key_parts)
|
||||
|
||||
# Agregar prefijo del modelo a los campos para evitar colisiones
|
||||
prefixed_fields = {}
|
||||
for field_name, value in record.items():
|
||||
prefixed_field_name = f"{model_name}_{field_name}"
|
||||
prefixed_fields[prefixed_field_name] = self.safe_excel_value(value)
|
||||
# Registrar mapeo de campos
|
||||
if model_name not in model_field_mappings:
|
||||
model_field_mappings[model_name] = []
|
||||
if field_name not in model_field_mappings[model_name]:
|
||||
model_field_mappings[model_name].append(field_name)
|
||||
|
||||
# Guardar datos bajo la clave
|
||||
if key not in all_models_data:
|
||||
all_models_data[key] = {
|
||||
'relation_fields': {},
|
||||
'model_data': {}
|
||||
}
|
||||
|
||||
# Guardar campos de relación
|
||||
for rel_field in relation_fields:
|
||||
if rel_field in record:
|
||||
all_models_data[key]['relation_fields'][rel_field] = record[rel_field]
|
||||
|
||||
# Guardar datos del modelo
|
||||
all_models_data[key]['model_data'][model_name] = prefixed_fields
|
||||
|
||||
except LookupError:
|
||||
continue
|
||||
|
||||
# Si no hay datos, retornar error
|
||||
if not all_models_data:
|
||||
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
# 2. Determinar todos los campos únicos que necesitaremos
|
||||
all_fields_set = set()
|
||||
|
||||
# Primero agregar campos de relación comunes
|
||||
common_relation_fields = ['seccion_aduanera', 'patente', 'pedimento']
|
||||
|
||||
for key, data in all_models_data.items():
|
||||
# Agregar campos de relación
|
||||
for rel_field in common_relation_fields:
|
||||
if rel_field in data['relation_fields']:
|
||||
all_fields_set.add(rel_field)
|
||||
|
||||
# Agregar campos de todos los modelos para esta clave
|
||||
for model_name, model_fields in data['model_data'].items():
|
||||
for field_name in model_fields.keys():
|
||||
all_fields_set.add(field_name)
|
||||
|
||||
# Convertir a lista ordenada (campos de relación primero)
|
||||
all_fields = []
|
||||
for rel_field in common_relation_fields:
|
||||
if rel_field in all_fields_set:
|
||||
all_fields.append(rel_field)
|
||||
all_fields_set.remove(rel_field)
|
||||
|
||||
# Luego agregar el resto de campos ordenados alfabéticamente
|
||||
all_fields.extend(sorted(all_fields_set))
|
||||
|
||||
# 3. Crear datos combinados por fila
|
||||
combined_rows = []
|
||||
|
||||
for key, data in all_models_data.items():
|
||||
row_data = {}
|
||||
|
||||
# Campos de relación
|
||||
for rel_field in common_relation_fields:
|
||||
if rel_field in data['relation_fields']:
|
||||
row_data[rel_field] = self.safe_excel_value(data['relation_fields'][rel_field])
|
||||
else:
|
||||
row_data[rel_field] = ''
|
||||
|
||||
# Datos de cada modelo
|
||||
for model_name, model_fields in data['model_data'].items():
|
||||
for field_name, value in model_fields.items():
|
||||
row_data[field_name] = value
|
||||
|
||||
# Rellenar campos faltantes con vacío
|
||||
for field in all_fields:
|
||||
if field not in row_data:
|
||||
row_data[field] = ''
|
||||
|
||||
combined_rows.append(row_data)
|
||||
|
||||
total_records = len(combined_rows)
|
||||
|
||||
# 4. Manejar particionado
|
||||
from django.core.paginator import Paginator
|
||||
paginator = Paginator(combined_rows, self.MAX_RECORDS_PER_FILE)
|
||||
|
||||
for page_num in paginator.page_range:
|
||||
page = paginator.page(page_num)
|
||||
|
||||
# Crear nuevo workbook para cada partición
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_ws = current_wb.active
|
||||
|
||||
# Nombre de hoja limitado a 31 caracteres
|
||||
sheet_name = f"Datastage_p{page_num}"
|
||||
if len(sheet_name) > 31:
|
||||
sheet_name = sheet_name[:31]
|
||||
current_ws.title = sheet_name
|
||||
|
||||
# Escribir encabezados
|
||||
current_ws.append(all_fields)
|
||||
|
||||
# Escribir datos de esta página
|
||||
for row_data in page.object_list:
|
||||
row_values = [row_data.get(field, '') for field in all_fields]
|
||||
current_ws.append(row_values)
|
||||
|
||||
# Autoajustar anchos de columna (opcional)
|
||||
for column in current_ws.columns:
|
||||
max_length = 0
|
||||
column_letter = column[0].column_letter
|
||||
|
||||
for cell in column:
|
||||
try:
|
||||
if len(str(cell.value)) > max_length:
|
||||
max_length = len(str(cell.value))
|
||||
except:
|
||||
pass
|
||||
|
||||
adjusted_width = min(max_length + 2, 50) # Máximo 50 caracteres
|
||||
current_ws.column_dimensions[column_letter].width = adjusted_width
|
||||
|
||||
# Guardar archivo en ZIP
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_part{page_num}.xlsx", part_buffer.getvalue())
|
||||
|
||||
# Información de depuración
|
||||
print(f"Creada partición {page_num} con {len(page.object_list)} registros combinados")
|
||||
|
||||
zip_buffer.seek(0)
|
||||
|
||||
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
import traceback
|
||||
error_details = traceback.format_exc()
|
||||
print(f"Error en exportación: {error_details}")
|
||||
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
|
||||
def export_datastage_multiple_partitioned_excel_test(self, request, models_data, global_filters, related_keys):
|
||||
"""Exporta múltiples modelos de DataStage agrupados en la misma hoja de Excel, con particionado por límite de registros"""
|
||||
try:
|
||||
zip_buffer = io.BytesIO()
|
||||
|
||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||
file_counter = 1
|
||||
current_wb = None
|
||||
current_ws = None
|
||||
current_record_count = 0
|
||||
combined_fields = [] # Almacenar todos los campos únicos
|
||||
combined_data = [] # Almacenar todos los datos
|
||||
|
||||
# 1. Primero recopilar todos los campos y datos
|
||||
all_models_data = {}
|
||||
|
||||
for model_data in models_data:
|
||||
model_name = model_data.get('model')
|
||||
fields = model_data.get('fields', [])
|
||||
|
||||
if not model_name or not fields:
|
||||
continue
|
||||
|
||||
try:
|
||||
model = apps.get_model('datastage', model_name)
|
||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||
|
||||
if filters:
|
||||
queryset = model.objects.filter(**filters).values(*fields)
|
||||
else:
|
||||
queryset = model.objects.none()
|
||||
|
||||
total_records = queryset.count()
|
||||
|
||||
if total_records == 0:
|
||||
continue
|
||||
|
||||
# Almacenar los datos de este modelo
|
||||
all_models_data[model_name] = {
|
||||
'fields': fields,
|
||||
'data': list(queryset),
|
||||
'total_records': total_records
|
||||
}
|
||||
|
||||
# Agregar campos únicos a la lista combinada
|
||||
for field in fields:
|
||||
if field not in combined_fields:
|
||||
combined_fields.append(field)
|
||||
|
||||
except LookupError:
|
||||
continue
|
||||
|
||||
# Si no hay datos, retornar error
|
||||
if not all_models_data:
|
||||
return Response({'error': 'No se encontraron datos para exportar'}, status=status.HTTP_404_NOT_FOUND)
|
||||
|
||||
# 2. Crear estructura de datos combinada
|
||||
# Primero, preparar los datos combinados
|
||||
for model_name, model_info in all_models_data.items():
|
||||
fields = model_info['fields']
|
||||
data = model_info['data']
|
||||
|
||||
for record in data:
|
||||
combined_record = {}
|
||||
|
||||
# Para cada campo en la lista combinada
|
||||
for combined_field in combined_fields:
|
||||
if combined_field in fields:
|
||||
# Si el campo existe en este modelo, usar su valor
|
||||
value = record.get(combined_field)
|
||||
combined_record[combined_field] = self.safe_excel_value(value)
|
||||
else:
|
||||
# Si no existe, poner vacío
|
||||
combined_record[combined_field] = ''
|
||||
|
||||
# Agregar columna para identificar el modelo origen
|
||||
combined_record['_modelo_origen'] = model_name
|
||||
|
||||
combined_data.append(combined_record)
|
||||
|
||||
# Agregar campo de modelo origen a la lista de campos si no está ya
|
||||
if '_modelo_origen' not in combined_fields:
|
||||
combined_fields.append('_modelo_origen')
|
||||
|
||||
total_combined_records = len(combined_data)
|
||||
|
||||
# 3. Manejar particionado
|
||||
from django.core.paginator import Paginator
|
||||
paginator = Paginator(combined_data, self.MAX_RECORDS_PER_FILE)
|
||||
|
||||
for page_num in paginator.page_range:
|
||||
page = paginator.page(page_num)
|
||||
|
||||
# Crear nuevo workbook para cada partición
|
||||
current_wb = openpyxl.Workbook()
|
||||
current_ws = current_wb.active
|
||||
current_ws.title = f"Todos_Modelos_p{page_num}"[:31]
|
||||
|
||||
# Escribir encabezados
|
||||
current_ws.append(combined_fields)
|
||||
|
||||
# Escribir datos de esta página
|
||||
for record in page.object_list:
|
||||
row_values = [record.get(field, '') for field in combined_fields]
|
||||
current_ws.append(row_values)
|
||||
|
||||
# Guardar archivo en ZIP
|
||||
part_buffer = io.BytesIO()
|
||||
current_wb.save(part_buffer)
|
||||
part_buffer.seek(0)
|
||||
zip_file.writestr(f"datastage_combinado_part{page_num}.xlsx", part_buffer.getvalue())
|
||||
|
||||
# Información de depuración (opcional)
|
||||
print(f"Creada partición {page_num} con {len(page.object_list)} registros")
|
||||
|
||||
zip_buffer.seek(0)
|
||||
|
||||
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||
response['Content-Disposition'] = 'attachment; filename="datastage_combinado.zip"'
|
||||
return response
|
||||
|
||||
except Exception as e:
|
||||
import traceback
|
||||
error_details = traceback.format_exc()
|
||||
print(f"Error en exportación: {error_details}")
|
||||
return Response({'error': f'Error en exportación combinada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||
|
||||
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
||||
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados inteligentemente"""
|
||||
|
||||
@@ -1,9 +1,13 @@
|
||||
from api.reports.models import ReportDocument
|
||||
from api.reports.tasks.report_document import generate_report_document, generate_report_control_pedimento
|
||||
from django.http import FileResponse
|
||||
from api.utils.storage_service import storage_service
|
||||
from rest_framework.decorators import api_view, permission_classes
|
||||
from rest_framework.permissions import IsAuthenticated
|
||||
from rest_framework.response import Response
|
||||
import tempfile
|
||||
import os
|
||||
import atexit
|
||||
|
||||
@api_view(['GET'])
|
||||
@permission_classes([IsAuthenticated])
|
||||
@@ -71,7 +75,9 @@ def table_summary(request):
|
||||
"report_id": report.id,
|
||||
"status": report.status,
|
||||
"created_at": report.created_at,
|
||||
"download_url": report.file.url if report.file else None
|
||||
# "download_url": report.file.url if report.file else None
|
||||
"download_url": storage_service.get_file_url(report.file) if report.file else None
|
||||
|
||||
}, status=202)
|
||||
|
||||
@api_view(['GET'])
|
||||
@@ -85,7 +91,9 @@ def report_document_status(request, report_id):
|
||||
"created_at": report.created_at,
|
||||
"finished_at": report.finished_at,
|
||||
"error_message": report.error_message,
|
||||
"download_url": report.file.url if report.file else None
|
||||
# "download_url": report.file.url if report.file else None
|
||||
"download_url": storage_service.get_file_url(report.file) if report.file else None
|
||||
|
||||
}
|
||||
return Response(data)
|
||||
except ReportDocument.DoesNotExist:
|
||||
@@ -103,7 +111,8 @@ def report_document_list(request):
|
||||
"created_at": r.created_at,
|
||||
"finished_at": r.finished_at,
|
||||
"error_message": r.error_message,
|
||||
"download_url": r.file.url if r.file else None
|
||||
# "download_url": r.file.url if r.file else None
|
||||
"download_url": storage_service.get_file_url(r.file) if r.file else None
|
||||
}
|
||||
for r in reports
|
||||
]
|
||||
@@ -116,8 +125,22 @@ def report_document_download(request, report_id):
|
||||
report = ReportDocument.objects.get(id=report_id, user=request.user)
|
||||
if not report.file:
|
||||
return Response({"error": "El archivo aún no está disponible"}, status=404)
|
||||
response = FileResponse(report.file.open('rb'), as_attachment=True, filename=report.file.name)
|
||||
|
||||
ruta = str(report.file)
|
||||
with tempfile.NamedTemporaryFile(delete=False, suffix='.csv') as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
if not success:
|
||||
return Response({"error": "No se pudo descargar el archivo"}, status=500)
|
||||
|
||||
filename = os.path.basename(ruta)
|
||||
response = FileResponse(open(tmp_path, 'rb'),as_attachment=True,filename=filename)
|
||||
|
||||
atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
|
||||
|
||||
return response
|
||||
|
||||
except ReportDocument.DoesNotExist:
|
||||
return Response({"error": "Reporte no encontrado"}, status=404)
|
||||
|
||||
|
||||
@@ -8,7 +8,8 @@ class TaskFilter(filters.FilterSet):
|
||||
timestamp_gte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='gte')
|
||||
timestamp_lte = filters.DateTimeFilter(field_name='timestamp', lookup_expr='lte')
|
||||
status = filters.CharFilter(field_name='status')
|
||||
organizacion = filters.UUIDFilter(field_name='organizacion__id') # Cambiado a relación directa
|
||||
|
||||
class Meta:
|
||||
model = Task
|
||||
fields = ['servicio', 'pedimento_app', 'pedimento', 'timestamp_gte', 'timestamp_lte', 'status']
|
||||
fields = ['servicio', 'pedimento_app', 'pedimento', 'timestamp_gte', 'timestamp_lte', 'status', 'organizacion']
|
||||
@@ -1,10 +1,12 @@
|
||||
from rest_framework.routers import DefaultRouter
|
||||
from .views import TaskViewSet
|
||||
from django.urls import path, include
|
||||
from .views import TaskStatusView
|
||||
|
||||
router = DefaultRouter()
|
||||
router.register(r'tasks', TaskViewSet)
|
||||
|
||||
urlpatterns = [
|
||||
path('', include(router.urls)),
|
||||
path('status/<str:task_id>/', TaskStatusView.as_view(), name='task-status'),
|
||||
]
|
||||
|
||||
@@ -4,6 +4,7 @@ from django_filters.rest_framework import DjangoFilterBackend
|
||||
from rest_framework.pagination import PageNumberPagination
|
||||
|
||||
from api.logger.mixins import LoggingMixin
|
||||
from mixins.filtrado_organizacion import OrganizacionFiltradaMixin, ProcesosPorOrganizacionMixin
|
||||
from .models import Task
|
||||
from .serializers import TaskSerializer
|
||||
from .filters import TaskFilter
|
||||
@@ -22,7 +23,7 @@ class TaskPagination(PageNumberPagination):
|
||||
page_size_query_param = 'page_size'
|
||||
max_page_size = 100
|
||||
|
||||
class TaskViewSet(LoggingMixin,viewsets.ModelViewSet):
|
||||
class TaskViewSet(LoggingMixin,viewsets.ModelViewSet,OrganizacionFiltradaMixin):
|
||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||
queryset = Task.objects.select_related('pedimento', 'servicio').all()
|
||||
serializer_class = TaskSerializer
|
||||
@@ -32,4 +33,73 @@ class TaskViewSet(LoggingMixin,viewsets.ModelViewSet):
|
||||
ordering_fields = ['timestamp']
|
||||
ordering = ['-timestamp'] # ordenamiento por defecto, más reciente primero
|
||||
|
||||
my_tags = ['tasks']
|
||||
my_tags = ['tasks']
|
||||
|
||||
def get_queryset(self):
|
||||
|
||||
"""
|
||||
Filtra las tareas según la organización del usuario.
|
||||
Superusuarios pueden ver todas las tareas.
|
||||
"""
|
||||
queryset = self.get_queryset_filtrado_por_organizacion() # Tambien filtra por importador
|
||||
# if user.is_superuser:
|
||||
# return self.queryset
|
||||
# # return self.queryset.filter(organizacion_id=user.organizacion.id)
|
||||
# else:
|
||||
# return self.queryset.filter(organizacion_id=user.organizacion.id)
|
||||
return queryset
|
||||
|
||||
|
||||
from rest_framework.views import APIView
|
||||
from rest_framework.response import Response
|
||||
from rest_framework import status
|
||||
from celery.result import AsyncResult
|
||||
|
||||
|
||||
class TaskStatusView(APIView):
|
||||
"""
|
||||
Vista para consultar el estado de tareas de Celery.
|
||||
"""
|
||||
permission_classes = [IsAuthenticated]
|
||||
|
||||
def get(self, request, task_id):
|
||||
"""
|
||||
Consulta el estado de una tarea de Celery.
|
||||
|
||||
Returns:
|
||||
- PENDING: La tarea está esperando ser procesada
|
||||
- STARTED: La tarea ha sido iniciada
|
||||
- SUCCESS: La tarea se completó exitosamente
|
||||
- FAILURE: La tarea falló
|
||||
- RETRY: La tarea está reintentando
|
||||
"""
|
||||
try:
|
||||
task_result = AsyncResult(task_id)
|
||||
|
||||
response_data = {
|
||||
'task_id': task_id,
|
||||
'status': task_result.state,
|
||||
'ready': task_result.ready(),
|
||||
'successful': task_result.successful() if task_result.ready() else None,
|
||||
}
|
||||
|
||||
if task_result.ready() and task_result.successful():
|
||||
try:
|
||||
response_data['result'] = task_result.result
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
if task_result.state == 'FAILURE':
|
||||
response_data['error'] = str(task_result.info)
|
||||
|
||||
if task_result.state == 'STARTED':
|
||||
response_data['info'] = str(task_result.info) if task_result.info else None
|
||||
|
||||
return Response(response_data, status=status.HTTP_200_OK)
|
||||
|
||||
except Exception as e:
|
||||
return Response(
|
||||
{'error': f'Error al consultar tarea: {str(e)}'},
|
||||
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||
)
|
||||
|
||||
143
api/utils/minio_client.py
Normal file
143
api/utils/minio_client.py
Normal file
@@ -0,0 +1,143 @@
|
||||
# backend/utils/minio_client.py
|
||||
from datetime import timedelta
|
||||
import os
|
||||
from minio import Minio
|
||||
from minio.error import S3Error
|
||||
from django.conf import settings
|
||||
from typing import Optional, BinaryIO
|
||||
import logging
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
class MinIOClient:
|
||||
"""Cliente singleton para MinIO con operaciones avanzadas"""
|
||||
|
||||
_instance = None
|
||||
_client = None
|
||||
_bucket_name = None
|
||||
|
||||
def __new__(cls):
|
||||
if cls._instance is None:
|
||||
cls._instance = super().__new__(cls)
|
||||
return cls._instance
|
||||
|
||||
def __init__(self):
|
||||
if self._client is None and settings.STORAGE_BACKEND == 'minio':
|
||||
self._initialize_client()
|
||||
|
||||
def _initialize_client(self):
|
||||
"""Inicializa el cliente de MinIO"""
|
||||
try:
|
||||
endpoint = os.getenv('MINIO_ENDPOINT', 'minio:9000')
|
||||
access_key = os.getenv('MINIO_ACCESS_KEY')
|
||||
secret_key = os.getenv('MINIO_SECRET_KEY')
|
||||
secure = os.getenv('MINIO_SECURE', 'false').lower() == 'true'
|
||||
|
||||
self._client = Minio(
|
||||
endpoint=endpoint,
|
||||
access_key=access_key,
|
||||
secret_key=secret_key,
|
||||
secure=secure
|
||||
)
|
||||
|
||||
self._bucket_name = os.environ.get('MINIO_BUCKET_NAME', 'efc-backend-dev')
|
||||
|
||||
# Asegurar que el bucket existe
|
||||
if not self._client.bucket_exists(self._bucket_name):
|
||||
self._client.make_bucket(self._bucket_name)
|
||||
|
||||
except Exception as e:
|
||||
raise
|
||||
|
||||
def upload_file(
|
||||
self,
|
||||
object_name: str,
|
||||
file_path: str = None,
|
||||
file_data: BinaryIO = None,
|
||||
content_type: str = None,
|
||||
metadata: dict = None
|
||||
) -> bool:
|
||||
"""
|
||||
Sube un archivo a MinIO
|
||||
|
||||
Args:
|
||||
object_name: Ruta del objeto en el bucket (ej: 'documents/archivo.xml')
|
||||
file_path: Ruta local del archivo (opcional)
|
||||
file_data: Datos del archivo en memoria (opcional)
|
||||
content_type: MIME type del archivo
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
bool: True si se subió correctamente
|
||||
"""
|
||||
try:
|
||||
if file_path:
|
||||
self._client.fput_object(
|
||||
bucket_name=self._bucket_name,
|
||||
object_name=object_name,
|
||||
file_path=file_path,
|
||||
content_type=content_type,
|
||||
metadata=metadata
|
||||
)
|
||||
elif file_data:
|
||||
self._client.put_object(
|
||||
bucket_name=self._bucket_name,
|
||||
object_name=object_name,
|
||||
data=file_data,
|
||||
length=-1,
|
||||
part_size=10*1024*1024, # 10MB
|
||||
content_type=content_type,
|
||||
metadata=metadata
|
||||
)
|
||||
else:
|
||||
raise ValueError("You must provide file_path or file_data")
|
||||
|
||||
return True
|
||||
|
||||
except S3Error as e:
|
||||
return False
|
||||
|
||||
def get_file_url(self, object_name: str, expires: int = 3600) -> Optional[str]:
|
||||
"""Genera una URL firmada para acceder al archivo"""
|
||||
try:
|
||||
url = self._client.presigned_get_object(
|
||||
bucket_name=self._bucket_name,
|
||||
object_name=object_name,
|
||||
expires=timedelta(seconds=expires)
|
||||
)
|
||||
|
||||
# Reemplazar endpoint interno por público si está configurado
|
||||
public_endpoint = os.getenv('MINIO_PUBLIC_ENDPOINT')
|
||||
if public_endpoint and url:
|
||||
internal_endpoint = os.getenv('MINIO_ENDPOINT', 'minio:9000')
|
||||
url = url.replace(internal_endpoint, public_endpoint)
|
||||
|
||||
return url
|
||||
except S3Error as e:
|
||||
return None
|
||||
|
||||
def delete_file(self, object_name: str) -> bool:
|
||||
"""Elimina un archivo del bucket"""
|
||||
try:
|
||||
self._client.remove_object(
|
||||
bucket_name=self._bucket_name,
|
||||
object_name=object_name
|
||||
)
|
||||
return True
|
||||
except S3Error as e:
|
||||
return False
|
||||
|
||||
def file_exists(self, object_name: str) -> bool:
|
||||
"""Verifica si un archivo existe en el bucket"""
|
||||
try:
|
||||
self._client.stat_object(
|
||||
bucket_name=self._bucket_name,
|
||||
object_name=object_name
|
||||
)
|
||||
return True
|
||||
except S3Error:
|
||||
return False
|
||||
|
||||
# Singleton para uso global
|
||||
minio_client = MinIOClient()
|
||||
628
api/utils/storage_service.py
Normal file
628
api/utils/storage_service.py
Normal file
@@ -0,0 +1,628 @@
|
||||
# backend/utils/storage_service.py
|
||||
import os
|
||||
import logging
|
||||
import mimetypes
|
||||
import shutil
|
||||
from uuid import uuid4
|
||||
from typing import Optional, Union, Literal
|
||||
from pathlib import Path
|
||||
from enum import Enum
|
||||
|
||||
from django.core.files.uploadedfile import UploadedFile
|
||||
from django.conf import settings
|
||||
|
||||
from .minio_client import minio_client
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
class StorageCategory(str, Enum):
|
||||
"""Categorías de almacenamiento disponibles"""
|
||||
DOCUMENTS = "documents"
|
||||
DATASTAGE = "datastage"
|
||||
REPORTS = "reports"
|
||||
VUCEM_CERTS = "vucem_certs"
|
||||
VUCEM_KEYS = "vucem_keys"
|
||||
|
||||
|
||||
class StorageService:
|
||||
"""
|
||||
Servicio para gestionar el almacenamiento de archivos.
|
||||
Estructura aislada por organización:
|
||||
|
||||
org_{id}/
|
||||
├── documents/{pedimento_app o unknown}/
|
||||
├── datastage/
|
||||
├── reports/
|
||||
├── vucem_certs/
|
||||
└── vucem_keys/
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
self.client = minio_client
|
||||
self.storage_backend = getattr(settings, 'STORAGE_BACKEND', 'local')
|
||||
self.local_media_root = getattr(settings, 'MEDIA_ROOT', 'media')
|
||||
self.debug = getattr(settings, 'DEBUG', False)
|
||||
|
||||
def _generate_filename(self, original_filename: str) -> str:
|
||||
"""Genera un nombre de archivo único para evitar colisiones"""
|
||||
name, ext = os.path.splitext(original_filename)
|
||||
unique_id = str(uuid4())[:8]
|
||||
return f"{name}_{unique_id}{ext}"
|
||||
|
||||
def _get_content_type(self, filename: str) -> Optional[str]:
|
||||
"""Determina el content-type basado en la extensión del archivo"""
|
||||
content_type, _ = mimetypes.guess_type(filename)
|
||||
return content_type
|
||||
|
||||
def _sanitize_folder_name(self, name: str) -> str:
|
||||
"""
|
||||
Sanitizar nombres de carpetas reemplazando caracteres problematicos.
|
||||
Los guiones (-) son validos.
|
||||
"""
|
||||
invalid_chars = '<>:"/\\|?*'
|
||||
for char in invalid_chars:
|
||||
name = name.replace(char, '_')
|
||||
return name
|
||||
|
||||
def _build_base_path(self, organizacion_id: Union[int, str]) -> str:
|
||||
"""Construye la ruta base para una organización"""
|
||||
return f"org_{organizacion_id}"
|
||||
|
||||
def _build_document_path(
|
||||
self,
|
||||
organizacion_id: Union[int, str],
|
||||
filename: str,
|
||||
pedimento_app: Optional[str] = None
|
||||
) -> str:
|
||||
"""
|
||||
Construye ruta para DOCUMENTS:
|
||||
org_{id}/documents/{pedimento_app o unknown}/archivo
|
||||
"""
|
||||
base = self._build_base_path(organizacion_id)
|
||||
safe_filename = self._generate_filename(filename)
|
||||
|
||||
if pedimento_app:
|
||||
subfolder = self._sanitize_folder_name(pedimento_app)
|
||||
else:
|
||||
subfolder = "unknown"
|
||||
|
||||
return f"{base}/{StorageCategory.DOCUMENTS.value}/{subfolder}/{safe_filename}"
|
||||
|
||||
def _build_generic_path(
|
||||
self,
|
||||
organizacion_id: Union[int, str],
|
||||
filename: str,
|
||||
category: StorageCategory,
|
||||
subfolder: Optional[str] = None
|
||||
) -> str:
|
||||
"""
|
||||
Construye ruta para categorías genéricas:
|
||||
org_{id}/{category}/{subfolder}/{archivo}
|
||||
o
|
||||
org_{id}/{category}/{archivo}
|
||||
"""
|
||||
base = self._build_base_path(organizacion_id)
|
||||
safe_filename = self._generate_filename(filename)
|
||||
|
||||
if subfolder:
|
||||
safe_subfolder = self._sanitize_folder_name(subfolder)
|
||||
return f"{base}/{category.value}/{safe_subfolder}/{safe_filename}"
|
||||
else:
|
||||
return f"{base}/{category.value}/{safe_filename}"
|
||||
|
||||
def _save_file(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
object_path: str,
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""Guarda el archivo según el backend configurado"""
|
||||
meta = metadata or {}
|
||||
meta['original_filename'] = file.name
|
||||
|
||||
content_type = self._get_content_type(file.name)
|
||||
|
||||
if self.storage_backend == 'minio':
|
||||
return self._save_to_minio(file, object_path, content_type, meta)
|
||||
else:
|
||||
return self._save_to_local(file, object_path)
|
||||
|
||||
def _save_to_minio(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
object_path: str,
|
||||
content_type: Optional[str],
|
||||
metadata: dict
|
||||
) -> Optional[str]:
|
||||
"""Guarda archivo en MinIO"""
|
||||
try:
|
||||
file.seek(0)
|
||||
success = self.client.upload_file(
|
||||
object_name=object_path,
|
||||
file_data=file,
|
||||
content_type=content_type,
|
||||
metadata=metadata
|
||||
)
|
||||
|
||||
if success:
|
||||
return object_path
|
||||
else:
|
||||
return None
|
||||
|
||||
except Exception as e:
|
||||
return None
|
||||
|
||||
def _save_to_local(self, file: UploadedFile, object_path: str) -> Optional[str]:
|
||||
"""Guarda archivo en sistema local"""
|
||||
try:
|
||||
full_path = Path(self.local_media_root) / object_path
|
||||
full_path.parent.mkdir(parents=True, exist_ok=True)
|
||||
|
||||
with open(full_path, 'wb+') as destination:
|
||||
for chunk in file.chunks():
|
||||
destination.write(chunk)
|
||||
|
||||
return object_path
|
||||
|
||||
except Exception as e:
|
||||
return None
|
||||
|
||||
def save_document(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
organizacion_id: Union[int, str],
|
||||
pedimento_app: Optional[str] = None,
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda un documento en la categoría 'documents'.
|
||||
|
||||
Args:
|
||||
file: Archivo a guardar
|
||||
organizacion_id: ID de la organización (obligatorio)
|
||||
pedimento_app: Identificador del pedimento (opcional, ej: '24-23-1653-4003611')
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
|
||||
Ejemplo:
|
||||
save_document(file, 123, '24-23-1653-4003611')
|
||||
'org_123/documents/24-23-1653-4003611/documento_a1b2c3d4.xml'
|
||||
"""
|
||||
if not file or not organizacion_id:
|
||||
return None
|
||||
|
||||
object_path = self._build_document_path(organizacion_id, file.name, pedimento_app)
|
||||
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'category': StorageCategory.DOCUMENTS.value,
|
||||
'organizacion_id': str(organizacion_id),
|
||||
'pedimento_app': pedimento_app if pedimento_app else 'unknown'
|
||||
})
|
||||
|
||||
return self._save_file(file, object_path, meta)
|
||||
|
||||
def save_document_from_path(
|
||||
self,
|
||||
file_path: str,
|
||||
file_name: str,
|
||||
organizacion_id: Union[int, str],
|
||||
pedimento_app: Optional[str] = None,
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda un documento desde una ruta de archivo en disco.
|
||||
Útil para archivos temporales ya extraídos.
|
||||
|
||||
Args:
|
||||
file_path: Ruta completa del archivo en disco
|
||||
file_name: Nombre del archivo
|
||||
organizacion_id: ID de la organización
|
||||
pedimento_app: Identificador del pedimento (opcional)
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
"""
|
||||
if not file_path or not os.path.exists(file_path):
|
||||
return None
|
||||
|
||||
if not organizacion_id:
|
||||
return None
|
||||
|
||||
base = self._build_base_path(organizacion_id)
|
||||
safe_filename = self._generate_filename(file_name)
|
||||
|
||||
if pedimento_app:
|
||||
subfolder = self._sanitize_folder_name(pedimento_app)
|
||||
else:
|
||||
subfolder = "unknown"
|
||||
|
||||
object_path = f"{base}/{StorageCategory.DOCUMENTS.value}/{subfolder}/{safe_filename}"
|
||||
|
||||
# Metadatos
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'category': StorageCategory.DOCUMENTS.value,
|
||||
'organizacion_id': str(organizacion_id),
|
||||
'pedimento_app': pedimento_app if pedimento_app else 'unknown',
|
||||
'original_filename': file_name
|
||||
})
|
||||
|
||||
content_type = self._get_content_type(file_name)
|
||||
|
||||
# Guardar según backend
|
||||
if self.storage_backend == 'minio':
|
||||
try:
|
||||
self.client._client.fput_object(
|
||||
bucket_name=self.client._bucket_name,
|
||||
object_name=object_path,
|
||||
file_path=file_path,
|
||||
content_type=content_type,
|
||||
metadata=meta
|
||||
)
|
||||
return object_path
|
||||
except Exception as e:
|
||||
return None
|
||||
else:
|
||||
try:
|
||||
dest_path = Path(self.local_media_root) / object_path
|
||||
dest_path.parent.mkdir(parents=True, exist_ok=True)
|
||||
shutil.copy2(file_path, dest_path)
|
||||
return object_path
|
||||
except Exception as e:
|
||||
return None
|
||||
|
||||
def save_datastage(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
organizacion_id: Union[int, str],
|
||||
subfolder: Optional[str] = None,
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda un archivo en la categoría 'datastage' (.zip, .jar, .rar, etc.)
|
||||
|
||||
Args:
|
||||
file: Archivo a guardar
|
||||
organizacion_id: ID de la organización
|
||||
subfolder: Subcarpeta opcional dentro de datastage
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
|
||||
Ejemplo:
|
||||
save_datastage(file, 123)
|
||||
'org_123/datastage/proceso_a1b2c3d4.zip'
|
||||
"""
|
||||
if not file or not organizacion_id:
|
||||
return None
|
||||
|
||||
object_path = self._build_generic_path(
|
||||
organizacion_id, file.name, StorageCategory.DATASTAGE, subfolder
|
||||
)
|
||||
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'category': StorageCategory.DATASTAGE.value,
|
||||
'organizacion_id': str(organizacion_id)
|
||||
})
|
||||
if subfolder:
|
||||
meta['subfolder'] = subfolder
|
||||
|
||||
return self._save_file(file, object_path, meta)
|
||||
|
||||
def save_report(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
organizacion_id: Union[int, str],
|
||||
subfolder: Optional[str] = None,
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda un reporte en la categoría 'reports' (.pdf, .xlsx, etc.)
|
||||
|
||||
Args:
|
||||
file: Archivo a guardar
|
||||
organizacion_id: ID de la organización
|
||||
subfolder: Subcarpeta opcional dentro de reports (ej: 'mensuales', '2025')
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
|
||||
Ejemplo:
|
||||
>>> save_report(file, 123, '2025/enero')
|
||||
'org_123/reports/2025/enero/reporte_x1y2z3w4.pdf'
|
||||
"""
|
||||
if not file or not organizacion_id:
|
||||
return None
|
||||
|
||||
object_path = self._build_generic_path(
|
||||
organizacion_id, file.name, StorageCategory.REPORTS, subfolder
|
||||
)
|
||||
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'category': StorageCategory.REPORTS.value,
|
||||
'organizacion_id': str(organizacion_id)
|
||||
})
|
||||
if subfolder:
|
||||
meta['subfolder'] = subfolder
|
||||
|
||||
return self._save_file(file, object_path, meta)
|
||||
|
||||
def save_vucem_cert(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
organizacion_id: Union[int, str],
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda un certificado VUCEM en la categoría 'vucem_certs'.
|
||||
|
||||
Args:
|
||||
file: Archivo de certificado
|
||||
organizacion_id: ID de la organización
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
|
||||
Ejemplo:
|
||||
>>> save_vucem_cert(file, 123)
|
||||
'org_123/vucem_certs/certificado_a1b2c3d4.cer'
|
||||
"""
|
||||
if not file or not organizacion_id:
|
||||
return None
|
||||
|
||||
object_path = self._build_generic_path(
|
||||
organizacion_id, file.name, StorageCategory.VUCEM_CERTS
|
||||
)
|
||||
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'category': StorageCategory.VUCEM_CERTS.value,
|
||||
'organizacion_id': str(organizacion_id)
|
||||
})
|
||||
|
||||
return self._save_file(file, object_path, meta)
|
||||
|
||||
def save_vucem_key(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
organizacion_id: Union[int, str],
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda una llave VUCEM en la categoría 'vucem_keys'.
|
||||
|
||||
Args:
|
||||
file: Archivo de llave
|
||||
organizacion_id: ID de la organización
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
|
||||
Ejemplo:
|
||||
>>> save_vucem_key(file, 123)
|
||||
'org_123/vucem_keys/llave_a1b2c3d4.key'
|
||||
"""
|
||||
if not file or not organizacion_id:
|
||||
return None
|
||||
|
||||
object_path = self._build_generic_path(
|
||||
organizacion_id, file.name, StorageCategory.VUCEM_KEYS
|
||||
)
|
||||
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'category': StorageCategory.VUCEM_KEYS.value,
|
||||
'organizacion_id': str(organizacion_id)
|
||||
})
|
||||
|
||||
return self._save_file(file, object_path, meta)
|
||||
|
||||
def save_custom(
|
||||
self,
|
||||
file: UploadedFile,
|
||||
organizacion_id: Union[int, str],
|
||||
custom_path: str,
|
||||
metadata: Optional[dict] = None
|
||||
) -> Optional[str]:
|
||||
"""
|
||||
Guarda un archivo en una ruta personalizada dentro de la organización.
|
||||
|
||||
Args:
|
||||
file: Archivo a guardar
|
||||
organizacion_id: ID de la organización
|
||||
custom_path: Ruta personalizada (se antepone org_{id}/)
|
||||
metadata: Metadatos adicionales
|
||||
|
||||
Returns:
|
||||
str: Ruta guardada o None si hay error
|
||||
|
||||
Ejemplo:
|
||||
>>> save_custom(file, 123, 'temp/procesando/archivo.xml')
|
||||
'org_123/temp/procesando/archivo_a1b2c3d4.xml'
|
||||
"""
|
||||
if not file or not organizacion_id:
|
||||
return None
|
||||
|
||||
base = self._build_base_path(organizacion_id)
|
||||
safe_filename = self._generate_filename(file.name)
|
||||
|
||||
# Combinar custom_path con el nombre del archivo
|
||||
if custom_path.endswith('/'):
|
||||
object_path = f"{base}/{custom_path}{safe_filename}"
|
||||
else:
|
||||
object_path = f"{base}/{custom_path}/{safe_filename}"
|
||||
|
||||
meta = metadata or {}
|
||||
meta.update({
|
||||
'organizacion_id': str(organizacion_id),
|
||||
'custom_path': custom_path
|
||||
})
|
||||
|
||||
return self._save_file(file, object_path, meta)
|
||||
|
||||
def get_file_url(self, object_path: str, expires: int = 3600) -> Optional[str]:
|
||||
"""
|
||||
Obtiene una URL para acceder al documento.
|
||||
En desarrollo, reemplaza 'minio' por 'localhost' para acceso desde el navegador.
|
||||
"""
|
||||
if not object_path:
|
||||
return None
|
||||
|
||||
if self.storage_backend == 'minio':
|
||||
url = self.client.get_file_url(object_path, expires)
|
||||
|
||||
# En desarrollo, reemplazar 'minio:9000' por 'localhost:9000'
|
||||
if url and self.debug:
|
||||
url = url.replace('minio:9000', 'localhost:9000')
|
||||
|
||||
return url
|
||||
else:
|
||||
return f"{settings.MEDIA_URL}{object_path}"
|
||||
|
||||
def delete_file(self, object_path: str) -> bool:
|
||||
"""Elimina un archivo"""
|
||||
if self.storage_backend == 'minio':
|
||||
return self.client.delete_file(object_path)
|
||||
else:
|
||||
try:
|
||||
full_path = Path(self.local_media_root) / object_path
|
||||
if full_path.exists():
|
||||
full_path.unlink()
|
||||
return True
|
||||
return False
|
||||
except Exception as e:
|
||||
return False
|
||||
|
||||
def file_exists(self, object_path: str) -> bool:
|
||||
"""Verifica si un archivo existe (MinIO o local)"""
|
||||
if not object_path:
|
||||
return False
|
||||
|
||||
# Si la ruta empieza con 'org_', es MinIO
|
||||
if object_path.startswith('org_'):
|
||||
if self.storage_backend == 'minio':
|
||||
return self.client.file_exists(object_path)
|
||||
else:
|
||||
return (Path(self.local_media_root) / object_path).exists()
|
||||
else:
|
||||
# Ruta local antigua (ej: 'documents/archivo.xml')
|
||||
# Siempre verificar en MEDIA_ROOT
|
||||
return (Path(self.local_media_root) / object_path).exists()
|
||||
|
||||
def download_file(self, object_path: str, destination_path: str) -> bool:
|
||||
"""
|
||||
Descarga un archivo de MinIO al sistema de archivos local.
|
||||
"""
|
||||
if not object_path:
|
||||
return False
|
||||
|
||||
if self.storage_backend == 'minio':
|
||||
try:
|
||||
self.client._client.fget_object(
|
||||
bucket_name=self.client._bucket_name,
|
||||
object_name=object_path,
|
||||
file_path=destination_path
|
||||
)
|
||||
return True
|
||||
except Exception as e:
|
||||
return False
|
||||
else:
|
||||
import shutil
|
||||
src = Path(self.local_media_root) / object_path
|
||||
if src.exists():
|
||||
shutil.copy(src, destination_path)
|
||||
return True
|
||||
return False
|
||||
|
||||
def is_minio_path(self, path):
|
||||
if not path:
|
||||
return False
|
||||
return path.startswith('org_')
|
||||
|
||||
# =============================================================================================================
|
||||
# POR AHORA NO FUERON SOLICITADOS PERO POR EL PROBLEMA DEL 15/04/2026, CONSIDERO PRUDENTE PODER TENER ESTOS
|
||||
# DOS METODOS PARA NO COMPLICARNOS EN UN FUTURO, EN CASO DE SER NECESARIOS
|
||||
# =============================================================================================================
|
||||
|
||||
# def delete_organization_folder(self, organizacion_id: Union[int, str]) -> bool:
|
||||
# """
|
||||
# Elimina TODOS los archivos de una organización.
|
||||
# Útil cuando un cliente se va y necesitas borrar sus datos.
|
||||
# Esta operación es IRREVERSIBLE.
|
||||
# """
|
||||
# prefix = f"org_{organizacion_id}/"
|
||||
# if self.storage_backend == 'minio':
|
||||
# try:
|
||||
# objects = self.client._client.list_objects(self.client._bucket_name,prefix=prefix,recursive=True)
|
||||
|
||||
# for obj in objects:
|
||||
# self.client.delete_file(obj.object_name)
|
||||
|
||||
# return True
|
||||
# except Exception as e:
|
||||
# return False
|
||||
# else:
|
||||
# try:
|
||||
# import shutil
|
||||
# full_path = Path(self.local_media_root) / f"org_{organizacion_id}"
|
||||
# if full_path.exists():
|
||||
# shutil.rmtree(full_path)
|
||||
# return True
|
||||
# except Exception as e:
|
||||
# return False
|
||||
|
||||
# def export_organization_files(
|
||||
# self,
|
||||
# organizacion_id: Union[int, str],
|
||||
# output_zip_path: str
|
||||
# ) -> bool:
|
||||
# """
|
||||
# Exporta TODOS los archivos de una organización a un ZIP.
|
||||
# Útil para entregar datos a un cliente que se va.
|
||||
# Args:
|
||||
# organizacion_id: ID de la organización
|
||||
# output_zip_path: Ruta donde guardar el ZIP
|
||||
# Returns: bool
|
||||
# """
|
||||
# import zipfile
|
||||
# from io import BytesIO
|
||||
|
||||
# prefix = f"org_{organizacion_id}/"
|
||||
# try:
|
||||
# with zipfile.ZipFile(output_zip_path, 'w', zipfile.ZIP_DEFLATED) as zipf:
|
||||
# if self.storage_backend == 'minio':
|
||||
# objects = self.client._client.list_objects(self.client._bucket_name,prefix=prefix,recursive=True)
|
||||
|
||||
# for obj in objects:
|
||||
# response = self.client._client.get_object(self.client._bucket_name,obj.object_name)
|
||||
# data = response.read()
|
||||
|
||||
# zip_path = obj.object_name.replace(prefix, '', 1)
|
||||
# zipf.writestr(zip_path, data)
|
||||
# response.close()
|
||||
|
||||
# else:
|
||||
# local_path = Path(self.local_media_root) / f"org_{organizacion_id}"
|
||||
# if local_path.exists():
|
||||
# for file_path in local_path.rglob('*'):
|
||||
# if file_path.is_file():
|
||||
# zip_path = str(file_path.relative_to(local_path))
|
||||
# zipf.write(file_path, zip_path)
|
||||
|
||||
# return True
|
||||
# except Exception as e:
|
||||
# return False
|
||||
|
||||
# Singleton para uso global
|
||||
storage_service = StorageService()
|
||||
@@ -20,8 +20,10 @@ class Vucem(models.Model):
|
||||
password = models.CharField(max_length=100, help_text="Contraseña de VUCEM")
|
||||
patente = models.CharField(max_length=100, unique=True, help_text="Patente de VUCEM")
|
||||
efirma = models.CharField(max_length=100, blank=True, null=True,help_text="E-Firma de VUCEM")
|
||||
key = models.FileField(upload_to='vucem_keys/', help_text="Llave privada de VUCEM")
|
||||
cer = models.FileField(upload_to='vucem_certs/', help_text="Certificado de VUCEM")
|
||||
# key = models.FileField(upload_to='vucem_keys/', help_text="Llave privada de VUCEM")
|
||||
# cer = models.FileField(upload_to='vucem_certs/', help_text="Certificado de VUCEM")
|
||||
key = models.CharField(max_length=500, blank=True, null=True, help_text="Llave privada de VUCEM")
|
||||
cer = models.CharField(max_length=500, blank=True, null=True, help_text="Certificado de VUCEM")
|
||||
|
||||
is_importador = models.BooleanField(default=False, help_text="Indica si es importador")
|
||||
acusecove = models.BooleanField(default=False, help_text="Indica si generara acusecove")
|
||||
|
||||
@@ -1,5 +1,6 @@
|
||||
|
||||
|
||||
from api.utils.storage_service import storage_service
|
||||
from rest_framework import serializers
|
||||
from .models import Vucem, CredencialesImportador
|
||||
|
||||
@@ -9,11 +10,91 @@ from .models import Vucem, CredencialesImportador
|
||||
class VucemSerializer(serializers.ModelSerializer):
|
||||
importadores = serializers.SerializerMethodField()
|
||||
|
||||
key = serializers.FileField(write_only=True, required=False, allow_null=True)
|
||||
cer = serializers.FileField(write_only=True, required=False, allow_null=True)
|
||||
|
||||
key_download_url = serializers.SerializerMethodField(read_only=True)
|
||||
cer_download_url = serializers.SerializerMethodField(read_only=True)
|
||||
|
||||
class Meta:
|
||||
model = Vucem
|
||||
fields = '__all__'
|
||||
read_only_fields = ('created_at', 'updated_at', 'organizacion', 'created_by', 'updated_by')
|
||||
|
||||
|
||||
def get_key_download_url(self, obj):
|
||||
if obj.key:
|
||||
return storage_service.get_file_url(obj.key)
|
||||
return None
|
||||
|
||||
def get_cer_download_url(self, obj):
|
||||
if obj.cer:
|
||||
return storage_service.get_file_url(obj.cer)
|
||||
return None
|
||||
|
||||
def create(self, validated_data):
|
||||
key_file = validated_data.pop('key', None)
|
||||
cer_file = validated_data.pop('cer', None)
|
||||
organizacion = validated_data.get('organizacion')
|
||||
|
||||
vucem = super().create(validated_data)
|
||||
|
||||
if key_file:
|
||||
ruta = storage_service.save_vucem_key(
|
||||
file=key_file,
|
||||
organizacion_id=organizacion.id,
|
||||
metadata={'vucem_id': str(vucem.id)}
|
||||
)
|
||||
if ruta:
|
||||
vucem.key = ruta
|
||||
else:
|
||||
vucem.delete()
|
||||
raise serializers.ValidationError({"key": "Error al guardar la llave"})
|
||||
|
||||
if cer_file:
|
||||
ruta = storage_service.save_vucem_cert(
|
||||
file=cer_file,
|
||||
organizacion_id=organizacion.id,
|
||||
metadata={'vucem_id': str(vucem.id)}
|
||||
)
|
||||
if ruta:
|
||||
vucem.cer = ruta
|
||||
else:
|
||||
vucem.delete()
|
||||
raise serializers.ValidationError({"cer_file": "Error al guardar el certificado"})
|
||||
|
||||
vucem.save()
|
||||
return vucem
|
||||
|
||||
def update(self, instance, validated_data):
|
||||
key_file = validated_data.pop('key', None)
|
||||
cer_file = validated_data.pop('cer', None)
|
||||
organizacion = validated_data.get('organizacion', instance.organizacion)
|
||||
|
||||
instance = super().update(instance, validated_data)
|
||||
|
||||
if key_file:
|
||||
if instance.key:
|
||||
storage_service.delete_file(str(instance.key))
|
||||
ruta = storage_service.save_vucem_key(
|
||||
file=key_file,
|
||||
organizacion_id=organizacion.id
|
||||
)
|
||||
if ruta:
|
||||
instance.key = ruta
|
||||
|
||||
if cer_file:
|
||||
if instance.cer:
|
||||
storage_service.delete_file(str(instance.cer))
|
||||
ruta = storage_service.save_vucem_cert(
|
||||
file=cer_file,
|
||||
organizacion_id=organizacion.id
|
||||
)
|
||||
if ruta:
|
||||
instance.cer = ruta
|
||||
|
||||
instance.save()
|
||||
return instance
|
||||
|
||||
def get_importadores(self, obj):
|
||||
# Importar aquí para evitar importación circular
|
||||
from api.customs.serializers import ImportadorSerializer
|
||||
|
||||
@@ -1,3 +1,7 @@
|
||||
import atexit
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
from django.shortcuts import render
|
||||
from ..organization.models import Organizacion
|
||||
from rest_framework import viewsets
|
||||
@@ -8,6 +12,7 @@ from rest_framework.permissions import IsAuthenticated
|
||||
from rest_framework.decorators import action
|
||||
from rest_framework.response import Response
|
||||
from django.http import FileResponse, Http404
|
||||
from api.utils.storage_service import storage_service
|
||||
|
||||
from .serializers import VucemSerializer, CredencialesImportadorSerializer, CredencialesImportadorSimpleSerializer
|
||||
from rest_framework import serializers
|
||||
@@ -140,25 +145,52 @@ class VucemView(viewsets.ModelViewSet):
|
||||
|
||||
@action(detail=True, methods=["get"], permission_classes=[IsAuthenticated])
|
||||
def download_cer(self, request, pk=None):
|
||||
"""
|
||||
Descarga directa del archivo cer.
|
||||
"""
|
||||
vucem = self.get_object()
|
||||
if not vucem.cer:
|
||||
return Response({"detail": "No hay archivo cer disponible."}, status=404)
|
||||
response = FileResponse(vucem.cer.open('rb'), as_attachment=True, filename=vucem.cer.name.split('/')[-1])
|
||||
|
||||
ruta = str(vucem.cer)
|
||||
|
||||
with tempfile.NamedTemporaryFile(delete=False) as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
if not success:
|
||||
raise Http404("No se pudo descargar el archivo")
|
||||
|
||||
filename = os.path.basename(ruta)
|
||||
response = FileResponse(open(tmp_path, 'rb'), as_attachment=True, filename=filename)
|
||||
atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
|
||||
|
||||
return response
|
||||
|
||||
@action(detail=True, methods=["get"], permission_classes=[IsAuthenticated])
|
||||
def download_key(self, request, pk=None):
|
||||
"""
|
||||
Descarga directa del archivo key.
|
||||
"""
|
||||
vucem = self.get_object()
|
||||
if not vucem.key:
|
||||
return Response({"detail": "No hay archivo key disponible."}, status=404)
|
||||
response = FileResponse(vucem.key.open('rb'), as_attachment=True, filename=vucem.key.name.split('/')[-1])
|
||||
|
||||
ruta = str(vucem.key)
|
||||
|
||||
with tempfile.NamedTemporaryFile(delete=False) as tmp:
|
||||
tmp_path = tmp.name
|
||||
|
||||
success = storage_service.download_file(ruta, tmp_path)
|
||||
if not success:
|
||||
raise Http404("No se pudo descargar el archivo")
|
||||
|
||||
filename = os.path.basename(ruta)
|
||||
response = FileResponse(open(tmp_path, 'rb'), as_attachment=True, filename=filename)
|
||||
atexit.register(lambda: os.unlink(tmp_path) if os.path.exists(tmp_path) else None)
|
||||
|
||||
return response
|
||||
|
||||
def perform_destroy(self, instance):
|
||||
if instance.key:
|
||||
storage_service.delete_file(str(instance.key))
|
||||
if instance.cer:
|
||||
storage_service.delete_file(str(instance.cer))
|
||||
instance.delete()
|
||||
|
||||
|
||||
class CredencialesImportadorViewSet(viewsets.ModelViewSet):
|
||||
|
||||
@@ -27,6 +27,7 @@ import re
|
||||
|
||||
# Celery Beat Schedule
|
||||
from celery.schedules import crontab
|
||||
from config.stg.storage import *
|
||||
|
||||
CELERY_BEAT_SCHEDULE = {
|
||||
|
||||
@@ -85,6 +86,7 @@ THIRD_APPS = [
|
||||
]
|
||||
|
||||
OWN_APPS = [
|
||||
'api',
|
||||
'api.customs',
|
||||
'api.record',
|
||||
'api.organization',
|
||||
@@ -280,6 +282,9 @@ else:
|
||||
STATICFILES_DIRS = []
|
||||
STATIC_ROOT = BASE_DIR / 'static'
|
||||
|
||||
if STORAGE_BACKEND == 'minio':
|
||||
MEDIA_URL = f"http://{os.getenv('MINIO_ENDPOINT')}/{AWS_STORAGE_BUCKET_NAME}/"
|
||||
|
||||
MEDIA_URL = '/media/'
|
||||
MEDIA_ROOT = BASE_DIR / 'media'
|
||||
|
||||
|
||||
29
config/stg/storage.py
Normal file
29
config/stg/storage.py
Normal file
@@ -0,0 +1,29 @@
|
||||
# backend/config/stg/storage.py
|
||||
import os
|
||||
from pathlib import Path
|
||||
|
||||
BASE_DIR = Path(__file__).resolve().parent.parent.parent
|
||||
|
||||
STORAGE_BACKEND = os.getenv('STORAGE_BACKEND', 'local')
|
||||
|
||||
if STORAGE_BACKEND == 'minio':
|
||||
DEFAULT_FILE_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage'
|
||||
|
||||
AWS_ACCESS_KEY_ID = os.getenv('MINIO_ACCESS_KEY')
|
||||
AWS_SECRET_ACCESS_KEY = os.getenv('MINIO_SECRET_KEY')
|
||||
AWS_STORAGE_BUCKET_NAME = os.getenv('MINIO_BUCKET_NAME')
|
||||
AWS_S3_ENDPOINT_URL = f"http://{os.getenv('MINIO_ENDPOINT')}"
|
||||
AWS_S3_REGION_NAME = os.getenv('MINIO_REGION', 'us-east-1')
|
||||
AWS_S3_USE_SSL = os.getenv('MINIO_SECURE', 'false').lower() == 'true'
|
||||
|
||||
AWS_DEFAULT_ACL = 'private'
|
||||
AWS_LOCATION = 'documents'
|
||||
AWS_S3_FILE_OVERWRITE = False
|
||||
AWS_QUERYSTRING_AUTH = True
|
||||
AWS_QUERYSTRING_EXPIRE = 3600 # es 1 hora
|
||||
|
||||
# STATICFILES_STORAGE = 'storages.backends.s3boto3.S3StaticStorage'
|
||||
|
||||
else:
|
||||
MEDIA_URL = '/media/'
|
||||
MEDIA_ROOT = os.path.join(BASE_DIR, 'media')
|
||||
@@ -1,12 +1,17 @@
|
||||
alembic==1.14.0
|
||||
amqp==5.3.1
|
||||
annotated-types==0.7.0
|
||||
argon2-cffi==25.1.0
|
||||
argon2-cffi-bindings==25.1.0
|
||||
asgiref==3.9.1
|
||||
async-timeout==5.0.1
|
||||
attrs==25.3.0
|
||||
billiard==4.2.1
|
||||
boto3==1.42.91
|
||||
botocore==1.42.91
|
||||
celery==5.5.3
|
||||
certifi==2025.6.15
|
||||
cffi==2.0.0
|
||||
channels==4.3.1
|
||||
channels_redis==4.3.0
|
||||
charset-normalizer==3.4.2
|
||||
@@ -18,6 +23,7 @@ Django==5.2.3
|
||||
django-cors-headers==4.7.0
|
||||
django-filter==25.1
|
||||
django-jet-reboot==1.3.10
|
||||
django-storages==1.14.6
|
||||
djangorestframework==3.16.0
|
||||
djangorestframework_simplejwt==5.5.0
|
||||
drf-yasg==1.21.10
|
||||
@@ -30,12 +36,14 @@ humanize==4.12.3
|
||||
idna==3.10
|
||||
importlib_resources==6.5.2
|
||||
inflection==0.5.1
|
||||
jmespath==1.1.0
|
||||
jsonschema==4.24.0
|
||||
jsonschema-specifications==2025.4.1
|
||||
kombu==5.5.4
|
||||
Mako==1.3.10
|
||||
Markdown==3.8
|
||||
MarkupSafe==3.0.2
|
||||
minio==7.2.20
|
||||
msgpack==1.1.1
|
||||
openpyxl==3.1.5
|
||||
packaging==25.0
|
||||
@@ -44,6 +52,8 @@ pillow==11.2.1
|
||||
prometheus_client==0.22.1
|
||||
prompt_toolkit==3.0.51
|
||||
psycopg2-binary==2.9.10
|
||||
pycparser==3.0
|
||||
pycryptodome==3.23.0
|
||||
PyJWT==2.9.0
|
||||
python-dateutil==2.9.0.post0
|
||||
python-dotenv==1.1.0
|
||||
@@ -55,6 +65,7 @@ redis==6.2.0
|
||||
referencing==0.36.2
|
||||
requests==2.32.4
|
||||
rpds-py==0.25.1
|
||||
s3transfer==0.16.0
|
||||
six==1.17.0
|
||||
sniffio==1.3.1
|
||||
SQLAlchemy==2.0.36
|
||||
|
||||
Reference in New Issue
Block a user